边缘推理芯片

• 主流的产品
• LLM跑在边缘芯片上

主流的产品

1. 高通® QCS6490
   1. https://docs.radxa.com/dragon/q6a
2. 全志 A733 SoC
   1. https://docs.radxa.com/cubie/a7a
3. 爱芯元智公司 AX8850 SoC
   1. https://docs.radxa.com/aicore/ax-m1
4. DEEPX 公司 DX‑M1
   1. https://docs.radxa.com/aicore/dx-m1
5. SOPHON AI 处理器 SG2300X
   1. https://docs.radxa.com/aicore/sg2300x

LLM跑在边缘芯片上

1. 模型工具，转换，加载等等
   1. Distributed Llama https://github.com/b4rtaz/distributed-llama?tab=readme-ov-file
2. 语音模型
   1. https://github.com/k2-fsa/sherpa-onnx
   2. 小智生态 https://github.com/xinnan-tech/xiaozhi-esp32-server