OpenBMB· @OpenBMB · X·2026-09-28 21:00· 10 天前AI 评分32AI 导读社区为 MiniCPM5-2B 构建了 EXL3 4-bit 量化版本,量化后模型权重仅 1.61 GB,在 NVIDIA Tesla T4 上实测约 68–70 tokens/s。该版本采用 4.0 bpw EXL3 量化,支持通过 ExLlamaV3 和 TabbyAPI 进行本地推理。整理与数据来源:AIHOT来源:OpenBMB · x.com#开源/仓库#端侧#Hugging Face查看事件全部后续