跳到正文
原文
OpenBMB· @OpenBMB · X·· 10 天前AI 评分32
AI 导读

社区为 MiniCPM5-2B 构建了 EXL3 4-bit 量化版本,量化后模型权重仅 1.61 GB,在 NVIDIA Tesla T4 上实测约 68–70 tokens/s。该版本采用 4.0 bpw EXL3 量化,支持通过 ExLlamaV3 和 TabbyAPI 进行本地推理。

整理与数据来源:AIHOT

来源:OpenBMB · x.com