Hugging Face tokenizers v1：编码、解码与扩展性能实测

Hugging Face 发布 tokenizers v1，输出 token ID 与 v0.23 完全一致，但速度常达 v0.23 的数十倍。v1 将单个 crate 拆为 workspace，用 SIMD 位流拆分（bitcannon）替代正则引擎，并引入无分配合并模型、合并循环重写、线程本地词缓存和原生多线程并行。