多语言 NER 三强横评GLiNER 2.5、spaCy、HanLP中文谁最能打【免费下载链接】gliner2.5-multi-v1项目地址: https://ai.gitcode.com/hf_mirrors/fastino/gliner2.5-multi-v1多语言命名实体识别NER的选型正在成为很多中文团队幸福的烦恼。一边是主打零样本、schema 驱动的 GLiNER 2.5 多语言检查点带着 287M 参数和 boundary 架构杀入中文圈一边是深耕中文多年的 HanLP以 PKU / MSRA / OntoNotes 多标准标注和 ELECTRA 多任务模型稳坐国产头把交椅还有工业界事实标准的 spaCy以 75 语言、84 条预训练流水线的生态体量虎视眈眈。三者代表了三条完全不同的技术路线GLiNER 2.5 是任务说明书 双向编码器 稀疏边界配对的零样本抽取器spaCy 是固定标签 成熟工程流水线的传统工业库HanLP 是中文优先 多任务联合学习的生产级工具链。本文不站队只把架构原理、实测证据、部署账本摊开对比——尤其针对中文场景回答一个最实际的问题同一份中英混合文本谁最能打三条路线三种底层哲学先说清楚各自为什么是现在的样子这决定了后面所有对比的结论。GLiNER 2.5把要抽什么写进输入GLiNER 家族的核心思想是不训练新模型也能抽新实体。把实体类型甚至是一段自然语言描述拼进输入序列让模型在文本 span 与类型向量之间做相似度匹配。这一思路在 GLiNER2 论文arXiv:2507.18546中被扩展为 schema 驱动的多任务系统实体、分类、结构化记录、关系抽取共享一个 encoder一次前向传播组合多任务。本仓库gliner2.5-multi-v1是这套架构的多语言检查点关键配置写死在 config.json 里架构architecture: boundary即 BoundaryExtractor——稀疏 start/end 配对而不是固定宽度的 span 网格max_len达到 4096任何能塞进编码窗口的跨度长度都能表达编码器microsoft/mdeberta-v3-base见 encoder_config/config.json12 层、hidden 768、词表 25 万这是 mDeBERTa 的多语言版本天然覆盖中文子词任务头enable_records: true、enable_relations: true外加分类与 span 属性头权重287M 参数FP16 约 594MBCPU / CUDA / MPS 均可推理。与这套架构配套的是一组语义锚点 token直接追加进 DeBERTa 词表见 tokenizer_config.json[P]标记任务开始、[E]标记实体类型、[L]标记分类标签、[C]标记结构化字段、[R]标记关系槽位[SEP_STRUCT]/[SEP_TEXT]分隔不同任务段与正文段。模型训练时学会读取这些 token 的 hidden state 去完成各自任务推理时标签数量不影响前向次数。加载方式在 README.md 中有明确说明——必须用AutoExtractor旧版的GLiNER2.from_pretrained是 legacy span 加载器无法分发该检查点from gliner2 import AutoExtractor model AutoExtractor.from_pretrained(fastino/gliner2.5-multi-v1) # BoundaryExtractor / boundaryspaCy工程流水线的固定标签逻辑spaCy 的哲学是把 NLP 做成可组合的生产流水线分词 → 词性 → 依存 → 实体组件各司其职用声明式 config 管理包装成可复现、可部署的 pipeline。官方口径是75 语言、25 种语言的 84 条预训练流水线中文提供zh_core_web_sm / md / lg / trf四个量级。它的优势在确定性流水线成熟、CPU 优化充分官方基准里英文en_core_web_lg在 CPU 上可达约 1 万词/秒生态里可视化、评估、打包工具一应俱全。但代价也明确——标签集是训练时定死的。模型认得 PERSON、ORG、GPE 这类通用类型想要抽药品剂量合同违约条款要么换模型要么自己标注数据重训。这正是 GLiNER 论文在 Related Work 中对传统 NLP 库的概括任务各自为政、标签不可泛化到未见类型。HanLP中文优先的多任务工具链HanLP 的定位是面向生产环境的前沿多语种 NLP。它最独特的地方是标准意识中文 NER 直接对齐 PKU、MSRA、OntoNotes 三套标注规范分词区分粗分/细分支持自定义词典与黑白名单这在中文圈子是刚需。官方演示页给出的默认路径是一个 ELECTRA-small 底座的多任务模型CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_SMALL_ZH——一个模型同时产出分词、词性、NER、语义角色、依存与成分句法中文的语言理解全套一次给齐。它同时提供 native 与 RESTful 两种 API语义一致面向轻量级与海量级两种场景Apache 2.0 开源。相比 spaCy 的通用多语HanLP 明显是中文主场的重兵部署。同一份中英混合测试集谁更稳横评不做无米之炊。我们构造一份典型的中英混合语料覆盖三类现实场景通用类型人名、机构、地点——阿里巴巴创始人马云在杭州发布新战略开放领域医疗/金融等自定义类型——患者服用了400mg布洛芬缓解剧烈头痛中英混排Tim Cook 在 Cupertino 发布了 iPhone 15分析师们保持乐观。场景一零样本开放标签GLiNER 2.5 完胜这是 GLiNER 2.5 的主场。标签不是固定的而是调用时传入的 schema甚至可以带自然语言描述来收窄语义result model.extract_entities( 患者服用了400mg布洛芬缓解剧烈头痛, { medication: 药物或药品物质名称, dosage: 400mg、2片、5ml 等剂量表达, symptom: 患者报告的症状或状况, }, include_spansTrue, include_confidenceTrue, )注意这里返回的是字符级 spanhalf-open 区间text[start:end] entity[text]这对中文后处理很重要——你可以直接把实体切出来做掩码、打标或入库。社区对这一机制做过源码级拆解模型内部用WhitespaceTokenSplitter把正文切词再在连续词片段上滑窗与每个[E]类型向量做 sigmoid 打分。连续汉字没有空格时正则切词会把整段汉字并成一个词词级 span 很难切出人名地名——所以在中文零样本实践中业界普遍建议先用 jieba 预分词再喂模型import jieba def zh_for_gliner(text: str) - str: return .join(jieba.cut(text)) spaced zh_for_gliner(张三在北京的阿里巴巴工作) result model.extract_entities(spaced, [人名, 地名, 机构])这是一条必须写进排期的事实GLiNER 2.5 的中文 NER 强在标签任意定义但工程上要配一个分词前置步骤。mDeBERTa 对中文子词友好切词逻辑不变训推必须一致。泛化能力的证据来自论文的零样本基准CrossNER 五个领域平均 F1 0.590紧咬 GPT-4o 的 0.599略低于专精 NER 的 GLiNER-M0.615——这是多任务通用模型的合理取舍。社区情报里的中文教程也反复印证零样本抽取、自定义实体类型、混合语种识别是它的招牌能力20 语种覆盖让一份代码管全球文本成为可能。场景二中文标准标注HanLP 最正统当业务要求实体标注必须对齐 MSRA 规范需要可解释的分词结果HanLP 是唯一的选择。它不承诺零样本——它承诺的是标准正确性PKU / MSRA / OntoNotes 三套标签规范任选粗分/细分两套标准词典可以定制。对银行、医疗、政务这类有明确标注口径、要过评审的中文项目这不是性能问题是合规问题。多任务模型的副产品也很值钱NER 之外顺带给出词性、依存句法、语义角色一套 ELECTRA-small 打天下。如果你的下游还要做句法分析或语义标注HanLP 的边际成本几乎为零。场景三中英混排、批量吞吐spaCy 最省心spaCy 的中文流水线zh_core_web_*内置分词组件混排文本开箱即用CPU 吞吐是它的招牌官方基准中英文en_core_web_lg在 CPU 上约 1 万词/秒即使是 transformer 版en_core_web_trf也有数百词/秒的兜底。对量很大、标签固定、要跑得快的常规抽取它是最不用操心的选择。但诚实地说spaCy 的中文能力定位是通用多语生态里的一员而非中文特化。其 NER 精度标杆OntoNotes 5.0 上 trf 版 89.8 F1、lg 版 85.5是英文模型的数据中文流水线的标签集是固定的通用类型遇到铁公鸡公司名网红昵称这类中文特有的歧义它和你一样没有知识——只是不会主动告诉你它没把握。小结这一局没有全胜者场景GLiNER 2.5spaCyHanLP零样本自定义标签最优改 schema 即换标签需标注重训需标注重训中文标准标注口径无标准绑定通用类型最优PKU/MSRA/OntoNotes中英混排吞吐CPU 毫秒级需预分词最优原生分词万词/秒优native 多任务附带句法/语义能力无有最优MTL 全家桶训练成本、部署体积与维护成本性能之外生产选型真正劝退人的往往是成本和维护。这里把三家账本摊开。部署体积与延迟维度GLiNER 2.5 MultispaCy (zh)HanLP (zh MTL)参数量287MmDeBERTa-v3sm/md/lg/trf 多档ELECTRA-small 级权重体积约 594MBFP16数十 MB数百 MB数百 MB 级CPU 推理毫秒级分类 5→50 标签仅 130→208ms万词/秒级native 本地推理GPU可选CUDA/MPS可选trf 需要可选显存敏感低可纯 CPU低sm/md 纯 CPU低GLiNER 2.5 的一个关键效率事实标签数量几乎不增加延迟。论文的 CPU 延迟基准里分类标签从 5 个增加到 50 个GLiNER2 只从 130ms 涨到 208ms而 DeBERTa 系零样本分类器每个标签要单独前向20 个标签时慢 6.8 倍。原理不复杂——所有标签的[L]token 在同一次编码里出向量一个 MLP 统一打分。这在标签集很大的场景意图分类 77 类、字段枚举几十项是决定性的差异。训练与微调成本GLiNER 2.5零样本是默认用法改标签就是改 schema不产生训练成本。需要垂直精度时走微调论文使用 25.4 万条混合样本真实文档 13.6 万 GPT-4o 合成 11.8 万5 个 epoch、AdamW、骨干 1e-5 / 任务层 2e-5 的差分学习率。仓库配套的 SKILL.md 还描述了托管微调工作流——上传 JSONL 标注、起训练任务、部署检查点把准备标注 → 微调 → 上线串成 API 流程。中文微调的一条铁律input必须与推理用同一套预分词实体字符串要能在 input 里字面找到。spaCy新增标签的代价最高——需要标注语料、配置训练 config、重训流水线组件。好处是工具链极成熟Project、Config、评估可视化一旦训完部署确定性极强。HanLP中文专用能力的维护被库本身吸收词典、标准、模型都有官方维护但要自定义实体类型同样需要标注数据重训且模型组件较多、微调链路相对重。长期维护的隐性成本三个维度看维护标签变更GLiNER 2.5 改一行 schemaspaCy/HanLP 要动数据与训练、多语言覆盖GLiNER 2.5 一个检查点覆盖 20 语种spaCy 靠多语言流水线矩阵HanLP 中文最强、多语次之、隐私合规三者均可本地部署不出网但 GLiNER 2.5 的 CPU-only 能力和 Apache 2.0 许可对数据不出域场景最友好这也是它在 PII 脱敏领域快速渗透的原因。中文圈选型结论与建议把证据收拢成决策建议按团队画像对号入座选 GLiNER 2.5 Multi当你的关键词是零样本、标签常变、多语、离线。快速验证一个抽取想法只需十几行代码和一行 schema实体类型从人物机构地点切到药品剂量症状不产生任何训练成本一个检查点同时处理中文、英文和混排文本纯 CPU 可跑、数据不出网。代价是中文需要 jieba 预分词、span 长度受编码窗口限制长实体要分批、没有句法等附带能力。它是抽取层的最佳底座尤其适合 PII 扫描、RAG 打标、日志/工单字段化这类闭集高频任务。选 HanLP当你的主场是中文、且需要标准正确性与完整语言理解。政企项目要对齐 MSRA 标注口径、下游要句法分析、团队需要一套可控的中文 NLP 全家桶——HanLP 是唯一把这些打包好的开源方案。它不擅长零样本但如果你本来就打算长期维护标注数据这个短板不存在。选 spaCy当你的文本以英文为主、依赖成熟生态、标签多年不动。吞吐、工具链、社区文档都是工业级中文能力够用但非专精。它是流水线思路的代表稳定、可预测、开箱即用。最优解往往是组合拳GLiNER 2.5 打头阵做开放标签抽取与多语覆盖HanLP 或 spaCy 提供分词与句法底座规则引擎兜底关键字段。社区对 GLiNER2 的定位总结得很清醒——闭集、高频、要 span 的场景交给 GLiNER 2.5开放域长文本交给 LLM而中文的句法与标准问题交给在中文主场深耕十年的工具。横评的结论不是谁取代谁而是中文 NER 的答案取决于你的标签流动速度和语言纵深需求。【免费下载链接】gliner2.5-multi-v1项目地址: https://ai.gitcode.com/hf_mirrors/fastino/gliner2.5-multi-v1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考