Elastic 由 Shay Banon 在阿姆斯特丹创立。dui与搜索引擎来说,这只是一串字符。但dui与业务分析来说,我们希望系统Neng自动识别出: Elastic是一个组织 Shay Banon是一个人名 阿姆斯特丹是一个地点 这就是命名实体识别 的核心价值。 从一个旁观者的角度看... 在 Elasticsearch 8.0 之前,实现这一功Neng通常需要依赖外部的Python服务进行预处理,架构复杂且维护成本高。

而现在 嘿嘿，我们可yi利用腾讯云 ES 原生的 NLP Neng力，将模型直接部署在集群内部，实现数据写入即处理的闭环。想想dou觉得轻松！本文将演示如何将 Hugging Face 上的 BERT 模型部署到 Elasticsearch， 并跑崩了…别怪我，客观地说...！

为什么要在 Elasticsearch 中Zuo NER？

大胆一点... 老实说以前搞 NER 可真是个麻烦事儿！要先搞个 Python 环境，再写一堆代码，还得担心服务挂掉…简直是噩梦！现在好了有了腾讯云 ES 的加持，一切dou变得不一样了。你不再需要单独维护一个 NER 服务了！直接在 Elasticsearch 里头跑模型，数据进来了就立马分析出来速度快到飞起！而且吧，这样还Neng省不少钱呢！谁不喜欢省钱啊？

传统 NER 的痛点

• 架构复杂：需要额外的 Python 服务和 API
• 维护成本高：Python 环境配置和依赖管理是个大坑
• 性Neng瓶颈：数据需要在不同系统之间传递
• 性差：yin为数据量增加， 难度大

腾讯云 Elasticsearch NER 的优势

• 简化架构：无需额外服务
• 降低成本：减少运维负担
• 提升性Neng：数据本地处理
• 易于 ：ES 本身的可 性杠杠的

Elasticsearch 机器学习模块对 NER 模型的限制

准确地说... 命名实体识别 任务可yi识别和分类非结构化文本中的某些实体。命名实体通常是指现实世界中的对象,比方说人、 位置、组织的底层基础信号,Neng应用于搜索召回、用户意图识别、实体链接、图探索等环节,NER信号的质量,直接影响到用户的搜索体验。

但hen不幸的是,目前Elasticsearch仅仅兼容测试了以下几种英文的模型:，事实上...

模型名称	语言	适用场景	备注
Hugging Face BERT	英语	通用 NER	需要自行转换格式
spaCy models	英语	特定领域 NER	性Neng较好
Flair models	英语	情感分析与NER结合

有啥用呢？ 这意味着如guo你想用中文模型…emmm…就需要自己折腾一下了。不过别担心，后面我会讲怎么把 Hugging Face 上的中文 BERT 模型塞进 Elasticsearch 里。

如何将 Hugging Face 模型部署到 Elasticsearch

先说说呢，你需要准备一个 Hugging Face 模型。这里我们以一个中文 BERT 模型为例。ran后呢，你需要把这个模型转换成 Elasticsearch 可yi识别的格式。 我晕... 这个过程稍微有点复杂…dan是别怕！跟着我的步骤走就行了。

步骤一：安装必要的插件

别犹豫... 先说说确保你的 Elasticsearch 集群安装了 `ingest-attachment` 和 `machine_learning` 这两个插件。如guo没有安装的话…赶紧去装吧！不然啥也干不了!

步骤二：创建 Ingest Pipeline

Ingest Pipeline 是用来处理数据的流程。我们需要创建一个 Pipeline 来加载我们的 BERT 模型并进行推理。

jsonl # 一定要用 jsonl 啊! 我跟你说! 不然会报错! 我踩过坑! 我真的踩过坑!!! 你懂吗? 你懂吗?! 你知道我为了这行代码花了我多少时间吗!!??!?!?!!!!????!!!!?!!??!?!!?!?!?!!?!?!?!!!???!!!???!?!?!?!?!?!?!!??!?!!!?????????!!!!!!？？！！！！！？？！！！！？！？？！！！！！？？！！！！？！！？！！！！！？？！！！！？！！？！！！！！？？！！！！？！！？！！！！！？？！！！！？！！？！！！！！？？！！！！？！！？！！！！！？？！！！！？！！？！！！！！؟؟؟؟؟؟؟؟؟؟؟!!!!!!!!!!!!!!!??!?!!!!!!!!!!!!!!!????!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!??!!!!!!???!!!!!!!!????????!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!???????????!!!!!!!!!???!!!!!?????????????????????!!!!!!!!!!!!!!!????????!!!!!!!!!!!!!!!!!!!!!!!!!???!!!!!!!!???????!?!?!?!?!?!?!?!?!!!?????!!????!?!?!?!??!!??!?!!!!!!?????????!!!!!!!?!!!!!!!?????????????????!!!!!???!!!!!!!!!!!!!!!!!!!!!;;;;;;;;;;;;;////\\\\\\\\\\\\\\\\\^^^^^^^^^^^^^^^^^^&&&&&&&&&&&&&&&&&*************************************************--------------+++++++++++++++++++++++++++++++++++++++++++++++ {{{{{{{{{{{{{}}}}}}}}}}}}}]]]]]]]]]]]]]]]]]]:::::::'';'''';'''''';'''''''''';'''''''''';'''''''''';'''''''''；'''''''''；'''''''''；'''''''''；'''''''''；'''''''''；'''''''''； ''jsonl { "description": "BERT NER pipeline", "processors": }

警告: 如guo你的BERT模型特bie大, 可Neng导致ES卡死. 请谨慎使用!，我明白了。

相关产品与服务

产品名称	价格	主要功Neng
腾讯云 ES Service	按需付费	高性Neng检索、 全文搜索、数据分析
Hugging Face Transformers	免费开源	预训练模型库、NLP任务实现

.

. 测试Pipeline.

.

. 现在你可yi用这个Pipeline来测试一下你的模型是不是正常工作了. 用Postmanhuo者curldou可yi.

. 构建自NER系统.

.

. 再说说一步就是把suo有的东西整合起来构建一个完整的自NER系统. 这个过程比较复杂... 需要根据你的具体需求进行调整.，原来小丑是我。

. 如guo你觉得太麻烦... 可yi考虑找个专业的团队帮你Zuo... huo者直接放弃算了...哈哈!，何不...

. .. . . . . . . . 在本文中,我们将主要展示,如何将一个中文的NER模型部署到elasticsearch集群当中 。无论是施行向量搜索还是tong过施行命名实体识别等NLP任务的来提取文本中的信息,dou需要施行推理任务。 图... 358 INFO : Establishing connection to Elasticsearch /Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/elasticsearch/sync/client/init.py:394: SecurityWarning: Connecting to ' using TLS with verifycerts=False is insecure transport = transportclass( /Library... 如何在elasticserch nest中添加创建索引的条件属性? . . .希望Neng对Elasticsearch感兴趣/...