你了解NLP模型基础（一）的奥秘吗？

哎哟喂，各位kan官！今天咱们聊点儿刺激的，聊点儿让人头大的东西——自然语言处理！说实话，我刚开始学这玩意儿的时候，感觉自己脑子dou要炸了。简直就是把人类语言扔进了一个大机器里让它自己去理解。 绝绝子... 理解个啥啊？！连人dou没法wan全理解语言，机器Neng行？但偏偏就Neng行！这不就神奇了吗？！

什么是NLP？别怕，我给你掰扯清楚

简单NLP就是让计算机Neng够像人一样理解和处理人类语言。想想kan：你跟Sirihuo者小爱同学说话， 它们Neng听懂你的意思；你用翻译软件翻译文章，它Neng把你的话变成另一种语言；你搜索东西的时候，搜索引擎Neng找到你想要的后来啊……这些dou离不开NLP，栓Q了...。

从“词”开始：分词、词性标注

咱们先从ZuiZui基础的开始说起——“词”。dui与我们人类“词”是理所当然的概念。dan是计算机可不这么认为！ 上手。 它kan到的是一串字符。suo以第一步就是要告诉计算机：哪些字符组合起来是一个“词”。这个过程就叫分词。

举个例子：“我爱自然语言处理”这句话， 分词后来啊应该是：“我”、 我不敢苟同... “爱”、“自然”、“语言”、“处理”。

分完词之后呢？还要告诉计算机每个词是什么类型的——是名词、动词、形容词还是什么别的。这个过程就叫词性标注。比如“我”是代词，“爱”是动词，“自然”是形容词，“语言”是名词，“处理”也是动词，切记...。

为什么分词和词性标注hen重要？

重要啊！fei常重要！你想想kan，如guo计算机不知道“苹果”是名词还是动词，那它怎么知道你在说水果还是让你去吃苹果呢？ 精神内耗。 suo以说啊，分词和词性标注是NLP的基础中的基础。

模型的进化史：从N-gram到深度学习

早期的NLP模型啊，那真是笨得可yi！它们主要依赖于统计的方法。Zui简单的就是N-gram模型。这个模型干的事情就是数数：在一段文本中，“一个单词后面出现另一个单词的概率是多少”。比如“我”后面出现“爱”的概率是多少？“自然”后面出现“语言”的概率又是多少？ran后根据这些概率来预测下一个单词是什么。