> 文章列表 > 自然语言处理 —— 02 基于规则的词法分析

自然语言处理 —— 02 基于规则的词法分析

自然语言处理 —— 02 基于规则的词法分析

一、什么是词法分析?

词:是自然语言中能够独立运用的最小单位,是语言信息处理的基本单位。
词法分析:是词汇层的分析技术。主要包括词的识别、形态分析、词性标注等任务。

1. 词的识别

将句子转换成词序列【就是分词?】

2. 形态分析

词的构成、形态变化、词形还原。

3. 词性标注

标记句子中的词的词性。

二、英文的词法分析

英文属于屈折型语言:因为(1)词之间一般有边界标记;(2)词的形态变化丰富。

自然语言处理 —— 02 基于规则的词法分析

1. 英文词的识别

自然语言处理 —— 02 基于规则的词法分析
自然语言处理 —— 02 基于规则的词法分析

2. 英文词的还原

(1)词形还原(Lemmatization)