文本分割
文本分割（Text segmentation）将书面文本分割成有意义单位的过程，如单词、句子或主题。这个术语既适用于人类阅读文本时的心理过程，也适用于在计算机中实现的人工过程，后者属于自然语言处理的领域。一些书面语言有明确的单词分界标记，例如英语的词之间有空格标识，阿拉伯语有独特的首、中、末字母形状，但这种标记不是所有书面语言都有。 分割问题 分词 分词（Word segmentation）是将一串书面语言分成其组成词的问题。中文分词指…
标签：#汉字信息处理
共 2 篇文章
汉语自动句法分析
汉语自动句法分析包含对汉语句法的定义以及自动分析方法。 对于如何定义，从汉语语言学家的角度来看，往往是考虑如何生成句子的问题；从计算语言学家的角度来看，则往往是一个思考如何拆分句子的问题。计算语言学家需要为输入的句子实现一个自动拆分方法，这是句法分析的实现形式。 句子的拆分 指定义拆分单元的集合，将输入的句子拆分为该集合的一个子集。一个拆分单元由两部分组成，一个部分是载体，是句子的片段；另一个是载体承载的信息，用于将载体组合成句子。例如…