自然语言处理技术发展中要增强的地方(二)

天涯百科 百科知识 74 0

生活中使用的一些新技术,或者说一些好用的技术,在使用上都会很多,但是这些技术其实还是有很多地方是需要改进的,所以也就是这些技术现在是一边在用,一边在改进,自然语言处理技术就是其中的一种。

1、新词发现

新词是指在从前的分词词典中没有收录,后来出现并被大家公认的词语。新词发现难的原因在于新词覆盖面广,词语构成没有普遍规律;低频新词数据稀疏,识别难度大。

自然语言处理技术发展中要增强的地方(二)

最典型的新词就是人名词,如“李达康心系GDP”,句中的“李达康”是人名,如果把“李达康”这个基本词收录到词典中就能解决这个问题。

但是“李达康”是近期电视剧中出现的人物,词典并未讲该词收录,及时、完整地收录全部人名是一个不现实的工程。

2、 词义消歧

词义消歧包括多义词消歧和指代消歧。多义词是自然语言中非常普遍的现象。指代消歧是指正确理解代词所代表的⼈或事物。例如,在复杂交谈环境中,“他”、“it”到底指代谁。词义消歧需要对文本上下文、交谈环境和背景信息等有正确的理解。

3、句法

除了词法以外,句法也存在着各种歧义问题。例如在短语级别上,结构关系不同和结构层次不同都会造成歧义的出现。比如“修改方案”可以理解为动宾关系(修改了一个方案),也可以理解为偏正关系(一个修改方案),这是结构关系不同所造成的歧义。

这些你都清楚了吗?

标签: 描写人物品质的词语

抱歉,评论功能暂时关闭!