从基本的HMM算法实现到LSTM实现,在NLP任务中有很多方法来处理读取,QA或存储器功能。此外,Facebook已经提供了20个NLP任务,并且还有一些公认的测试数据集。目前,许多网络改进和优化以及每个LSTM变体的目标是完成这20个任务。
目前阅读报纸的做法是:
1、基于门功能控制的LSTM处理,属于网络变体,
2、分析序列化后读取的每个单词的答案,最后得到答案得分较高。根据单词顺序,读取每个单词,并且结合问题顺序分析答案。
3、使用外部存储器模块,根据测试结果对存储器模块进行分割和分级,记忆效果更好,可以有效加速查询。
4、使用RNN + DNN联合网络的一些方法可以取得更好的结果。
5、与其他变体相比,我觉得GRU更好,或者他将门控功能结合起来以控制信息记忆和遗忘。这种机制更好。
6、在一些方法中,知识图被引入作为预处理信息。但是,在实际应用中,如何解决知识地图的自动构建和更新问题以及知识冲突的回避原则,目前尚无解决方案。
7、还有一些程序特定的自定义规则,可以在简单的句子问题中提取几种类型的问题。他们分为几类。但是,面对多层次问题,规则根本没有作用,或者需要完整的规则,而这几乎是不可能实现的。
8、将焦点模型引入网络时,可以根据输入序列使与问题相关的部分序列更加突出,这与关键点的意义相同。
9、有的引入了大规模的记忆模型,而是认为该模型应该具有网络可以直接引用的短期记忆,并且还应该具有大规模的长期记忆。
10、在由Facebook团队设计的端到端内存网络模型中,构造了答案字典,并且可以使用阈值来定义完全匹配标准。
11、新的有效模型是循环聚焦模型,RNN +注意机制,
12、一些使用POS(词性)语义分析输入语句。这是非常困难的,但就具体影响或长期发展而言很难说。目前,已经有平台或API来实现更精确的语义解构。