当前位置: 代码网 > it编程>App开发>Android > 2024年深度学习在NLP领域的进展和趋势(1),Android小技巧

2024年深度学习在NLP领域的进展和趋势(1),Android小技巧

2024年07月31日 Android 我要评论
自动摘要和自动翻译是NLP中首要的任务,目前主要有2中方法:基于抽取的方法,从原文中抽取最重要的片段;基于抽象的方法,通过生成摘要。之前基于抽取的方法处于主流地位,由于更为简单的缘故。去年,基于RNN模型在文本生成中取得了不可思议的效果,尤其是在断文本的输入和输出,但是在长文本中却取得很差的结果。提出了一种神经网络模型克服了这个局限性。如下图所示,结果是令人振奋的。作者使用biLSTM对输入进行编码,然后使用LSTM解码生成输出。

本方法使用的是multiplicative lstm模型,主要的原因就是它比普通的lstm模型更容易收敛。在amazon评价语料库上训练使用了4096个单元。

为什么情感倾向判断的准确度高依然未知。读者可以尝试着训练一个自己的模型并做一些实验,作者的训练花了大概一个月时间。

推特與情分析


推特上的與情分析是一个很有力的工具,人们对某个商业品牌的评价,分析营销活动的影响,竞选活动中希拉里和川普在大众中的评价。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

semeval 2017

推特與情分析不仅受到了nlp领域的广大研究者的关注,也受到政治家和社会活动家的关注。因此从2013年开始,semeval提出了对应的任务-情感分析。

今年,有48支队伍参与这项任务。今年的5个任务为:

1.子任务a:给定一条推文,判断积极、消极、平和三种情感。

2.子任务b:给定一条推文和一个主题,将主题判断为积极或者消极。

3.子任务c:给定一条推文和一个主题,将推文分为:强烈的积极、轻微的积极、平和、轻微的消极、强烈的消极。

4.子任务d:给定关于某个主题的推文,评估这些推文在消极和积极的分布。

5.子任务e:给定关于某个主题的推文,评估这些推文在强烈的积极、轻微的积极、平和、轻微的消极、强烈的消极中的分布。

参赛队伍中有20个队伍使用了cnn或lstm模型。尽管如此,svm模型依然流行,有一些队伍结合了神经网络方法或使用了词嵌入特征。

the bb_twtr system

该组工作发布在(cliche, 2017),英语组中5个子任务排列第一。作者结合了10个cnn和10个bilstm用来训练不同的超参和不同的预训练策略。在他们的论文中详细的叙述了网络的结构。

为了训练模型,作者使用了人工标注的推文(子任务a标注了49693条)以及没有标注的1亿推文(只是简单的标记了积极和消极)。这些推文都经过了小写、符号化、特殊符号替换链接和表情、统一重复的字母(比如niiice,niiiiiice统一为niice)。

作者使用了word2vec, glove and fasttext等方法训练词向量,结果表明并没有哪个方法能够取得更明显的效果,因而作者采用了一种投票的策略。

令人激动的抽象摘要系统

自动摘要和自动翻译是nlp中首要的任务,目前主要有2中方法:基于抽取的方法,从原文中抽取最重要的片段;基于抽象的方法,通过生成摘要。之前基于抽取的方法处于主流地位,由于更为简单的缘故。

去年,基于rnn模型在文本生成中取得了不可思议的效果,尤其是在断文本的输入和输出,但是在长文本中却取得很差的结果。

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com