秒速赛车有限公司
秒速赛车_秒速赛车实力大平台_秒速赛车下载_【A爱彩】
全国客服热线:

020-57899962

传感器新闻

这些发现为今后的句子表征学习的研究提供了强

  雷锋网 AI 科技评论按,作为人工智能的重要方向之一,NLP 领域的研究目前开展得如火如荼。1 月

  这篇论文被发布在 arxiv 上,主要讲了一种不需要训练就能探索句子分类的随机编码器。论文的主要介绍如下:

  这是一个强大的,新颖的语句嵌入基线,它不需要进行任何训练。在没有任何额外训练的情况下,我们探索了用预训练单词嵌入来计算句子表达方式的各种方法。其目的是让语句嵌入具有更坚实的基础:1)看看现代句子嵌入从训练中获得了多少好处(令人惊讶的是,事实证明,这是微乎其微的);2)为该领域提供更合适(也更强大)的基线。

  句子嵌入是一种矢量表示方法,其中句子被映射到表示其意义的数字序列。这通常是通过组合函数转换单词嵌入来创建的。句子嵌入是自然语言处理(NLP)中的一个热门话题,因为它比单独使用单词嵌入更容易进行文本分类。鉴于句子表达研究的快速进展,建立坚实的基线是很重要的。我们开始使用当前最先进的方法来确定有哪些收获,而不是采用随机的方法,这些随机的方法只结合了预训练的单词嵌入。随机特性的作用在机器学习社区中早已为人所知,因此我们将其应用到这个 NLP 任务中。我们探索了三种方法:随机嵌入投影包、随机 LSTM 和回声状态网络。我们的研究结果表明,句子嵌入中的提升很大程度上来自于词语表征。我们发现,对经过预训练的单词嵌入的随机参数化构成了一个非常强的基线,有些时候,这些基线甚至与诸如 SkipThought 和 InferSent 等著名的句子编码器的性能相匹配。这些发现为今后的句子表征学习的研究提供了强有力的基础。我们还对句子分类评估的一些合适的实验方案进行了认真的探讨,并对今后的研究提出了建议。雷锋网

  尽管最近对句子编码的研究较多,但是 NLP 的研究者们对于词汇嵌入和句子嵌入之间的关系仍然知之甚少。随着该领域研究的快速进展,对不同方法进行比较并不总是正确的。每隔一段时间我们需要往前回顾,以便对现有的最先进的方法产生更深入地理解,并分析这些方法为什么有效,这一点很重要。通过对句子嵌入的研究提供新的见解,并设置更强的基线,我们可以提高对神经网络表示和理解语言的原理的认识。他们在 Github 上分享了他们的代码。

  标签:句子 编码器 基线 论文 雷锋网 单词 参数 人工智能 自然语言处理 热门话题 神经网络 文本 编码 研究者 矢量 序列 表征学习 词语 科技 研究院

联系我们

联系人:张生

手 机:15879863259

电 话:020-57899962

邮 箱:55896518@163.com

公 司:秒速赛车有限公司

地 址:广东省广州市番禺经济开发区58号