fastText和GloVe怎么使用


这篇文章主要讲解了“fastText和GloVe怎么使用”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“fastText和GloVe怎么使用”吧!数据包括7613条tweet(Text列)和label(Target列),不管他们是否在谈论真正的灾难。有3271行通知实际灾难,有4342行通知非实际灾难。文本中真实灾难词的例子:“ Forest fire near La Ronge Sask. Canada “使用灾难词而不是关于灾难的例子:“These boxes are ready to explode! Exploding Kittens finally arrived! gameofkittens #explodingkittens”数据将被分成训练(6090行)和测试(1523行)集,然后进行预处理。我们将只使用文本列和目标列。此处使用的预处理步骤:小写清除停用词标记化使用fastText和Glove的第一步是下载每个预训练过的模型。我使用google colab来防止我的笔记本电脑使用大内存,所以我用request library下载了它,然后直接在notebook上解压。我使用了两个词嵌入中最大的预训练模型。fastText模型给出了200万个词向量,而GloVe给出了220万个单词向量。FastText提供了加载词向量的格式,需要使用它来加载这两个模型。采用嵌入矩阵来确定训练数据中每个词的权重。但是有一种可能性是,有些词不在向量中,比如打字错误、缩写或用户名。这些单词将存储在一个列表中,我们可以比较处理来自fastText和GloVe的词的性能fastText上的null word嵌入数为9175,GloVe 上的null word嵌入数为9186。你可以对超参数或架构进行微调,但我将使用非常简单的一个架构,它包含嵌入层、LSTM层、Dense层和Dropout层。fastText的准确率为83%,而GloVe的准确率为81%。与没有词嵌入的模型(68%)的性能比较,可以看出词嵌入对性能有显著的影响。fastText 嵌入的准确度GloVe 嵌入的准确度没有词嵌入的准确度感谢各位的阅读,以上就是“fastText和GloVe怎么使用”的内容了,经过本文的学习后,相信大家对fastText和GloVe怎么使用这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是开发云,小编将为 香港云主机大家推送更多相关知识点的文章,欢迎关注!

相关推荐: python中CSV文件读写操作是什么

这篇文章将为大家详细讲解有关python中CSV文件读写操作是什么,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。今天学习python的CSV文件读写操作。首先看我桌面的test.csv文件:是一种使用逗号分隔的…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

Like (0)
Donate 微信扫一扫 微信扫一扫
Previous 10/10 14:25
Next 10/10 14:25

相关推荐