本篇内容主要讲解“Pytorch怎么实现Transformer”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Pytorch怎么实现Transformer”吧!输入句子(src_len)有两个，第一个长度为2，第二个长度为4
目标句子(tgt_len)有两个。第一个长度为4， 第二个长度为3用随机数生成句子，用0填充空白位置，保持所有句子长度一致src_seq为输入的两个句子，tgt_seq为输出的两个句子。
为什么句子是数字？在做中英文翻译时，每个中文或英文对应的也是一个数字，只有这样才便于处理。在该字典中，总共有8个字(行)，每个字对应8维向量(做了简化了的)。注意在实际应用中，应当有几十万个字，每个字可能有512个维度。字典中，需要留一个维度给class token，故是9行。通过字典取出1.2中得到的句子该阶段总程序位置编码是transformer的一个重点，通过加入transformer位置编码，代替了传统RNN的时序信息，增强了模型的并发度。位置编码的公式如下：(其中pos代表行，i代表列)有些位置是空白用0填充的，训练时不希望被这些位置所影响，那么就需要用到self mask。self mask的原理是令这些位置的值为无穷小，经过softmax后，这些值会变为0，不会再影响结果。3.1.1 得到有效位置矩阵3.1.2 得到无效位置矩阵True代表需要对该位置mask3.1.3 得到mask矩阵
用极小数填充需要被mask的位置算其softmat可以看到，已经达到预期效果到此，相信大家对“Pytorch怎么实现Transformer”有了更深的了解，不妨来实际操免费云主机域名作一番吧！这里是百云主机网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！
本篇内容主要讲解“微信小程序怎么实现获取用户手机号码功能”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“微信小程序怎么实现获取用户手机号码功能”吧!获取用户手机号码 分为以下几步：第一点击页面获取授权按钮第二获取用户…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
