这篇文章将为大家详细讲解有关在API中使用自定义层导致trainable_variables中的权重无法更新该怎么解决，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。一位从事NLP工程师Gupta发现了TensorFlow存在的一个严重bug：每个在自定义层中使用Keras函数式API的用户都要注意了！使用用Keras的Functional API创建的权重，可能会丢失。这一话题在Reddit机器学习板块上被热议，引起不少Te 香港云主机nsorFlow用户共鸣。具体来说，就是在API中使用自定义层，会导致trainable_variables中的权重无法更新。而且这些权重也不会放入non_trainable_variables中。也就是说，原本需要训练的权重现在被冻结了。让这位工程师感到不满的是，他大约一个月前在GitHub中把这个bug报告给谷歌，结果谷歌官方到现在还没有修复。解决办法如何检验自己的代码是否会出现类似问题呢？请调用model.trainable_variables来检测自己的模型：看看你所有的可变权重是否正确，如果权重缺失或者未发生变化，说明你也中招了。Gupta还自己用Transformer库创建模型的bug在Colab笔记本中复现了，有兴趣的读者可以前去观看。https://colab.research.google.com/gist/Santosh-Gupta/40c54e5b76e3f522fa78da6a248b6826/missingtrainablevarsinference_var.ipynb对此问题，Gupta给出的一种解决方法是：改为使用Keras子类创建模型。改用此方法后，所有的权重都将出现在trainable_variables中。为了绝对确保用函数式API和子类方法创建的模型完全相同，Gupta在每个Colab笔记本底部使用相同的输入对它们进行了推理，模型的输出完全相同。但是，使用函数式API模型进行训练会将许多权重视为冻结，而且这些权重也没有出现在non_trainable_variables中，因此无法为这些权重解冻。为了检查谷歌最近是否修复了该漏洞，Gupta还安装了Nightly版的TF 2.3.0-rc1，保持框架处于最新状态，但如今bug依然存在。关于在API中使用自定义层导致trainable_variables中的权重无法更新该怎么解决就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。
本篇文章为大家展示了MySQL中的过时表述分析，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。作为MySQL的默认存储引擎，在性能和可用特征之间，MyISAM提供一种良好的平衡，这些特征包括全文检索，压缩，空间函数。My…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
