训练中pytorch出现nan的两种情况
1.训练结束之后忽略添加relu导致出现了负数，这回导致开根号的时候出现inf，然后出现nan2.loss函数中有开根操作，而网络输出有0，导致结果无穷大，对有0的位置添加1e-9这种极小值可以防止无穷大的产生。...
·
1.训练结束之后忽略添加relu导致出现了负数，这回导致开根号的时候出现inf，然后出现nan
2.loss函数中有开根操作，而网络输出有0，导致结果无穷大，对有0的位置添加1e-9这种极小值可以防止无穷大的产生。
汇聚全球AI编程工具，助力开发者即刻编程。
更多推荐
1
0- 0
已为社区贡献2条内容
所有评论(0)