-
Notifications
You must be signed in to change notification settings - Fork 5.8k
Closed
Labels
Description
训练过程中经过多个pass之后会出现float point exception错误。
#46 #53 有提到可以通过更换模型,降低batcisize、降低学习速率或者优化算法可以解决这个问题。
经过实验发现降低batcisize(128变为50)、降低学习速率(adam由1e-3变为1e-4)并没有解决这个问题。
更换优化算法(由adam变为MomentumOptimizer(0.9))也还是会出现同样问题。
不知有没有什么别的办法可以解决这个float point exception问题
(注:训练样本大约50w条数据做序列分类,label大约8w个,90%数据序列长度小于10,集群版本paddle,训练了大约80个pass)