Skip to content

float point exception #563

@333caowei

Description

@333caowei

训练过程中经过多个pass之后会出现float point exception错误。

#46 #53 有提到可以通过更换模型,降低batcisize、降低学习速率或者优化算法可以解决这个问题。

经过实验发现降低batcisize(128变为50)、降低学习速率(adam由1e-3变为1e-4)并没有解决这个问题。
更换优化算法(由adam变为MomentumOptimizer(0.9))也还是会出现同样问题。

不知有没有什么别的办法可以解决这个float point exception问题

(注:训练样本大约50w条数据做序列分类,label大约8w个,90%数据序列长度小于10,集群版本paddle,训练了大约80个pass)

Metadata

Metadata

Labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions