loss NaN(loss 값이 nan 일 때) 해결 방법

텐서플로(Tensorflow), 케라스(Keras), 파이토치(PyTorch) 등으로 랜덤 포레스트, 신경망(CNN, RNN, GAN)등의 모델을 학습시킬 때 loss 값이 nan이 되는 경우가 있다. 아래에 나와있는 방법들로 대개 해결된다.

 

 

• 가장 먼저 df.isnull().any()로 데이터셋에 NaN이나 inf 값이 들어있는지 확인한다. (데이터 셋이 pandas DataFrame 형태인 경우)

 

• 다른 optimizer들을 사용해본다. Ex. sgd, adam, nadam

 

• learning rate(학습률)을 낮춰본다.

 

• 특성 스케일링을 다른 방식으로 해본다. Ex. (0, 1)을 (-1, 1)로