/Time-Step-Ensemble-in-Arithmetic

Time-Step Ensemble Study 및 연구 이어서 - Arithmetic Experiments

Primary LanguageJupyter Notebook

🎓 Time-Step Ensemble in Arithmetic 🎓

앞 연구에서 RNN의 앙상블이 성능 향상을 이끌었다는 것을 살펴볼 수 있었다.

앞 예제에서는 기계 번역으로 time-step 마다 예측한 단어의 ensemble을 활용했다.

이렇게 time-step 마다 앙상블을 사용하여 time-series 데이터 예측의 성능 향상을 기대해보았는데,

이번에는 기계 번역이 아닌 다른 예제에 대한 성능도 확인해보려 한다.

이번에 살펴볼 문제는 사칙 연산 계산 이다.

참고

Seq2Seq 으로 덧셈 구현 (Keras Example)

  • 파일 : addition_rnn.ipynb

  • 데이터셋

    • dataset/addition.txt

    • 50,000개(train:45,000, validate:5,000)

    • 795+3 _798

      706+796_1502

      8+4 _12

  • Three digits inverted + One layer LSTM (128 HN), 50k training examples = 99% train/test accuracy in 100 epochs

  • 100epoch accuracy : 0.9992

Seq2Seq 으로 사칙연산 구현 (Keras Example)

  • 파일 : arithmetic_rnn.ipynb

  • 데이터셋

    • dataset/3digit_1arith.txt

    • 50,000개(train:45,000, validate:5,000)

    • 8/245 _0.03

      31*48 _1488

      12+5 _17

  • Three digits inverted + One layer LSTM (128 HN), 50k training examples

  • 100 epoch : train accuracy(0.6234), val_accuracy(0.5460)

  • 200 epoch : train accuracy( 0.6833), val_accuracy(0.5276)

    • Train Loss

      train_loss

    • Train Accuracy

      train accuracy

    • Val_loss

      val loss

    • Val_Accuracy

      val accuracy

👉 이 결과를 RNN Ensemble 을 사용하여 성능을 향상 시켜보자.