Week5の課題ではλ＝1、MaxIter=50で的中率95.2％でした。
同じ課題をWeek4では与えられたθでの的中率は97.5でした。
オプションではNeural Networkは複雑な予測線を描ける強力なツールなので、
λを小さくしてある程度regularizedの力を弱めて精度100％に近づけなさいというのが
課題です。
意図的にoverfitさせてくださいとかいてあります。
的中率100％見てみたいです！
なんでやってみます。
ということでλ＝0.1、MaxIter＝200にしてみました。
しかし圧倒的な計算コストです30分経ってもおわりません。
前回の日記でやったようにまずは一番良いλを探すことにします。
λ＝0.1、MaxIter＝50にしてみます。
96.78％です！
たっぷり45分くらいかかりました。
λ＝0.01で96.9％です。
λ＝0.001で96.62％です。
λ＝0.05でトライしてみます。
96.56％でした。
λ＝0.005でトライしてみます。
95.80％
λ＝0.015でトライしてみます。
ここまでのをサマリーしてみます。
| 1.000 | 95.20% |
| 0.100 | 96.78% |
| 0.050 | 96.56% |
| 0.015 | 95.54% |
| 0.010 | 96.90% |
| 0.005 | 95.80% |
| 0.001 | 96.62% |
一番良いのは0.010ですが、あんまり規則的になってないですね。。。
今まで一番結果の良かったλ＝0.01でMaxIterを増やしてみます。
λ＝＝0.01でIterationを150にしてみます。
出ました！
100％です！
本当に100％って出るんだってNeural Networkのすごさを実感できました。
この課題は5000セットに対しての予測なので、5000/5000ですね。
Week3の課題は100％いかなかったのはlayerを変えたら100％になるのかなぁと
思いました。
次はWeekのLinear Regressionの課題をNeural Networkで解いてみたいと思います！