もうOptionの部分に入って長いですが、引き続きOptionの部分を行います。
まずは問題文を読みます。
適切なlearning rateを選びなさいという趣旨ですね。
Iterationを50にして、learning rate=alphaを0.3/0.1/0.03/0.01というように
変化させてJの収束具合を確認しなさいというように説明されています。
というわけでグラフを並べてみました↓
まとめると
alphaが3以上になるとエラー
alphaが1-3ならJが200憶近辺
alphaが0.3から0.03の時にJが100憶以下になっている
alphaが0.01-0.003ならJが200憶近辺
alphaが0.003以下なら一直線でJも600憶近辺までしかいかない
alphaが0.3から0.03の間に最適なalphaがありそうに見えますね。
（出典;『Coursera Machine Learning』 By Mr. Andrew Ng)
Videoの説明通りといえば通りですね。
ちなみにalphaが3以上でエラーになっているJをみてみると↓でした。
10の78乗って、、、
どんどん値が増えていっているのでグラフの縦軸を突き抜けてErrorみたいですね。
さて問題文には↓のように
グラフを重ね合わせてみることもよいと
説明されていたのでやってみました↓
黒線が α＝0.01
青線が α＝0.1
赤線が α＝1
です。
αが大きくなればなるほど、収束までの時間が短いように見えます。
しかしα＝10だと発散してしまうので、1前後が限界だったのでは、と思います。
それでは今回はここまでです。また次回頑張ります！