暇人日記

アラフォーおっさんのコーセラの機械学習の課題を解こうと頑張っています!

いつかは取り組みたいCourseraのコース『Deep Learning Specialization』-後半-

Deep Learning Specializationで何を学べるか、ということを今回は見てみたいと思います。 前回の日記で書いていた各コースの所要時間とレベルとPyrhonと Week毎の時間をまとめてみました。 どうやらTensorflowがWeek2とWeek4で必要なことが見えてきました。…

いつかは取り組みたいCourseraのコース『Deep Learning Specialization』-前半-

ここ1か月は『フリーソフトウェアで学ぶ機械学習入門』を読んで 書いてあるPythonのコードを写経のように書いていました。 なんでこういう本を読んでいるかというと、 いつかはこのコースをやりたいと思っているからです。 『Deep Learning Specialization』…

やり残したことまとめ

時間があったら取り組もうといったものを忘れないように まとめサイトを作ることにしました。 ①NN4階層でsigmoidの代わりにReLUを使う 関連日記↓ 勾配消失化問題!? - 暇人日記 ②Signate課題でPCAをしてみる 関連日記↓ Coursera Machine Learningで学んだこ…

Coursera Machine Learningで学んだことを「機械学習入門」の内容と対応させてみる

「機械学習入門」を読んでみました。 正確には「フリーソフトウェアで学べる機械学習入門」という本です。 読んでいると、『おぉ、これCourseraでやったやつだ!』『Courseraをやったときはこういう位置づけだとは思わなかった』みたいなことがあったので書…

勾配消失化問題!?

前回の日記でNeural Networkを3階層から4階層にするのができず、 「フリーソフトではじめる機械学習入門」という本を読んでみました。 これを選んだ理由は図書館ですぐ借りれたからです。 (ダメたったら違うのを借りよう/買おうと思ってました。) 思えば今…

Neural Network4階層がうまくいかない

前回の日記でNeural Networkを3階層から4階層へ変更しました。 Signateの課題でこれで精度が上がることを期待します! 3階層での結果が↓でした。 4階層ではこれ以上になるはずです! 結果です↓ あれ!?全然だめですorz 1の数が0って。。。 MAXIterの問題か…

Neural Networkを3階層から4階層にする

Week5の課題はNeural Networkが3階層の設定ですが、 4階層に変更することに挑戦しました。 絵にするとこういう感じです↓ 何故3階層から4階層に変更したいかというと 初心者コンテストに挑戦したのですが、予測精度が低く合格点がとれませんでした。 3階層か…

Week5までのまとめとLinear Regressionの精度の考え方

Week5までのまとめをしたいと思います。 機械学習の予測の考え方は大きく↓でした。 ①予測式-->②Cost Function-->③Gradient-->④最適θ-->⑤予測 ①予測式をたてて②Cost Functionで差分の合計をJで表現します。 Jが小さくなれば小さくなるほど、精度が良いとい…

Week2の課題(家の値段)をNeural Networkで解いてみる-後編⑦-Pythonとの予測の比較

Neural Networkでの予測の精度はLinear Regressionの精度を上回ることができました。 PythonにもLinear Regressionの予測を行う機能があります。 こちらと比較したいと思います。 色々読みこみまして↓(私のうけたオンラインレッスンではおまじないと呼んで…

Week2の課題(家の値段)をNeural Networkで解いてみる-後編⑥-

前回の取り組みで見つけた >①fmincgが最適θを計算していない を再度考えてみます。 もう一度、初期パラメーターと計算後の最適θを並べて 観察してみることにしました。 一見何も計算されないように見えましたが 微妙に計算されていることがわかりました。 …

Week2の課題(家の値段)をNeural Networkで解いてみる-後半⑤-

前回までの試行と課題を振り返ります。 構造を↓のように設定してしました。 Linear Regression用にGradinent Checkingを整備しました。 Gradinent Checkingは正解でしたがfmincgで予測を行ったら 予測が合いませんでした。 大きな分岐点が2つありました。 1…

Week2の課題(家の値段)をNeural Networkで解いてみる-後編④-

前回の続きです。 λを1の-15乗にしたら安定するかどうか実験してみます。 1回目です。 2回目です。 3回目です。 4回目です。 5回目です。 確率は20%ですね。 そういえばλ=0で5回トライしてみます。 そもそもλ=0でθの2乗部分はないことにしているので、 λ…

Week2の課題(家の値段)をNeural Networkで解いてみる-後半③-

FeedForwardではtanh関数を使っていましたが、 予測値ではtanh関数を使わないというという荒業で計算してみました。 根拠はないです笑 やってみてわかったことはそんなに答えは変わらないということでした。 何故だろうと思いましたが、 X *theta1がすでに絶…

Week2の課題(家の値段)をNeural Networkで解いてみる-後編②-

前回はGradinent Checkingがクリアできたので、fmincgで最適θを出して 予測値を出しましたがダメというところでした。 最適θを出してから予測値までを振り返ってみます。 構造は↓になっています。 そして計算ロジックはHidden Layerではsigmoid関数の代わり…

Week2の課題(家の値段)をNeural Networkで解いてみる-後編①-

CourseraにはDiscussion Forumなるものがありまして、 そこにNeural NetworkでLinear Regressionを解こうとした問い合わせがないか 検索してみました。 その中の1つにVideoのレクチャーノートのボーナスにそれについて 触れてあるものがあるとありました。 …