[B! DeepLearning] KandukiKeiのブックマーク

LLMを理解する一歩として「ゼロから作るDeep Learning」をやった - $shibayu36->blog;

LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。理解できなかったことは悔しいし、LLMやChatGPTをうまく使いこなすには最低限どのような原理で動いているか理解したいと感じた。そこで一歩目として「ゼロから作るDeep Learning」を完走した。ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装作者:斎藤康毅オライリージャパンAmazon 知識なしからはじめたので時間はかかったが、次のように進めていった。自分もコードを写経しながら読むレポジトリは https://github.co

KandukiKei 2023/05/23

DeepLearning

リンク

深層学習の数理

2. １９４６：ＥＮＩＡＣ，高い計算能力フォン・ノイマン「俺の次に頭の良い奴ができた」１９５２：Ａ．Ｓａｍｕｅｌによるチェッカーズプログラム機械学習と人工知能の歴史 2 １９５７：Ｐｅｒｃｅｐｔｒｏｎ，ニューラルネットワークの先駆け第一次ニューラルネットワークブーム１９６３：線形サポートベクトルマシン１９８０年代：多層パーセプトロン，誤差逆伝搬，畳み込みネット第二次ニューラルネットワークブーム１９９２：非線形サポートベクトルマシン（カーネル法）統計的学習線形モデルの限界非凸性の問題１９９６：スパース学習（Lasso）２００３：トピックモデル（LDA）２０１２： Supervision （Alex-net）第三次ニューラルネットワークブームデータの増加＋計算機の強化１９６０年代前半：ＥＬＩＺＡ（イライザ），擬似心理療法士１９８０年代