比較的読みやすい本を中心に紹介します。今後は毎年このページを更新します。 微分積分 高校数学をきちんとやっておけばそんなに困ることないような。偏微分とテイラー展開は大学演習のような本でしっかりやっておきましょう。ラグランジュの未定乗数法のような、統計・機械学習で必要になる部分は、ネット等で学べばいいかなと思っています。 線形代数 tensorflowなどのおかげで順伝播部分（行列積および行列とベクトルの積）さえ書ければ線形代数の知識はそこまでいらないんじゃないかという流れを感じます。しかし、主成分分析やトピックモデルなどの行列分解や、ガウス過程などのカーネル法のような様々なデータ解析の手法に一歩踏み込むと、きちんとした勉強が必要になります。理解しやすくて使いやすくて、統計や機械学習への応用を主眼においた線形代数の本はまだ見たことないです。機械学習シリーズとかで基礎から「The Matrix

Crew Blog: 私たちがいちばんハッピーな時間は、土曜日の午後7時26分である。 そんな調査結果が出ています。7時26分という具体的な数値は別としても、週末のほうがハッピーという人は多いのではないでしょうか。 ロチェスター大学の研究では、収入や労働時間、職種を問わず、土曜日と日曜日がいちばんハッピーであるという結果が出ています。 スタンフォード大学の研究によると、失業中の人でさえも、週末のほうがハッピーに感じるそうです。 つまり、どんな人生を送っていても、人は「ウィークエンド・ハピネス」を感じる傾向があるようです。 仕事が大好きなうえに、自分の裁量で働くスケジュールを決められる筆者でさえ、週末はストレスが少ないことを自覚しています。そこで、こんな疑問を持つに至ったのです。 水曜日と土曜日は何が違うんだろう？ 幸せに関する実験 週末がもたらすポジティブな感情の理解を深めるために、実験を

私は30代になってひょんなことから未経験でWeb制作会社に就職しました。それ以前はWebの経験まったくなし。ゼロです。 そんなスタートでしたが毎日必死に独学で技術書を読んで勉強してきたおかげで、HTMLやWordPressを使ったサイト構築であれば人並みにできるようになり、世間でいう「フロントエンドエンジニア」として働いています。(現在は独立してサイト運営で生計をたてています) 僕は未経験で30過ぎてからWEB業界に入ってHTML/CSS/プログラムを学びました。 嫁は未経験で30過ぎてから職業訓練校に半年通ってサーバーの勉強して天下のマイクロ◯フトで働いています。 年齢だの経験がどうだの悩んでも意味ない。やる気と努力でなんとかなるっしょ。 — はた@ブログ/英語 (@hata_blog) 2018年3月10日 技術書を読むのは結構好きでいろいろと手を出しましたが、「これはいい本だったな・

平素はSo-netをご利用いただき、誠にありがとうございます。 このたび、誠に勝手ながら、2021年1月28日(木)をもちまして、「U-page+」サービスの提供を終了させていただくこととなりました。 サービスをご利用いただいておりますお客さまには、ご迷惑をおかけすることを深くお詫び申し上げますとともに、これまでのご愛顧に厚くお礼申し上げます。 記 ■提供終了サービス名 U-Page+ ■提供終了日 2021年1月28日（木）　15:00 提供終了日以降、お客さまのWebコンテンツの表示、FTPからのデータダウンロードができなくなります。 ■解約のお手続きについて 2021年1月28日(木)をもって自動解約となりますので、お客さまご自身での解約のお手続きは必要ございません。 サービス終了日以前に解約をご希望のお客さまは、解約のお手続きが必要です。 下記のWebページよりお手続きください。

今回は、最尤推定、MAP推定（事後確率最大化推定、正則化）、ベイズ推論*1の関係性を見ていきたいと思います。結論から言うと、最尤推定とMAP推定はベイズ推論の特殊な近似方法であると見ることができます。 [必要な知識] 下記をさらっとだけ確認しておくといいです。 KL divergence 確率の加法定理、乗法定理 \[ \newcommand{\argmax}{\mathop{\rm arg~max}\limits} \newcommand{\argmin}{\mathop{\rm arg~min}\limits} \] $x$を観測データ、$\theta$をパラメータとした確率モデル$p(x, \theta)$に対して、それぞれの推定方法は一般的には下記のように認識されているようです。 ・最尤推定 \[ \theta_{ML} = \argmax_{\theta} \{ p(x|\the

そんな中で，読者さんとこんなやりとりがありました． と，言うことで，参考書類をまとめてみました．大学レベルになると，オススメ参考書をまとめたサイトもめっちゃ少なく，参考書を探すのすら一苦労です． 幸いにも，私はロボットを専門的に学んでおり，数学，力学，電気，プログラミングなどなど多彩なことを学んでいます． 今回は，私が今まで使ったことのある参考書の中で良かったものを紹介させていただきます． ここにまとめたのは，すべて私が今まで読んだことのある参考書なので，他のサイトによくある「使ったことないけどおすすめする」的なのとは違います 私が愛読しているオーム社のマンガでわかるシリーズなどはKindle版も出ているので，通学時間とかのスキマ時間とかでサクッと読みたい人とかはKindle版を購入するのがおすすめです． 授業だけだと解法の暗記になってしまうことも少なくないですが，参考書等で体系的にわから

いざ大学院生として研究室に配属されたり、ポスドクとして新しいラボで働き始めたときの最初の悩みは、研究テーマとして何を選ぶかということです。フェローシップをとるために半年前に書いた研究計画があったとしても、実際にラボに来てみるとラボの状況やボスの考えが変わっていて、研究テーマを一から考え直すことになるのは珍しくありません。 大学院生活が5年経過したとき、手元にあるものが「複数の、脈絡ない研究課題の、小さな成果の寄せ集め」 https://t.co/pVETi1pf3R という人は多いと思います。研究テーマ選び、研究の進め方を指導しない教授も多いです（いわゆる放置）。研究テーマの選び方 １８のポイント https://t.co/PO9ultkzSO — 日本の科学と技術 (@scitechjp) 2018年1月20日 それでは、どのような点に注意して研究テーマを決めればよいのでしょうか？自分が

文献 Tompa et al. 2005 Nature Biotechnology Phylogenetic footprinting、発現パターン、ChIP結果などの補助的情報を使わず、 配列のみを使って解析する13のツールを fly, human, mouse, yeast, 人工データでテストした。 ただし、エキスパートがパラメータをファインチューニングし、 ベストヒットした1つのモチーフを取る、という条件での比較。 どのツールもyeastで特にハイスコア。flyはやや低め。 人工データよりもrealのスコアが低いのは、 今回正解としている以外のモチーフも配列に含まれてて そいつをトップヒットとしてしまったことにペナルティがかかってしまったせい。 Hu et al. 2005 BMC Bioinformatics あまりチューニングせずほぼデフォルト設定でベンチマーク。 そうすると、

2017 - 06 - 28 多次元正規分布モデルの最尤推定(準備編) 数学 パターン認識 自分用メモ はじめに 普段CTFのWrite-upばかり上げているのでたまには違う話題を上げてみる。 大学で「 パターン認識 」という授業を受けていて、その中で多次元 正規分布 の 最尤推定 を学んだのだけど、その計算方法や関連する 微分 の知識がややこしかったのでここにメモしておく。 今回は前提となる 微分 の知識についてまとめる。 (ネットで調べても多次元 正規分布 の 微分 に関する情報は少なかったので誰かの役に立つかも…) 記法 $\mathbf{a}$(小文字の太字)で列ベクトルを、$\mathbf{A}$で行列を表す。なおベクトルや行列は積や和が定義できる適切な次元であり、行列は正則であるとする。 $a$でスカラを表し、添字($a_i$や$A_{i,j}$)でベクトルや行列の要素を表す。

機械学習の分類の話を、主に決定境界と損失関数の観点から整理してみました。 とはいっても、k-NNとか損失関数関係ないのもいます。 最初ははてなブログに書こうとしたのですが、数式を埋め込むのが辛かったのでjupyter notebookにしました。 github.com [追記] githubだと日本語を含む数式のレンダーが壊れるので、nbviewerの方がいいかもしれません。 https://nbviewer.jupyter.org/github/chezou/notebooks/blob/master/classification.ipynb [/追記] パーセプトロンが見直されたのはなんでだっけ、SVMってどういう位置づけだっけ、というのを確認できればなぁと思っています。 多層パーセプトロンまでに至るところの流れがうまく伝わればなぁと思っています。 間違いなどがあれば、是非ご指摘いただ

機械学習をしているとよく交差エントロピーを最小化させられると思います。 でも冷静に考えると交差エントロピーが何かよくわかりませんでした。むしろエントロピーがわかりませんでした。 以下の記事を読み、もっと無理がない例で短くまとめたかったのですが、やはり例に無理があり、長くなってしまいました。参考文献 情報理論を視覚的に理解する (1/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (2/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (3/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (4/4) | コンピュータサイエンス | POSTD ニューラルネットワークと深層学習 以下はこれら記事の劣化アレンジです。 A国、B国、C国があります。 A国では、一日の天気は25%ずつの確率で晴れ、曇り、雨、雪にな

これなら分かる最適化数学―基礎原理から計算手法までposted with カエレバ金谷 健一 共立出版 2005-09-01 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに 最尤推定法とベイズ推定の違い 尤度をグラフィカルに説明する資料 参考資料 MyEnigma Supporters はじめに 学生の時から， "それは最尤推定法を用いています" とか， "その行は，尤度計算の部分ですね” とか，まるで尤度というものを知っていて， 使いこなしているかのような発言をしてきました． しかし，そう言いながらも， 自分的には，尤度というものがかなり漠然としていました． そもそも，尤度は文字通り「尤もらしさ」を表す度合いなので， 「最尤推定法でモデルのパラメータを決定します．」 っていうのは， 「一番それっぽいものを選びます」 と言っているのとあまり変わりがない気

はじめに 誰向けか 顧客や自身の部下などにデータサイエンスを説明をしなければならない立場の人 機械学習のアルゴリズムには詳しいけどビジネス貢献ってどうやってやるの？という人 データサイエンスのプロジェクトを管理する人 機械学習やデータサイエンスをこれから始める人 感想 はじめに 下記の書籍を以前（結構時間が経ってしまいました）高柳さんから頂いていましたので感想を書きたいと思います。 評価指標入門〜データサイエンスとビジネスをつなぐ架け橋 作者:高柳 慎一,長田 怜士技術評論社Amazon 遅くなった言い訳としては、「個人としては多くの内容が既知であったこと」が挙げられるのですが、この書籍に書かれている内容が未知であるかあやふやな人にとっては当然非常に有用になっています。そして、何よりもその伝え方（書かれ方）が今になって素晴らしいと実感できたためこのタイミングで書くこととしました。 誰向けか

9月24日に「図解即戦力 ChatGPT」という本が出ます。タイトルは ChatGPT ですが、中身は大規模言語モデルの仕組みを解説する本になっています。 図解即戦力　ChatGPTのしくみと技術がこれ1冊でしっかりわかる教科書 作者:中谷 秀洋技術評論社Amazon ChatGPTなどのAIを扱った入門書はすでに数え切れないほど出ており、何番煎じ？　柳の下にもうドジョウ残ってないでしょ？　と突っ込まれたら返す言葉もないですが（苦笑）、同じジャンルの他の本とは異なる特長を備えるように書いたつもりです。 大規模言語モデル（生成AI）は情報科学や機械学習、自然言語処理、数学などさまざまな技術や分野が複合した複雑な体系を持ちます。そのことを指して「大規模言語モデルは総合格闘技」とも言われたりします。しかし、実際に『総合格闘技』として扱った入門書、つまり関係するさまざまな技術にわたってAIを解説す