（データを扱う）ビジネスマン全てにおすすめの本 - HELLO CYBERNETICS
はじめに データ分析：実用系 Kaggleで勝つデータ分析の技術 ウェブ最適化ではじめる機械学習 データ分析：因果推論 入門 統計的因果推論 計量経済学 大人の教養 世界標準の経営理論 科学的に正しい筋トレ 最強の教科書 落合務のパーフェクトレシピ はじめに 今回は、特にドメインを指定せず、読むと間違いなく誰にでも勉強になるであろうと感じた書籍を紹介します。 データ分析：実用系 Kaggleで勝つデータ分析の技術 Kaggleで勝つデータ分析の技術 作者:門脇 大輔,阪田 隆司,保坂 桂佑,平松 雄司発売日: 2019/10/09メディア: 単行本（ソフトカバー） "Kaggleで勝つ"と題名にはありますが、データ分析、特に予測モデルを作るようなケースで重要な基礎知識が実践的に学ぶことができる非常に良い本となっています。例えば、交差検証といえば、基本的には汎化誤差の推定量として統計学の本に
最尤推定からベイズ推定まで - HELLO CYBERNETICS
はじめに データと確率分布 データと確率モデル 推定方法 最尤推定法 ベイズ法 はじめに 今回は具体的な手法の詳しい解説やコードなどは一切出てきません。 ある程度の数式（確率分布や微分積分、線形代数）に抵抗の無い方が、最尤推定とベイズ推定はどういうものであるのかを初めて学ぶのに無理の無い内容になっていると思われます。 データと確率分布 まずは基本事項としてデータと確率分布について説明します。 確率論でデータを扱う場合には、データはとある真の確率分布 $\phi(\cdot)$ から生じているものであると考えます。具体的には、今着目しているデータ $x$ は確率変数 $X$ が $\phi(X)$ に従っており、その実現値として $X = x$ と定まったことによって得られていると考えます。このことを $$ x \sim \phi(X) $$ と表現します。更に確率変数が複数あるケースを考え
ベイズ統計 - HELLO CYBERNETICS
はじめに データとモデル 確率モデル 確率モデルを作る 複雑なモデルを使うことが最善手であるか モデルの具体的な作り方 モデルの仮定 アンサンブルモデル 点推定モデル 最尤推定 制約付き最尤推定※ （最大事後確率推定） ベイズ予測分布と点推定 ベイズ統計学 ベイズ予測分布を得ることの意義 ベイズ統計学の主題 特異モデルと正則モデル ベイズ統計学のまとめ はじめに ベイズだの頻度論だので盛り上がっているので、ぶん殴られる覚悟で書いてみます。 データとモデル 観測値がランダムに見える場合、それを確率変数 $X$ として扱います。 さて、今、$X$ には我々が知ることのできない真の分布 $q(X)$ があるとしましょう。もしも、$X$ を無限回観測し満遍なくデータを集められるとすれば、$q(X)$ の形状を把握することができるかもしれません。 ところが、そんなのは幻想であって実際に無限回の観測を
MLPシリーズ ベイズ深層学習 - HELLO CYBERNETICS
はじめに 概要 深層学習に対して不確実性を導入する 深層学習をベイズ推論で理解する ベイズ推論にニューラルネットワークを導入する 中身 1.はじめに 2.ニューラルネットワークの基礎 3.ベイズ推論の基礎 4.近似ベイズ推論 5.ニューラルネットワークのベイズ推論 6.深層生成モデル 7.深層学習とガウス過程 読み方 はじめに MLPシリーズの「ベイズ深層学習」を著者：須山敦志氏よりご恵贈に預かりました。 須山さんはHatena blogにて machine-learning.hatenablog.com を長いこと書かれており、私も機械学習の勉強を開始して依頼、何度も参考にしてきました。 今回は恵贈頂いたベイズ深層学習に関して恐れ多くも書評を書いていきます。 ベイズ深層学習 (機械学習プロフェッショナルシリーズ) 作者: 須山敦志出版社/メーカー: 講談社発売日: 2019/08/08メ
Optunaでハイパーパラメータチューニング - HELLO CYBERNETICS
はじめに：Optunaとは 使い方 インストール 最適化問題の例 問題設定 最適化 最適化の結果 ニューラルネットワークのハイパーパラメータチューニング 問題設定 実装 ハイパーパラメータを引数に取り、ニューラルネットワークを構成する関数 ハイパーパラメータを引数にとり、最適化手法を返す関数 ハイパーパラメータを引数に取り、学習済のモデルを返す関数 ハイパーパラメータを引数に取り、最小化したい値を返す目的関数 いざ最適化 はじめに：Optunaとは OptunaとはPFNが世に送り出した最適化枝刈りライブラリです。 Pythonのコードとして機械学習のコードのどこにでも入れることができ、非常に使いやすいAPIとなっています。大体、結構丁寧なサンプル・解説が公式ドキュメントに既にあるので、分かる方は此方を読むのが一番早いでしょう。 Welcome to Optuna’s documentat
大幅に進化するらしいTensorFlow2.0について - HELLO CYBERNETICS
はじめに TensorFlow2.0がもうすぐ来るよ！ APIs High level APIs Eager Exexution Reference Models Contribの扱い プラットフォーム TensorFlow Lite TensorFlow.js TensorFlow with Swift パフォーマンス Distributed TensorFlow CPU、GPU、TPUの最適化関連 その他のパッケージ TensorFlow Probability Tensor2Tensor End to End ML systems TensorFlow Hub TensorFlow Extended はじめに TensorFlow2.0ではこれまでのTensorFlowから大幅に変化するので、その変更点について記しておきます。 基本的には公式のRoadmapの和訳と思って差し支えあり
素人流：コンピュータ・サイエンスの基本知識を取り揃える書籍 - HELLO CYBERNETICS
はじめに データ構造のアルゴリズム コンピュータ・アーキテクチャ ネットワーク セキュリティ ソフトウェア工学 最後に はじめに 謎のタイトルを掲げていますが、実質は私の決意表明と書籍の紹介になりますのでご留意ください。 ちなみにこの記事ではコンピュータ・サイエンスのすべての分野に精通することは不可能だと思われるので（なんたって自分がその目処立っていないので）、あくまで初心者〜中級者向けということで勘弁してください。 データ構造のアルゴリズム これは中々奥が深い分野だと思われますが、この手の話は理屈を眺めていても私は中々頭に入ってこないタイプでした。どうしても内容に集中できないのです。「本当に意味あるんかしら？別にプログラムはこんなこと知らなくても書けるような…」なんて勉強しながら思っちゃうわけです。 そういう人にこそ下記の書籍がとってもおすすめ。 プログラミングコンテスト攻略のためのアル
はてなブログで数式を含む記事を書く際の設定 - HELLO CYBERNETICS
はじめに はてなブログのMarkdownについて 編集モードをMarkdownにする 本文の改行に関して 改行が入らないケース 改行が入るケース 空行を入れたいケース 数式入力 初歩 エスケープが必要な例 はじめに 問い合わせで、「はてなブログで数式を書く場合にどのような設定を用いれば良いのか？」という質問が来ました。 実は私自身もはてなブログで数式を打ち込むことにはかなり苦労した口であるので、ここで一旦まとめておきたいと思います。 はてなブログのMarkdownについて 私の場合編集モードをMarkdownにしています。 このMarkdownを使うことで、qiitaやjupyter notebookなどでもお馴染みの形式で数式を（ある程度）表示できるようになります。 ただし、若干はてなブログ特有の部分があるので、そこを中心にまとめておきたいと思います。 編集モードをMarkdownにする
【機械学習ステップアップ】確率モデルの考え方 - HELLO CYBERNETICS
はじめに よくある機械学習の問題設定 よくある機械学習の解法 確率モデルの考え方 問題の定式化 問題を確率分布で一貫して表現 解法 ノイズを正規分布とみなした最尤推定 余談 はじめに 今回は機械学習の中でも、多くの初学者が行き詰まる確率モデルについて、その考え方をまとめておきたいと思います。 機械学習で最も基本的な話題の展開方法は、線形回帰や線形分類のお話を、適当な損失関数を最小化するような関数を決定するというお話で進めていくことです。これは直感的にはわかりやすく、しかも（深く考えなければ）、そこで設定される損失関数は常識的に真っ当なものに見えたりします。 よくある機械学習の問題設定 ここで簡単に例を提示しておきたいと思います。ベクトル$\mathbf x$とスカラー$y$の組が$N$個手に入っているとしましょう。このような訓練データ集合$D=\{(\mathbf x_1, y_1),..
交差検証の話 - HELLO CYBERNETICS
交差検証のやり方 交差検証とは scikit-learnのKFold 交差検証のサンプル(Keras) ディープラーニングでの検証 最後に 交差検証と汎化誤差 交差検証のやり方 交差検証とは 交差検証ってすごく単純です。学習にこれから使うデータをK分割して、K-1個のデータセットを学習に使い残りの1個を検証に使う。ということをK回繰り返す検証方法です。 以下に簡単に図を載せておきます。 この図の場合、5回算出した各評価値を平均したものを、最終的な評価値として使います。この評価値はAccuracyかもしれませんし、Recallかもしれませんし、何やろうとしているかによって自分たちで決めてから評価を行うことになります。 例えば分類というタスクにおいては以下の評価指標が基本的です。 s0sem0y.hatenablog.com 交差検証の実行それ自体はハッキリ言って単純明快です。難しい式も全く必
見たら瞬時に理解すべき数式 - HELLO CYBERNETICS
機械学習で現れる数式に関して、これを見たら瞬時に理解すべきものを載せておきます。 機械学習で現れる数式には大量の添字があり、それらのせいで一体どのような計算が行われているのかを瞬時に把握するのが難しくなっています。しかしもはやこれは慣れの問題です。 教科書を根気強く理解できるようにするのもいいですが、予めどのような表現があるのかを知っていれば、もっと楽に読み進めることができるはずです。そのための言わば事前に知っておくと言い数式たちを載せておきます。 行列の行と列の数 計算の法則 特に頻出する形式 和の計算と行列表現 内積 行列計算 出現場面 固有値と固有ベクトル 固有ベクトルは、ほとんど変換を受けないベクトル 固有値とは、固有ベクトルがどれだけ定数倍されたかを表す 出現場面 勾配 勾配はスカラー関数の各成分の傾き 勾配はスカラー関数の等高線の法線ベクトル 出現場面 終わりに 行列の行と列の
機械学習を学ぶ上で抑えておきたい数学２ - HELLO CYBERNETICS
機械学習や深層学習を学ぶ上で、数学は言語である 線形代数学 行列とベクトルは連立方程式を解くための記法 機械学習での活躍 どこまで学ぶか 最適化数学 学習とは 教師あり学習 教師なし学習 最適化を行う際の重要ワード「正則化」 どこまで学ぶ必要があるか 確率・統計 最低限知っておくべき定理や性質 最低限知っておくべき推定法 確率分布には見慣れるしかない 何に役立つのか 情報理論 情報を確率で記述する 何に役立つのか 情報幾何学 発祥は日本 機械学習での役割 海外での方が有名？ 機械学習や深層学習を学ぶ上で、数学は言語である 以前、学びたい機械学習のレベルに応じて、どんな数学が必要になってくるのかを紹介しました（以下の記事）。 s0sem0y.hatenablog.com そのときにも述べましたが、数学というのは何らかの操作を非常に簡潔に表現してくれます。要するに情報をギュッと圧縮して伝える手
評価関数で見る機械学習手法 - HELLO CYBERNETICS
最近、学習は最適化問題に帰着されるということを自分自身強く意識するようになりました。 そこで有名なSVMや対数線形モデルなどの評価関数を見て、それぞれがどのような狙いを持っているのかを概観してみようと思います。 Support Vector Machine 評価関数 解釈 ソフトマージン 対数線形モデル 狙い 実際の最適化問題 解釈 正則化 正則化項の取り扱い 評価関数の一般的な取り扱い 正則化と最大事後確率推定(Maximum a-posteriori estimation:MAP推定) 対数線形モデルは最大事後確率推定 Support Vector Machine 線形関数 で分離面を構成するのが第一の考え方です。 評価関数 がマージンと呼ばれるもので、これを最大化するのがSVMです。絶対値は取り扱いにくいので、代わりに二乗を考え、分数も厄介なので、逆数を取り、以下の最適化問題に帰着し
機械学習の初心者が数式に困惑したら。解決への指針 - HELLO CYBERNETICS
前回機械学習を学ぶなら数学が必要だという話をしました。 s0sem0y.hatenablog.com それと同時に、数学を極めてから機械学習をやるのではなく、機械学習をやりながら必要に応じて数学を学んでいくというスタイルをオススメしました。しかし、今から機械学習を学んでいこうという人にとって、機械学習の数式がわからないとき、果たしてどの数学を学べば改善が見込めるのかを判断するのは難しい問題かと思います。 そこで機械学習に現れる数式を実際に取り上げ、ケースごとにどの数学分野を補強すべきかの指針をまとめてみたいと思います。また、少しの定性的な理解を深める解説も載せておきます。今後のヒントになれば嬉しいです。 パーセプトロンでのケース 全て同じ意味、式変形が分からない人へ 入力ベクトルに対して、 という数式が現れます。この数式を大抵の本は以下のように変形します。 最初の式と、この式が全く同じ計算
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
確率モデリングと事後分布、事前分布、超パラメータ - HELLO CYBERNETICS