はじめに：Optunaとは 使い方 インストール 最適化問題の例 問題設定 最適化 最適化の結果 ニューラルネットワークのハイパーパラメータチューニング 問題設定 実装 ハイパーパラメータを引数に取り、ニューラルネットワークを構成する関数 ハイパーパラメータを引数にとり、最適化手法を返す関数 ハイパーパラメータを引数に取り、学習済のモデルを返す関数 ハイパーパラメータを引数に取り、最小化したい値を返す目的関数 いざ最適化 はじめに：Optunaとは OptunaとはPFNが世に送り出した最適化枝刈りライブラリです。 Pythonのコードとして機械学習のコードのどこにでも入れることができ、非常に使いやすいAPIとなっています。大体、結構丁寧なサンプル・解説が公式ドキュメントに既にあるので、分かる方は此方を読むのが一番早いでしょう。 Welcome to Optuna’s documentat

はじめに 概要 コードの前提 Edward2 肝は tfp.edward2.RandomVariableクラス ベイズロジスティック回帰 ロジスティック回帰を書く 事後分布を書く 事前分布のセッティング 対数尤度 MCMCの実行 事後分布を見る 最後に はじめに 概要 現在開発が急ピッチで進んできている（ように私には見える）、TensorFlow Probabilityですが、 PyroやStanなどの先発組に比べて明らかに遅れを取っているように見えます。 このことに関して「ネット上に良いサンプルコードが見当たらない」ということと「ドキュメントを読んでもどのAPIを使えば良いか分からない」ということが大きな原因かなと思います。 特にtfp.distributionsとtfp.edward2の差異は明確ではなく、どっちをどのように使うのか…というのはかなりわかりづらいところです。 結論を述べ

はじめに APIの全体像 Layer 0 : TensorFlow Layer 1 : Statistical Building Blocks Layer 2 : Model Building Layer 3 : Inference techniques Layer 4 : Pre-built models + inference 高レベルAPItfp.glmの紹介 提供されている一般化線形モデル（GLM） ●class Bernoulli ●class BernoulliNormalCDF ●class Poisson ●class PoissonSoftplus ●class Normal ●class NormalReciprocal ●class LogNormal ●class LogNormalSoftplus ●class GammaExp ●class GammaSoftp

はじめに TensorFlow2.0がもうすぐ来るよ！ APIs High level APIs Eager Exexution Reference Models Contribの扱い プラットフォーム TensorFlow Lite TensorFlow.js TensorFlow with Swift パフォーマンス Distributed TensorFlow CPU、GPU、TPUの最適化関連 その他のパッケージ TensorFlow Probability Tensor2Tensor End to End ML systems TensorFlow Hub TensorFlow Extended はじめに TensorFlow2.0ではこれまでのTensorFlowから大幅に変化するので、その変更点について記しておきます。 基本的には公式のRoadmapの和訳と思って差し支えあり

はじめに ディープラーニング 概要 方法論 ツール 伝統的機械学習 概要 方法論 ツール ベイズ機械学習 概要 方法論 ツール 最後に はじめに 今回は機械学習のいろいろな分野（便宜的に分けているだけですが）についてそれぞれ概要とツールをまとめておきたいと思います。具体的には以下の３つに分けて書いています。 ディープラーニング 伝統的機械学習 ベイズ機械学習 注意点として、これらは本来別々に完全に分けて考えるものでもなく、混ぜて使うことができたり、あるいは理論的背景を共有していたりするものです。しかし、現状多くの場面ではこれらは用途に応じて使い分けられているのが実体であるため、あくまで使う側の立場でこれらの概要とツールについて述べていきます。 ディープラーニング 概要 ディープラーニングは言わずと知れた、機械学習の大流行の引き金となった存在です。 ディープラーニングのメインとなる存在である

はじめに データ構造のアルゴリズム コンピュータ・アーキテクチャ ネットワーク セキュリティ ソフトウェア工学 最後に はじめに 謎のタイトルを掲げていますが、実質は私の決意表明と書籍の紹介になりますのでご留意ください。 ちなみにこの記事ではコンピュータ・サイエンスのすべての分野に精通することは不可能だと思われるので（なんたって自分がその目処立っていないので）、あくまで初心者〜中級者向けということで勘弁してください。 データ構造のアルゴリズム これは中々奥が深い分野だと思われますが、この手の話は理屈を眺めていても私は中々頭に入ってこないタイプでした。どうしても内容に集中できないのです。「本当に意味あるんかしら？別にプログラムはこんなこと知らなくても書けるような…」なんて勉強しながら思っちゃうわけです。 そういう人にこそ下記の書籍がとってもおすすめ。 プログラミングコンテスト攻略のためのアル

はじめに クラスタリング 概要 K-means K-meansの改良 DeepClusterの基本的アイデア 考察と今後の展開 一提案 はじめに 私は普段、Twitterを大いに活用して情報収集をしております。今回の記事のタイトルにある「DeepCluster」はtwitterのTLで流れてきた以下のarxivで提案されたクラスタリング手法です。 [1807.05520] Deep Clustering for Unsupervised Learning of Visual Features 今回はこの手法の基本的な着眼点と、今後の発展について素人ながら考察してみます。 クラスタリング 概要 まずクラスタリングというものが、一体どんな問題設定であるのかをしっかりと認識しておきましょう。多次元のデータ$D = \{\mathbf x_1,...,\mathbf x_N \}$が手元にあるとし

理屈編 問題設定 損失関数 損失を小さくする勾配法 損失の減少はいつ終わるのか 学習がうまくいく更新の大きさ 学習がうまくいかない更新の大きさ 実践編 実行環境 必要なライブラリの準備 問題設定 モデルの設計と損失関数 tf.keras.Modelクラスでモデルの雛形を作る 損失関数 勾配の計算 パラメータの更新 実験 初期状態のモデル 学習後のモデル 本当に学習は上手く行ったのか コード全体 多項式フィッティングへの発展 理屈編 問題設定 ここでは最も単純な線形回帰である単回帰について説明します。 これは、入力変数がスカラーで $x$ １つ、出力変数もスカラーで $y$ １つのときに、 $x$ と $y$ の関係を一次式で表そうというものです。 データセット $D={(x_1, y_1), (x_2, y_2), \cdots, (x_N, y_N)}$がある時に（ $x_i, y_i$

最近発売されたディープラーニングの本。 基礎的な内容から始まり、主にリカレントネットワークを、TensorFlowとKerasによる実装を通して理解していきます。 結論 今回紹介する本 誰におすすめか TensorFlowあるいはKerasを使っていきたいユーザー リカレントネットワークを使いたいユーザー 誰におすすめでないか Chainerを使っていきたいユーザー 既にTensorFlowあるいはKerasを使いこなしている方 本の構成 １章：数学の準備（1〜22ページ） 2章：Pythonの準備（23〜68ページ） 3章：ニューラルネットワーク（69〜140ページ） 4章：ディープニューラルネットワーク（141〜207ページ） 5章：リカレントニューラルネットワーク（209〜249ページ） 6章：リカレントニューラルネットワークの応用（251〜293ページ） 付録（295〜310ページ