確率的プログラミング言語 TensorFlow Probability【高レベルAPI、`tfp.glm`の紹介】 - HELLO CYBERNETICS
はじめに APIの全体像 Layer 0 : TensorFlow Layer 1 : Statistical Building Blocks Layer 2 : Model Building Layer 3 : Inference techniques Layer 4 : Pre-built models + inference 高レベルAPItfp.glmの紹介 提供されている一般化線形モデル（GLM） ●class Bernoulli ●class BernoulliNormalCDF ●class Poisson ●class PoissonSoftplus ●class Normal ●class NormalReciprocal ●class LogNormal ●class LogNormalSoftplus ●class GammaExp ●class GammaSoftp
機械学習モデルの予測結果を説明するための力が欲しいか...？ - クソして寝ろ
はじめに 最近はAIや機械学習などの単語がビジネスで流行っていて、世はAI時代を迎えている。QiitaやTwitterを眺めているとその影響を受けて、世の多くのエンジニアがAIの勉強を始め出しているように見受けられる。 さらに、近年では機械学習のライブラリも充実しており、誰でも機械学習を実装することができる良い時代になってきた。 その一方で、特徴選択を行い精度を向上させたり、機械学習の出した答えがどの特徴に基づいて判断されたのかを理解したりするには、モデルに対する理解やテクニックが必要となる場合も多々ある。複雑なモデルになると人間には解釈が困難で説明が難しい。近頃流行りのDeep Learning系のモデルだと頻繁に「なんかよくわからないけどうまくいきました」となっていると思う。 一般的なエンジニアとしては、この点が割と課題なんじゃないかと勝手に思っている。というか、私が課題に感じている。
MAP推定は最尤推定と何が違うのか - HELLO CYBERNETICS
最も単純な思想である最小二乗誤差推定があります。 これは多変量解析や機械学習でも最も最初に学ぶであろう内容です。次には過学習を防ぐために正則化を用いることを学ぶかと思います。 これらが、確率論の導入によって最尤推定とMAP推定に含まれることを見ていきます。数式は要点だけを見ていくので、詳しい式変形は追いません。しかしそれでも、近年統計的機械学習（確率論を使う機械学習の方法）が非常に活躍している理由が分かるかと思います。 SVMやニューラルネットなどの決定論的手法も確率的に取り扱えますが、なぜそんな面倒なことをやるのかを納得していただけたらと思います。 決定論的な多項式フィッティングの過学習対策 次数の問題 過学習対策：正則化 確率論的な多項式フィッティングの過学習対策 最尤推定によるフィッティング MAP推定 まとめ 確率論を用いるメリットとは？ 決定論的な多項式フィッティングの過学習対策
Cloudera World Tokyo 2016で機械学習プロダクトの作り方を話しました #cwt2016 - once upon a time,
さる11/8に、自社の主催するCloudera World Tokyo 2016で、機械学習プロダクトの作り方について話をしました。 図: Hadoopの生みの親 Doug(@cutting)と握力王新沼さん(@hiroki_niinuma)の対談イベントの様子 大規模データに対するデータサイエンスの進め方 #CWT2016 from Cloudera Japan www.slideshare.net データの民主化の話、データサイエンティストとデータエンジニアの役割分担とチーム構成、機械学習の業務フロー、Cloud Nativeなデータサイエンスといった盛りだくさんの話をしました*1。 話の中で特に言いたかったことは2つ、P.16のリスクを取ってくれる責任者を捕まえようという話と、P.29の機械学習込みのプロダクトは改善をし続けないと死ぬという話です。 あとは、できるだけ機械学習をしない
勾配降下法の�最適化アルゴリズム
モメンタム、Nesterov accelerated gradientとAdagrad, Adadelta, Adamについて解説しました。Read less
ノンパラメトリックベイズ
• – • • – • • } , , , { 2 1 N X x x x L = ) | ( Θ X p Θ • – • – ) | ( Θ X p ) | ( Θ x p ∏ = = Θ 6 1 ) | ( k x k k p θ x } , , , , , { 6 5 4 3 2 1 θ θ θ θ θ θ = Θ ∏∏ = = = Θ N n k x k k n X p 1 6 1 , ) | ( θ 1 ) | ( 6 1 = = Θ ∑ ∫ = k k d p θ x x } , , , { 2 1 N X x x x L = n x • – • – • Θ Θ ) | ( X p Θ ) | ( X p Θ • } , , , , , { 6 5 4 3 2 1 θ θ θ θ θ θ = Θ ∏∏ = = = Θ N n k x k k n X p 1 6 1 , ) |
いまさら聞けない機械学習の評価関数 - Gunosyデータ分析ブログ
アライアンス事業開発部の大曽根(@dr_paradi)です。 ニュースパスというアプリの分析と開発を行っております。 今回は機械学習の評価関数のお話をします。 内容は、【FiNC×プレイド】Machine Learning Meetup #1 - connpassで発表したものになります。 発表資料 いまさら聞けない機械学習の評価指標 from 圭輔 大曽根 www.slideshare.net 機械学習における評価 現在は機械学習ライブラリが充実しており、また、Webサービスの普及により学習に必要なデータの獲得も以前と比較して容易になっています。 そのため、機械学習のビジネス利用への敷居が下がっています。 予測や分類といった問題を解く際には、設定した課題に対してどのモデルが最も適しているかを評価するための指標(評価関数)が必要になります。 Kaggle*1などのコンペティションではあらか
Kerasで学ぶAutoencoder
Kerasの公式ブログにAutoencoder（自己符号化器）に関する記事があります。今回はこの記事の流れに沿って実装しつつ、Autoencoderの解説をしていきたいと思います。間違いがあれば指摘して下さい。また、Kerasの公式ブログはKerasでの実装に関してだけでなく、機械学習自体についても勉強になることが多く、非常におすすめです。 今回の記事では様々なタイプのAutoencoderを紹介しますが、日本語ではあまり聞き慣れないものもあるかと思いますので、今回は名称を英語で統一したいと思います。 目次 イントロダクション Undercomplete Autoencoder Sparse Autoencoder Deep Autoencoder Convolutional Autoencoder Denoising Autoencoder まとめ イントロダクション Autoencod
カテゴリー変数に embedding layer を用いたNeural Net - puyokwの日記
kaggle のRossmann の3 位のNeokami Inc(entron)さんの用いた手法が面白かったので、その概要の紹介などをしていきたいと思います。 まず手法の名前は、"Entity Embeddings of Categorical Variables" で、 [1604.06737] Entity Embeddings of Categorical Variables 論文にもなっています。コードはGithub にありますので、興味のある方はご覧ください。 github.com (これはPython3 を用いて書かれています。) embedding layer を用いた他のコンペでの有力なsolution。 kaggle のtaxi コンペ: Taxi Trajectory Winners’ Interview: 1st place, Team ? | No Free Hu
ラグランジュの未定乗数法による等式制約付き非線形最適化の概要と例題 - MyEnigma
数学で考える経済学 いかにして問題を処理するか 目次 目次 はじめに ラグランジュの未定乗数法 例題 参考資料 MyEnigma Supporters はじめに 非線形最適化は、 機械学習や、ロボット工学などで 非常に広く利用されますが、 単純な非線形最適化だけでなく、 変数などに制約を与えたい場合に よく使用されるのが、 ラグランジュの未定乗数法です。 機械学習などでよく使用される SVMなどにも使用されています。 今回は、 このラグランジュの未定乗数法の概要と、 具体的にラグランジュの未定乗数法で 最適化問題を解くPythonサンプルコードを紹介したいと思います。 ラグランジュの未定乗数法 ラグランジュの未定乗数法は、 拘束条件がある中で、 最適化を実現する手法です。 ラグランジュの未定乗数法 - Wikipedia ラグランジュ乗数という新しい変数を導入することで、 拘束条件付きの最
ROC曲線とPR曲線の違いについての考察 - Qiita
TPRが0.666に達した時点では，ROC曲線では(0.250,0.666)という座標に位置し，そこまででは全体の面積のうちせいぜい1/4しか担当していません． したがって，(0.250,0.666)に至る手前でどれだけ下手な予測をしても，AUCへの影響は小さいもので済みます． 一方PR曲線では(0.666,0.666)という座標に位置し，その座標まででなんと全体のAUCの2/3を担当しています． ですので，(0.666,0.666)に至る手前で下手をこいてしまうと，ROC曲線に比べて8/3倍もの影響力があります． 実際，1位と2位を入れ替えたときのROC曲線とPR曲線のAUCは次のとおりです． ※ROC-AUCは0.750（10%劣化）． ※PR-AUCは0.514（33%劣化）． 実験的検証 論より証拠，実験で示してみました． 実験手順は以下のとおりです． 使用したプログラムはPyth
自然言語処理における畳み込みニューラルネットワークを理解する · けんごのお屋敷
最近、畳み込みニューラルネットワークを使ったテキスト分類の実験をしていて、知見が溜まってきたのでそれについて何か記事を書こうと思っていた時に、こんな記事をみつけました。 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp 畳み込みニューラルネットワークを自然言語処理に適用する話なのですが、この記事、個人的にわかりやすいなと思ったので、著者に許可をもらって日本語に翻訳しました。なお、この記事を読むにあたっては、ニューラルネットワークに関する基礎知識程度は必要かと思われます。 ※日本語としてよりわかりやすく自然になるように、原文を直訳していない箇所もいくつかありますのでご了承ください。翻訳の致命的なミスなどありましたら、Twitterなどで指摘いただければすみやかに修正します。 以下
Neural Networkでの失敗経験やアンチパターンを語る - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 今日は珍しくNeural Networkを使っていく上での失敗経験について語ります。 学習の時に案外、失敗するのですが、だいたい原因は決まっています。そう大体は・・・ ということで、今回は失敗の経験、アンチパターンのようなものを書こうと思います。 Trouble1：学習時にNanを叩き出す。 原因1 cross-entropy誤差を使っている。 原因2 結果が小さすぎて、0と認識される。 原因3 重みがあらぬ方向へ学習する。 Trouble2：収束しない 原因1 学習率が高すぎる 原因2 学習率が低すぎる 原因3 適切な誤差関数ではない 原因4 活性化関数を誤った 原因5 そもそも入力が誤っている Trouble3：Validation Scoreが低い 原因1 過学習しているにも関わらず、気づかなかった。 原因2 与えるデータとラベルの1対
ディープラーニングでおそ松さんの六つ子は見分けられるのか 〜実施編〜 - bohemia日記
前回、おそ松さんたちをディープラーニングで見分けるため、準備編としておそ松さんたちの顔画像を5644枚集めました。 今回はそれを用いて、ディープラーニングで学習させ、判別器を作って検証します。 集めた画像 人物 枚数 例 おそ松 1126 から松 769 チョロ松 1047 一松 736 十四松 855 とど松 729 その他 383 使用フレームワーク 最近GoogleからTensorFlowという新しいディープラーニングのフレームワークが発表されました。 会社のブログに使い方書いたのですが、まだ慣れていないので、今回はchainerを使います。こちらだとすぐに高い成果を上げているImageNetのNINモデル、４層畳み込みニューラルネットワークがサンプルで入っていますので、こちらを改良して使います。 imageNetの使い方は、こちらやこちらを参考にしています。 訓練データセット Im
ROC曲線とは何か、アニメーションで理解する。 - Qiita
統計学、パターン認識等で、ROC(Receiver Operating Characteristic；受信者動作特性)曲線という概念が出てきます。また、データ分析・予測のコンペティションサイトKaggleでも、提出されたアルゴリズムの識別性能評価にこのROC曲線に基づくAUC(Area Under the Curve)というものを使っています。（例えばココ） このROC曲線、ちょっとわかりにくいので、まとめてみました。また、アニメーションでグラフを動かしてイメージを付けるということもやってみます。 1. ROC曲線に至る前説 まず、例として健康に関するとある検査数値データがあったとします。 この検査数値は健康な人は平均25, 標準偏差2の正規分布に従い分布しています。（下記図の緑の曲線） 病気の人は平均30、標準偏差4の正規分布に従い分布しています。（下記の図の青の曲線） グラフにすると下
【数学】固有値・固有ベクトルとは何かを可視化してみる - Qiita
線形代数に固有値という概念が出てきます。最初はイメージしにくいのでは、と思うのですが重要な概念かつ、統計学でも頻繁に利用されるので、これもこの可視化シリーズとしてアニメーショングラフを書いて説明することを試みたいと思います。 このようなグラフの意味を読み解いていきます。 1.固有値・固有ベクトルとは？ まず、固有値・固有ベクトルとはなんぞや。数式で表すと下記のことです。 ${\bf x}\neq {\bf 0}$の${\bf x}$で、行列Aをかけると、長さが$\lambda$倍になるような${\bf x}$の事を固有ベクトル, $\lambda$を固有値と言います。 知らない人は？？？で、これだけではよくわからないですね。 早速、グラフィカルな説明も交えて説明していきたいと思います。 2.行列Aによる線形変換 固有値・固有ベクトルの説明の前に、行列による線形変換について取り上げます。 例
主成分分析PCAを用いて手書き数字を分析する。その１ - Qiita
始めに 手書き数字を分析するのもなんだかシリーズ化してきましたが、今回は主成分分析(PCA:Principal Component Analysis)とその教師ありバージョンとも呼べる線形判別分析(LDA:Linear Discriminant Analysis)をつかって分析をしてみたいと思います。pythonの機械学習ライブラリscikit-learnを使っています。 【過去の手書き数字データ分析記事】 手書き数字をpythonでもてあそぶ その１ 手書き数字をpythonでもてあそぶ その２（識別する） 【機械学習】k-nearest neighbor method(k最近傍法)を自力でpythonで書いて、手書き数字の認識をする 主成分分析 (PCA) まずは主成分分析からです。基本的には複数あるデータの要素をまとめて、いわゆる主成分を取り出す分析です。機械学習では主に対象データの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
トピックモデルの話
機械学習と深層学習の数理
SGD+α: 確率的勾配降下法の現在と未来
