Visualizing memorization in RNNs
Inspecting gradient magnitudes in context can be a powerful tool to see when recurrent units use short-term or long-term contextual understanding. This connectivity visualization shows how strongly previous input characters influence the current target character in an autocomplete problem. For example, in the prediction of “grammar” the GRU RNN initially uses long-term memorization but as more cha
一般化加法モデル（GAM）について考える - rmizutaの日記
はじめに 機械学習を現実の問題に適用する場合、そのモデルに説明性が求められることが少なからず存在すると思います。 その場合、精度を犠牲にして線形回帰を実施するでしょうか？木系モデルの重要度を頑張って説明するでしょうか？それともSHAPやLIMEなど線形近似モデルを利用するでしょうか？（まあ銀の弾丸はないんですが） 今回実験を行う一般化加法モデル（GAM）は、線形モデルの利点（説明性）を保ちつつ精度を高められるモデルであるといわれているもので、実際のところどれくらいの感じになるか確認するための実験を行いました。 参考文献 平滑化スプラインと加法モデル | Logics of Blue pyGAM : Getting Started with Generalized Additive Models in Python GAMについて GAMは式としては以下のようになります。 fが全て線形な場合
大幅に進化するらしいTensorFlow2.0について - HELLO CYBERNETICS
はじめに TensorFlow2.0がもうすぐ来るよ！ APIs High level APIs Eager Exexution Reference Models Contribの扱い プラットフォーム TensorFlow Lite TensorFlow.js TensorFlow with Swift パフォーマンス Distributed TensorFlow CPU、GPU、TPUの最適化関連 その他のパッケージ TensorFlow Probability Tensor2Tensor End to End ML systems TensorFlow Hub TensorFlow Extended はじめに TensorFlow2.0ではこれまでのTensorFlowから大幅に変化するので、その変更点について記しておきます。 基本的には公式のRoadmapの和訳と思って差し支えあり
阪大生80名が解いた、Lassoの演習問題129問 (2018年前期) – Joe Suzuki (鈴木譲) 公式ブログ
2018年前期に、統計解析という大学院生・学部生向けの講義で、スパース推定(Lasso)を扱いました。 Trevor Hastie, Robert Tibshirani, Martin Wainwright, ”Statistical Learning with Sparsity: The Lasso and Generalizations”という書籍を2017年後期に学生と読んでみて、専門の研究者でないと読破はむずかしいと思いました。悔しかったので、解けばそのテキストの内容を理解できるような演習問題を用意し、2018年の前期の講義を迎えました。座学で講義をしても寝る学生が多い昨今で、私は自分で作成したビデオを配布し、それを見た前提で講義の時間は、演習問題を解かせました。簡単なRのプログラミング、数式の証明などです。 問題は129問にもおよびました。今回は、講義の人気が高く、大学院だけで
Operational Machine Learning: Seven Considerations for Successful MLOps - KDnuggets
Operational Machine Learning: Seven Considerations for Successful MLOps In this article, we describe seven key areas to take into account for successful operationalization and lifecycle management (MLOps) of your ML initiatives By Nisha Talagala, ParallelM. Machine learning is everywhere. From advertising to IoT to healthcare, and beyond, virtually all industries are adopting or investigating mach
クックパッド開発者ブログ
レシピ事業部バックエンド基盤グループの石川です。 2024 年 5 月 15 日から 17 日にかけて、RubyKaigi 2024 が開かれました。クックパッドは Wi-Fi スポンサーとして協賛しており、また 16 日の夜には Cookpad Drinkup at RubyKaigi 2024 と称して懇親会を開きました。 クックパッド一行 懇親会のお店の様子 この記事では、カンファレンスで懇親会を開くにあたって気をつけていたことや、うまくいったこと、うまくいかなかったことをまとめます。RubyKaigi に関わらず、技術者コミュニティを盛り上げる手段のひとつとしてご覧ください。 続きを読む はじめに こんにちは。レシピ事業部プロダクト開発グループの堀内 (@Sota_Horiuchi)です。普段はバックエンドの開発を行っている新卒2年目のエンジニアです。 RubyKaigi 2024
Firebase ML Kitで自作のカスタムモデルを使って料理・非料理画像を判定できるようにした - クックパッド開発者ブログ
会員事業部の山下(@farmanlab)です。 Androidエンジニアとしてクックパッドアプリの開発を担当しています。 今回はGoogle I/O 2018で新しく発表されたML Kitをクックパッドのデータで学習したモデルを使って検証した話をします。 機械学習モデルの利用にあたって、研究開発部の菊田(@yohei_kikuta)の協力の元で検証を行いました。 これからお話する内容がイメージしやすいよう、 クックパッドの料理・非料理を判別するモデルを動かした実機デモをお見せします。 これは料理と判定された確率がfood、料理ではないと判定された確率がnon-foodというラベルのスコアで表示されているデモです。 (非)料理画像において(non-)foodのラベルのスコアが大きくなり正しく判別できていることが分かります。 モデルは MobileNetV2 tensorflow-gpu==1
J-POPの歌詞から見えるヒーロー像の変遷！ - 5日と20日は歌詞と遊ぼう。
突然ですが最近、J-POPの歌詞において「ヒーロー」が頻出していると思いませんか？ 良いことばかりじゃないからさ 痛くて泣きたい時もある そんな時にいつも 誰よりも早く立ち上がるヒーローに会いたくて SHISHAMO『明日も』 いつだって目を腫らした君が二度と 悲しまないように笑える そんなヒーローになるための歌 米津玄師『ピースサイン』 いつだってヒーロー 笑われたっていいよ 人生は喜劇の 一幕の様なもんだろ amazarashi『ヒーロー』 これ全部2017年以降リリースでMV作られた曲のサビ部分なんですよ…。 この現象に各界の著名人も反応していて、 SHISHAMOや米津玄師に続いて、amazarashiもヒーローを歌ってる…。なんか流行ってない？ どうしたんだろ？？ amazarashi「ヒーロー」の歌詞 / 歌詞検索サービス「歌ネット」 https://t.co/D8viNvdS
機械学習エンジニアから見たWWDC2018 - dwango on GitHub
Dwangoの中の、機械学習の研究開発部署Dwango Media Villageで働くエンジニアの大垣です。 今回はAppleのWWDCに機械学習エンジニアとして参加してきたので、スマホアプリエンジニアとはおそらく少し異なる視点からのレポートになるだろうと思い、自分なりにWWDCの機械学習系のセッションのまとめをしようと思います。 AR関連技術を推しに推した基調講演 画像はWWDC 2018基調講演のハイライトシーンより。ARKit2のデモゲーム"SwiftShot" https://developer.apple.com/videos/play/wwdc2018/101/ 基調講演については他のブログでたくさん触れられてるので網羅的には書かなくても良いかなと思います。 私は10:00からの基調講演に対して9:00過ぎくらいに会場ついたのですが、だいたい会場全体の前から2/3くらいの席だ
NMFアルゴリズムの導出（ユークリッド距離版） | LESS IS MORE
はじめに シングルトラックにミックスダウンされた音楽から、その構成する要素（例えば、楽器とか）を分離したいと思うことがある。 音源分離と言えば、最近はNon-negative Matrix Factorization (非負値行列因子分解; NMF) が有名。 実装は非常に簡単だけど、実際にやってみるとどの程度の音源分離性能が出るのか気になったので、やってみる。 と思ったけど、まずNMFについて整理してたら長くなったので、実装は今度にして、まずアルゴリズムを導出してみる。 2014/10/19 追記 実装しました https://github.com/r9y9/julia-nmf-ss-toy NMFの問題設定 NMFとは、与えられた行列を非負という制約の元で因子分解する方法のこと。 音楽の場合、対象はスペクトログラムで、式で書くとわかりやすい。 スペクトログラムを $\mathbf{Y}
深層学習はガウス過程 - 作って遊ぶ機械学習。
おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一
マルコフ確率場 (MRF) と条件付き確率場 (CRF) の違い | LESS IS MORE
一番の違いは、生成モデルか識別モデルか、ということ。それぞれ、 Markov Random Fields (MRF) は生成モデル Conditional Random Fields (CRF) は識別モデル です。 What is exactly the difference between MRF and CRF ここを見ると割とすっきりする。 ただ、少しスムーズに納得できないことがありまして…それは、MRFもCRFもグラフィカルモデルで書くと無向グラフとなること。識別モデルは無向グラフで生成モデルは有向グラフなんじゃ…？と思ってしまう人もいるんじゃないかと思う（いなかったらごめんなさい）。 グラフィカルモデルとしての表現 一般に、生成モデルは有向グラフの形で記述され、識別モデルは無向グラフとして記述される。例えば、隠れマルコフモデル (HMM) は有向グラフで、条件付き確率場 (CR
機械学習をこれから始める人の線形代数を学ぶモチベーション - HELLO CYBERNETICS
はじめに 機械学習に使われる主要な数学 線形代数 最も重要な理由 線形代数って何なんだ？ 線形代数を学ぶモチベーション 線形代数を学んで、できるようになること 補足 微分積分学は？ 確率統計は？ 確率・統計を考えていくための初歩を確認したい人は以下の記事へ はじめに この記事は、私が機械学習を学んできて感じた、数学の役割をまとめたものです。記事を書く上で特に意識したのは、ある数学が機械学習においてどのように活躍し、どのような旨味をもたらしたのか、そして、そこから数学を学ぶ意義を改めて抑えることです。 数学の解説をすることが目的ではないため、直接的に数学の疑問を晴らすということにはなりませんが、 これから機械学習を学んで行こうという場合に、数学がどのように役立ちうるのか、その全体像を予め把握しておくことに使っていただけると幸いです。 機械学習に使われる主要な数学 多くの書籍、多くの記事が世の
Gradient Boosting explained by Alex Rogozhnikov
Gradient boosting (GB) is a machine learning algorithm developed in the late '90s that is still very popular. It produces state-of-the-art results for many commercial (and academic) applications. This page explains how the gradient boosting algorithm works using several interactive visualizations. Decision Tree Visualized
[機械学習]各種Pythonライブラリ入りの実験用Dockerイメージを作った - zuqqhi2 Tech Memo
インストールされているライブラリ 今後、他のライブラリのインストールやバージョンアップなどをしていくつもりですが、現状以下のライブラリがインストールされています。 tensorflow 0.12.0chainer 1.19.0scikit-learn 0.18.1gensim 0.13.4word2vec 0.9.1numpy 1.11.3pandas 0.19.2jupyter 4.2.1matplotlib 1.5.3mecab latestjuman++ 7.01 もちろん、上記の依存ライブラリやmecab・juman++用のPythonバインディングもインストールされています。 ちなみにOSはUbuntu 16.04です。 使い方 Pullとコンテナにログイン やり方は以下のコマンドのとおりです。jupyter notebookのパスワードもsudoのパスワードも”ml”になってい
![[機械学習]各種Pythonライブラリ入りの実験用Dockerイメージを作った - zuqqhi2 Tech Memo](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a555efc08e2297c4691697aa97868815f023c63/height=288;version=1;width=512/https%3A%2F%2Fzuqqhi2.com%2Fwp-content%2Fuploads%2F2017%2F01%2F20170106_docker_memo4.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - delta2323/ml-formulas: 機械学習・統計学・理論計算科学などに出てくる等式・不等式を集めていきます
Lifted Neural Networks
TSNE vs PCA
WAP!TechTalks
Variational Inference using Implicit Models Part IV: Denoisers instead of Discriminators
