クックパッドでの機械学習開発フロー/ml-ops-in-cookpadクックパッドでの機械学習基盤のお話です。 https://machine-learning-pitch.connpass.com/event/154343/ にて登壇。質問とそれに対する答えを追記しました。
書籍「オンライン機械学習」を買ったのでCommon Lispで実装してみた。 - masatoi’s blog
オンライン機械学習を買ったので、書いてあるアルゴリズムから線形識別器をいくつか試してみた。オンライン学習とは、データを一括処理するバッチ学習に対して、個々のデータを逐次処理する学習手法のこと。オンライン学習だと以下のようなうれしいことがある。 実装が簡単: 基本的に実装は1ステップ毎の処理を実装するだけでほとんど終わる(スッキリ！) リアルタイム処理に組込める: その時点までの観測を元にした学習結果が常に予測に使えるので、学習しながら予測もしなければならない応用に向いている 収束が速く、データの性質が徐々に変化しても追従できる: これはリアルタイム処理に対して使うにはいい性質だが、偏ったデータやノイズに弱いという諸刃の剣でもある(そこで最適化対象に正則化項を入れるなどして悪影響を減らそうとする)。 データを一つ一つ処理するので、オンライン学習の計算量はデータ数に対して線形に増加する。バッチ
【論文読み】新・オートエンコーダで異常検知 - Qiita
以前の記事でオートエンコーダによる異常検知は古い！と書いてしまいましたが、 最近は進化しているようです。 今回ご紹介する論文は、損失関数を工夫することで通常のオートエンコーダよりも 異常検知能力を上げる手法です。 ※本稿の図は論文（Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders）より引用しています。 論文の概要 通常のオートエンコーダによる異常検知は、微小な異常は捉えられない。 そこで、一枚の画像に対し小さな枠を用意して「輝度」、「コントラスト」、「構造情報」の類似度を計算して異常検知を行う。 本手法を使うことで、通常のオートエンコーダやVAEの異常検知と比べて、AUCで大幅な向上が見られた。 異常部分の可視化についても、通常のオートエンコーダよりも優れ
Real Time Data Engineering Pipeline for Machine Learning -
Our focus in this post is to leverage Google Cloud Platform’s Big Data Services to build an end to end Data Engineering pipeline for streaming processes. So what is Data Engineering? Data Engineering is associated with data specifically around data delivery, storage and processing. The main goal is to provide a reliable infrastructure for data which includes operations such as collect, move, store
Python Machine Learning Tutorial: Predicting Airbnb Prices – Dataquest
Machine learning is pretty undeniably the hottest topic in data science right now. It's also the basic concept that underpins some of the most exciting areas in technology, like self-driving cars and predictive analytics. Searches for Machine Learning on Google hit an all-time-high in April of 2019, and they interest hasn't declined much since.But actually learning machine learning can be difficul
ニューラル協調フィルタリングで特徴量抽出して、アニメの足し算・引き算をする
Qiitaからお引越しテスト。Qiitaの記事では、ニューラル協調フィルタリングでMyAnimeListのレコメンドデータから、アニメの作品単位の特徴量抽出を行い、クラスタリングの手法を用いて、アニメを10個のグループに分類しました。この記事では、同様に抽出した特徴量を用いて、Word2Vecの「王+女-男=女王」のようなアニメ単位での足し算・引き算を行います。 元データはKaggleのMyAnimeListを使いました。 リポジトリ https://github.com/koshian2/MyAnimeList_NCF 事前準備として、上記リポジトリからdataをダウンロードしておきます。また、analyze_plus.pyの表示用の関数を定義しておきます。コサイン類似度でソートしたり、IDを探してきたりする関数なので、特に解説はいらないと思います。 注意点 Qiitaのときと同じですが
不確実性と上手く付き合う意思決定の手法
予測モデルの不確実性を減らすActive Learning, モデルの不確実性を予測結果に反映するThompson Sampling, オンライン最適化など
B'zの歌詞をPythonと機械学習で分析してみた 〜LDA編〜 - 下町データサイエンティストの日常
1. 本Part概要 前PartではB'zの歌詞を「TF-IDF」を用いた分析を行いました。 本Partではトピックモデルの一つである「LDA」を用いた分析についてお話しします。 pira-nino.hatenablog.com 2. LDAとは 2.1 LDAのイメージ 先に簡単な説明をしてしまいます。 LDAは「たくさんの文書データから単語のグルーピングを行う」モデルです。 このグループ1つ1つを「トピック」と呼びます。 例えば、大量のニュース記事にLDAを適用する例を考えます。 ニュース記事データにLDAを適用した例 LDAでは「各トピック（トピック数は予め指定）における各単語の所属確率」が算出されます。 理論的なことはさておき、文書データから単語をいくつかのグループに自動で分けてくれる手法 との理解で大丈夫です。 よく勘違いされることとして以下の2点を示します。 トピック数（いくつ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://dl.acm.org/doi/10.1145/3299869.3314050
DWHを活用した機械学習プロジェクト/ml-with-dwh
UCI Machine Learning Repository
失敗から学ぶ機械学習応用
Learning Machine Learning | Cloud AI | Google Cloud
CEDEC2019: ゲームと機械学習の最前線 〜現状と未来を正しく捉えるために〜
機械学習プロジェクトの アイデア出しと事前影響評価 / evaluate machine learning projects
分析の基礎（モデリング）/ Basics of analysis ~modeling~
人間参加型（human-in-the-loop）機械学習とは？
https://gwthomas.github.io/docs/math4ml.pdf
GitHub - HumanomeLab/mlcourse: 生命情報の機械学習入門
機械学習プロジェクトアンチパターン集
