MLのアルゴリズム以外を取り扱った勉強会を開催した話 - 元データ分析の会社で働いていた人の四方山話
年末までにこのエントリを投下したい、と思いつつ、あれよあれよと年があけてしまいましたが、去る2017年12月に表題の通り、機械学習のアルゴリズム「以外」を対象としたML Ops Study（仮）#1 という勉強会を開催してみました。 経緯など ここ数年、機械学習やらディープラーニング、と言われる領域に親しいところに身を置いていて、自分の興味が機械学習や高度な分析の社会実装に興味があることが分かってきました。幸いにして、機械学習ブームによって、機械学習のアルゴリズム部分に関する勉強会や書籍はたくさん世の中に出てくるようになり、結果、多くの人が機械学習のアルゴリズムを勉強をするようになったように思います。一方で、問題を解決できそうなアルゴリズムがあったとしても、実際はそれを仕組みに落としていくところ、仕組みにした後に継続的に運用し続ける部分に関しての知見やノウハウはなかなかないのが現状です。こ
ヤフー、高次元データの高速検索技術「NGT」をオープンソース化 企業に“眠る”ビッグデータを分析しやすく
ヤフーは11月24日、高次元データの高速検索技術「NGT」（Neighborhood Graph and Tree for Indexing）を、商用・非商用を問わず利用できるApache License 2.0のオープンソースソフトウェア（OSS）として「GitHub」で公開した。同技術に関する特許実施権も無償提供する。 NGTは、テキストや画像、商品データ、ユーザーデータなど、複数の特徴を持つ高次元データを、大量のデータベースの中から高速に検索・特定できる技術。200万件の言語データを対象にした場合、これまで最速だった技術「SASH」の約4倍、主流の技術「FLANN」の約12.3倍の速さで検索でき、1000万件の画像データが対象だと、これまで最速だった「直積量子化手法」の約5.6倍、FLANNの約13.5倍の速さで検索できるという。 NGTを使えば、近似したデータを高速でマッチングでき
トレジャーデータで実践：Basket 分析（応用編３）「共起」から「遷移」へ - トレジャーデータ（Treasure Data）ブログ
はじめに トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 今回は「共起」の概念を拡張して「遷移」を見ていきます。また，「推移」を見ることはリコメンデーションロジックを求める事とほぼ同義ですので，活用幅が大幅に拡がっていきます。 「共起」から「遷移」へ 「共起」 今まで見てきた「共起」という概念は，各ユーザーが「同時」に購入したアイテムペアを1回の「共起」として捉え，共起回数や共起係数を見ていくものでした。つまり， 「このアイテムを買ったユーザーは同時にこのアイテムを買っています」 を示してしました。 ↑ 共起の概念はユーザーの１回のお買い物の中で同時に入れられたアイテムペアを対象としていました。 「遷移」 今度は「同時」ではなく「その次」の買い物において登場したアイテムとペアリングすることで 「このアイテムを買ったユーザーは次にこのアイテムを買っています」 とい
パッケージユーザーのための機械学習(12)：Xgboost (eXtreme Gradient Boosting) - 六本木で働くデータサイエンティストのブログ
今やKaggleやKDD cup以下名だたる機械学習コンペで絶大な人気を誇る分類器、Xgboost (eXtreme Gradient Boosting)。特にKaggleのHiggs Boson Machine Learning Challengeの優勝チームが駆使したことで有名になった感があるようで。 その実装ですが、C++ベースで高速化したものにRとPythonのラッパーをつけたものが既にGitHubで公開されています。 Rパッケージである{xgboost}のインストールについての注意事項は前回の記事に書いていますので、インストールの際はご参考にしていただければと。 さて。これだけ大人気の分類器となると国内外問わず色々な解説記事に溢れておりまして、例えば日本語ブログでもこれだけの記事が既に出てます。 勾配ブースティングについてざっくりと説明する - About connecting
UCI Machine Learning Repository: Data Sets
Multivariate, Sequential, Time-Series, Domain-Theory
第30回 データマイニング+WEB＠東京( #TokyoWebmining 30th)−機械学習活用・マーケティング 祭り− を開催しました - hamadakoichi blog
2013/10/19 "第30回 データマイニング+WEB ＠東京 ( #TokyoWebmining 30th) −機械学習活用・マーケティング 祭り−"を開催しました。 第30回 データマイニング+WEB＠東京 ( #TokyoWebmining 30th) ー機械学習活用・マーケティング 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 参加者Twitter List: Twitter List TokyoWebmining 30th 参加者セキココ：第30回 データマイニング+WEB ＠東京 セキココ (作成してくれた [
今年のSIGKDDベストペーパーを実装・公開してみました - Preferred Networks Research & Development
毎日暑いですね。比戸です。 ちょうど今週シカゴで開かれていたSIGKDD2013でBest research paperに選ばれたEdo Liberty氏 (Yahoo! Haifa Labs)の”Simple and Deterministic Matrix Sketching”のアルゴリズムを実装して公開してみました。 元論文PDFは著者サイトから、私が書いたPythonコードはGithubからそれぞれ入手できます。 SIGKDD (ACM SIGKDD Conference on Knowledge Discovery and Data Mining)はACM主催で行われる、知識発見＆データマイニングにおけるトップ会議です。最近は機械学習との境目が曖昧になってきましたが、査読時には理論的な新しさだけでなく、実データ（特に大規模データ）を使った実験での評価が必要とされるのが特徴です。
意外と見極めにくい「CVR向上に最も貢献する行動パターン」 - 渋谷駅前で働くデータサイエンティストのブログ
割とどこの現場でもやっている分析として「CVR向上に最も貢献する行動パターン」の同定・抽出というのがあると思うんですが、これって簡単なようで意外と難しいポイントがゴロゴロしてるんですよね。 例えばユーザー行動ログDBからソシャゲのイベントA, B, C...をやったかやらないかをフラグとしたテーブルを抽出し、CVのラベルとして「1週間以内に課金したorしない」*1みたいなのを与えて、 UserID Event A Event B Event C Event D ... CV 1001 1 0 1 1 ... Yes 1002 1 1 1 0 ... Yes ... ... ... ... ... ... ... 10X4 0 1 0 0 ... No 10X5 0 0 0 1 ... No ... ... ... ... ... ... ... というような生データ*2を得ているものとここ
マルコフ状態転換モデルのRパッケージ{MSwM}の使い方（異常値検出・ステータス変化検出などに有用） - 渋谷駅前で働くデータサイエンティストのブログ
CRANパッケージ{MSwM}の大体の使い方が分かったので簡単に共有します。 なお、しつこいようですがマルコフ状態転換モデルについてはこのブログではすっかりお馴染みの以下のテキストをご参照のこと*1。僕もまだ勉強中です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (4件) を見る Time Series Analysis 作者: James D. Hamilton出版社/メーカー: Princeton Univ Pr発売日: 1994/01/11メディア: ハードカバー購入: 1人 クリック: 5回この商品を含むブログ (7件) を見る なお、沖本テキストでは簡単な説明のみに留められているので、Hamiltonテキストの方
Treasure Data Analytics 第1回 〜Treasure Data Cloud Warehouse について（前編）〜 - doryokujin's blog
はじめに Treasure Data Analytics シリーズは，Treasure Data の提供するクラウドサービス上で実行可能な様々なデータアナリティクスのユースケースなどを紹介して行く長いシリーズです。第1回および第2回では「Treasure Data」とは何か，またその特徴およびメリットは何かについて紹介する予定です。 第1回では Treasure Data の提供する Cloud Data Warehouse サービスのイントロダクションを，第2回では「データアナリティクスを行うための Platform とは」という観点で Treasure Data の魅力をお伝えできればと思っています。 ※ なお Treasure Data は高度なインフラ・ソフトウェアテクノロジーを駆使しておりますが，本シリーズはデータアナリティクスを主眼においており，このサービスを支えるインフラ基盤
『データ解析のための統計モデリング入門』のレビュー｜Colorless Green Ideas
一般化線型モデルと呼ばれる統計手法やその応用を紹介した本の書評。統計を使った学術研究がいかにいい加減なものであるか鋭く指摘している。 はじめに 『データ解析のための統計モデリング入門』という本を読んだので、その内容を簡単に紹介したい。この本では、一般化線型モデルと呼ばれる統計手法やその応用が紹介されており、R と WinBUGS というソフトが実際の解析に用いられている。 久保拓弥 (2012). 『データ解析のための統計モデリング入門―一般化線形モデル・階層ベイズモデル・MCMC』 東京：岩波書店． この本は、全般的に説明があっさりとしている。このため、一般化線型モデルをしっかり学びたいのならば、（英語で書かれた）厚めの教科書を読んだ方が良いと私は思う。ただし、この本は、統計を使った学術研究がいかにいい加減なものであるか鋭く指摘している。この耳に痛い指摘は、統計を使って仕事をする人にとっ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Why Topological Data Analysis Works
Data Mining Survivor: dmsurvivor - Contents
research-quality data sets
「ITmedia News スマート」更新終了のお知らせ - ITmedia ニュース
Disruptor | Hilary Mason, chief scientist, Bitly
» Why Google Now is Awesome hilarymason.com
Google Code Archive - Long-term storage for Google Code Project Hosting.
» A (short) List of Data Science Blogs hilarymason.com