少し前のことですが、こんな話題がありました。 自分がこれまで現職で手がけた機械学習ソリューションでは 1. そもそも「予測」ではなく「説明（解釈）」をアウトプットにする 2. クラス分類確率の高いものだけアウトプットし、低いものは「未定」扱いにして捨てる などという形で実務の現場で使ってもらってます。精度勝負をしないのも一つの解かと https://t.co/NmZJCPnue2— TJO (@TJO_datasci) 2021年8月29日 実際問題として「ある目的のために機械学習システムを開発し、非常に高精度のものが出来上がったが、結局色々あって実戦投入されなかった」という話は、自分の身の回りでも業界内の伝聞でも事欠きません。 しかし、機械学習と言えばどちらかというと「より精度の高いモデルを追い求める」試み、もう少し下世話に言うと「精度勝負」によって、連綿と発展してきたという歴史がありま

ちょっと前に、しょうもないことを某所で放言したら思いの外拡散されてしまいました。 機械学習の説明可能性（解釈性）、大半のケースで求められているのは厳密な分類・回帰根拠ではなく受け手の「納得感」なので、特に実ビジネス上は説明可能性に長けたモデルを開発するより、納得できないお客さんを巧みに関係性構築した上で口八丁で完璧に説得できる凄腕営業ピープルを雇う方が重要— TJO (@TJO_datasci) 2019年11月23日 これ自体は与太話なので実際どうでも良い*1のですが、最近色々な研究や技術開発の進展はたまた実務家による考察などを見ていて、「機械学習の説明可能性（解釈性）というのは思った以上に複雑な迷宮だ」と感じることがままあったのでした。 ということで、今回の記事では僕のサーベイの範囲でザッと見て目についた資料などを超絶大雑把にリストアップした上で、主に実務における説明可能性とは何かとい

Q&AサイトのQuoraに、先月こんな質問があがっていました。 「Spotifyはどのようにして機械学習で成果を出してきたのでしょうか？機械学習を当初から重要視していたのか、もしくは途中からキャッチアップしたのでしょうか？」 この質問に対して、2008年～2015年まで同社にて機械学習チームを率いていたErik Bernhardssonという人物が回答を寄せています。 機械学習も活用した楽曲リコメンドに力を入れるSpotify。その中の人だった彼が、若干の内部事情も含めて同社による取り組み状況を明かしていました。 興味深い内容だったので、少し補足しながら彼の回答を紹介していきたいと思います！ Spotifyにおける機械学習の重要性 Bernhardsson氏によるコメントを紹介する前に、Spotifyにおける機械学習の重要性について触れておきたいと思います。 言わずもがなですが、Spoti

PandasやNumPyの並列処理だったり、メモリに乗り切らないデータを扱う際などによく見かけるDaskライブラリ。 ただ、細かいところまで触れている日本語の資料があまり無かったので、公式ドキュメントなどをしっかり読んでみてまとめてみました。 ※Daskのドキュメント既に読まれている方はご存知かと思いますが、ドキュメントがかなりのボリュームなのと、細かい所まで把握するのを目的とするため、本記事も長めです。仕事などの都合でさくっと使われたい方には向いておりませんので、そういった場合は別の記事をご参照ください。 どんなライブラリなのか Pythonで並列処理・分散処理などを簡単に扱ってくれる。 Pythonでよく使われるライブラリとかなり近いインターフェイスを提供している（NumPy、Pandas、Scikit-Learnを中心に、他にもTensorFlow・XGBoostなども）。 必要な場

はじめに 事情があって、Random Forestに投げ込むデータセットで自然言語で書かれたDescriptionに特定の単語が入っているかいないかの、One-hotエンコーディングをした行列を作る必要があった。 ある単語が入っている/いない、で行列をつくっていくわけだから個々の単語ごとには依存関係はなく並列化が可能である。 並列化 Pythonでマルチコア分散実行をするやり方はいくつかあるらしい。IPythonパラレルやParallelPython、Joblib、Multiprocessingなどだ。 そのなかでもJoblibがいいと聞きかじったのでJoblibで実装を行ってみた。 Joblibの導入 Joblibを導入するのは簡単だ。といってもPythonのライブラリの導入はありがたいことにだいたい簡単だ。

１つのファイルを読み込む df = pd.read_csv('csvファイルのディレクトリ') 複数のファイルをまとめて読み込む from glop import glob csv_files_dir = glob('*.csv') # 『*』がワールドカード marge_csv = [] for f in csv_files_dir: marge_csv.append(pd.read_csv(f, encoding='文字コード')) # １つのデータフレームに結合する # ignore_index=Trueでインデックスをリセット df = pd.concat(marge_csv, ignore_index=True) 【Python】PandasでCSVファイルを読み込み/書き出しする実践テクニック集 EXCELファイル df = pd.read_excel('EXCELファイルのデ

本記事は、株式会社ギックスの運営していた分析情報サイト graffe/グラーフ より移設されました（2019/7/1） リフト値が高い＝その物事が”起こりやすい” 以前、「バスケット分析とは｜データ分析用語を解説」という記事を書きました。 この記事中にもある通り、バスケット分析は「頻繁に購入される商品の組合せ」を見つけるための分析手法です。この組合せを見つける際に重要となる指標が「リフト値」という指標です。今回は、この「リフト値」について解説していきたいと思います。 リフト値とは、バスケット分析における重要な指標の一つであり、ある商品xの購買が他の商品yの購買とどの程度相関しているかを示す指標です。英単語”lift”は「持ち上げる」という意味であり、リフト値は商品xの購買が商品yの購買をどの程度”持ち上げる”か（促進させるか）を示す指標であると言えます。リフト値が大きければ大きいほど、商品

プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat

プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat

エンジニアの諸君、いま日本のIT事情はかなり厳しいことになっているのはご存じだろうか。日本は経済規模で中国に抜かれて久しく、様々な経済指標を見てももはや先進国とは言えない1状況になっているが、ITの状況を見ても、欧米諸国や、実はアジア諸国と比べても惨憺たる状況なのである。 日本の惨憺たるIT事情 日本では昔からITを戦略的投資と考えずに「ITはしょせん道具だ」ととらえてコストとみなし、まるまるアウトソースをしたり、社内異動で移ってきた専門家でない人間に任せていたりしていた。エンジニアの給料も他国と比べるとひどいもので、日本の平均は米国の平均の約半分2である。社内異動で移ってきた人間なので、あと2-3年すればまた別の部門に異動するため、学習意欲も低い3。社内でも、使えるパソコンは10年くらい前のスペックで、スマホで仕事をしたほうが早いのではないかと思うくらいのブツしか配布されない。 そして、

by stem.T4L 宿泊予約サイトのBooking.comはプラットフォームに機械学習を取り入れており、毎日いくつものA/Bテストを実施して最適なオプションや表示方法を模索しています。機械学習を取り入れるなかで失敗と成功の両方を何度も経験してきたBooking.comが、150の成功モデルから学んだことについて論文を発表しました。「機械学習が現実の企業やプラットフォームのパフォーマンスにどう影響するのか」を述べたこの論文を、VMwareのCTOを務めたのちにAccelのベンチャーパートナーとなったAdrian Colyer氏がかみ砕いて解説しています。 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com (PDFファイル)http://delivery.acm.org/10.1145/3340