RecBole を用いてクックパッドマートのデータに対する50以上のレコメンドモデルの実験をしてみた - クックパッド開発者ブログ
こんにちは。研究開発部の深澤(@fufufukakaka)です。 本記事では最近面白いなと思って watch しているレコメンド系のプロジェクト RecBole を紹介いたします。また、クックパッドが展開している事業の一つであるクックパッドマートのデータを使って数多くのレコメンドモデルを試す実験も行いました。その結果も合わせて紹介します。 TL;DR: レコメンドモデルは作者実装に安定性がなく、またモデルをどのように評価したかも基準がバラバラで、再現性が難しいとされている(from RecSys 2019 Best Paper) 再現性に取り組むプロジェクトとして 2020年12月に始まった RecBole がある。 RecBole を利用することでなんと 50個以上のレコメンドモデルを大体１コマンドで試せる クックパッドマートでユーザに対してアイテムをレコメンドするシチュエーションを想定
【第8話】ロジスティック回帰で、翌月の購買実績を予測してみよう！実践編【漫画】未経験なのに、機械学習の仕事始めました - itstaffing エンジニアスタイル
★この記事で利用するサンプルコードは、こちらで確認できます。 モデル構築ライブラリ「scikit-learn」とは？ ロジスティック回帰の概要を第7話で紹介しました。ロジスティック回帰とは、簡単にいうと、データが与えられたときにAかBのどちらに属するのかを予測する方法です。 今回は、機械学習において最も有名なライブラリの一つである、scikit-learn（サイキット・ラーン）を用いて、ロジスティック回帰でモデルを構築します。 このライブラリはPythonから利用可能で、さまざまな機械学習手法を一貫したインタフェースで利用できます。つまり、一度ロジスティック回帰で予測モデルを構築する方法を学んだら、他の予測モデルも同じようにして作ることができるというメリットがあるのです。 ▼ロジスティック回帰（LogisticRegression）以外にも、モデルを作るための他の機械学習手法が大量に用意さ
Rubyの機械学習ライブラリまとめ
はじめに 最近では、機械学習関連Gemが多く開発され、Rubyでも機械学習できるようになってきました。代表的なものを、ざっくりとまとめてみました。 まとめ情報 いきなりですが、この記事は私の偏見で選んだものですので、他のまとめ情報も紹介します。もっとも大きなのがAndrei Beliankou (arbox) さんのまとめリポジトリです。色んなものが紹介されています。 Railsエンジニアにとっては、SearchkickやStrong Migrationsで有名な、Andrew Kane (ankane) さんも、機械学習関連のGemを多く作成しています。C/C++のAPIが提供されている、他言語の機械学習ライブラリを、FFI/Fiddle/Riceでラップして、Rubyで使えるようにしています。ankaneさん自身が書かれた、それらGemのまとめ記事があります。 ベクトル・行列・線形代数
『ウェブ最適化ではじめる機械学習』を出版しました。 — Shuhei Iitsuka
Tue Feb 09 2021 00:00:00 GMT+0000 (Coordinated Universal Time) 昨年の 11 月にオライリー・ジャパンから『ウェブ最適化ではじめる機械学習』という本を出版しました。大変ありがたいことに、いくかのブログで取り上げていただけているようです。 出版してから少し日が経ちますが、まだギリギリ新刊かなということで、書籍の紹介と舞台裏の話を書きたいと思います。 何の本？ ひとことで言うと、ウェブエンジニア／ウェブマーケターこそ機械学習に入門するのに最適な役職なんだよ！という本です。 私は普段ウェブサイトのフロントエンドエンジニアとして仕事をしていますが、仕事の中で機械学習との接点はあまりないように感じます。ひとことでウェブエンジニアリングと言ってもその範囲は広いので一般化は難しいですが、基本的には HTML / CSS / JavaScrip
1億7000万円ものコストダウンを機械学習で達成したDropbox、一体どんな方法を取ったのか？
Dropboxが自社サービス上の「ファイルプレビュー機能」を機械学習で効率化することで、170万ドル(約1億7000万円)の費用削減を達成しました。具体的なシステムの内容について、機械学習エンジニアのWin Suen氏が説明しています。 Cannes: How ML saves us $1.7M a year on document previews - Dropbox https://dropbox.tech/machine-learning/cannes--how-ml-saves-us--1-7m-a-year-on-document-previews Dropboxはアップロードされたファイルを素早くプレビューするため、「Riviera」という内部システムを利用して事前にファイルのプレビューデータを生成しているとSuen氏は説明。しかし、事前に生成したデータが利用されず無駄になるケ
PFNが1000円から機械学習や数学基礎, Pythonなどを学べる教材を提供開始 | AI専門ニュースメディア AINOW
株式会社Preferred Networks（PFN）は、機械学習やデータサイエンスを基礎から学びたい大学生・社会人向けに、機械学習・ディープラーニングの基礎学習コンテンツ4種を、個人向けオンラインAI人材育成講座 SIGNATE Questの「Market」で2020年12月7日より提供開始しました。 SIGNATE Questの「Market」は、企業が制作した講座を公開することで、新たな販路やPRの場として活用することができるサービスです。普段は学ぶ機会の少ない専門性の高い講座や、人材育成の実際の取り組みの中で生まれた講座が公開されるなど、多様な講座を提供される場です。Marketリリースの第1弾として、PFNの他にも、RESTECや広島県 データスタジアムが講座を提供しています。 各産業の専門分野にAIおよびデータサイエンスを応用することができる人材の大幅な不足が指摘される中、そう
『効果検証入門』がアプリケーション開発エンジニアにとって得る物が多い本だった
読みました。アプリケーション開発エンジニア視点で読んで同僚に勧められる素晴しい内容でした。本稿はエンジニア視点のレビューになります。 効果検証入門〜正しい比較のための因果推論／計量経済学の基礎 技術評論社 (2019/1/18) 安井 翔太 (著), 株式会社ホクソエム (監修) Kindle版/紙版両方あり 目次と構成 序 嘘っぱちの効果とそれを見抜けないデータ分析 1章 セレクションバイアスとRCT 2章 介入効果を測るための回帰分析 3章 傾向スコアを用いた分析 4章 差分の差分法（DID）とCausalImpact 5章 回帰不連続デザイン（RDD） 付録 RとRStudioの基礎 終 因果推論をビジネスにするために まず効果検証とは何かという導入と共にビジネスの現場でありがちな誤りのある検証について解説があります。この誤りの原因となるセレクションバイアスと理想的な比較方法であるラ
機械学習で使う数学入門(社内勉強会) | DevelopersIO
社内勉強会で 機械学習で使う数学入門 の話をしました。 話した内容をブログにします。 目次 AI/ML/DL 人工知能(AI) 機械学習(ML) 深層学習(DL) 機械学習(モデル) MLの問題例 どう機械学習の問題を解くか 機械学習(目的関数) どのようにモデルの良し悪しを測るか 目的関数 目的関数の具体例1 目的関数の具体例2 微分 そもそも微分とは 微分でできること 勾配降下法 微分 まとめ 線形代数 線形代数とは 線形代数でできること 線形代数 まとめ 確率・統計 確率変数・確率分布 条件付き確率 ベイズの定理 混同行列(Confusion Martix) 確率・統計 まとめ 数学をどれくらい学ぶか とりあえず読もう 数式 微分 線形代数 確率・統計 自分の数学の勉強方法 Chainerチュートリアル Project Euler(プロジェクトオイラー) おわりに 参考 AI/ML/
最短で機械学習エキスパートになる9つのステップ【完全無料】 - Qiita
はじめに Step 1, 2, 7に関しては、時間がなければやらなくてもいいと思います。 1. 統計を学ぶ 統計検定2級の取得 2. MLの原理を知る Machine Learning -coursera 勾配降下法の最適化アルゴリズムの概要 3. Pythonを学ぶ Python -Google 4. MLの基礎を学ぶ Machine Learning Crash Course MLでのデータの準備 フルスクラッチで勾配降下法を実装する フルスクラッチでkNNを実装する KMeansアルゴリズムとSVMを操作する方法 kNN, SVM, XGBoostの視覚化 勾配ブースティングとXGBoost Kaggle Masterが教えるXGBoost 決定木のスキルをブラッシュアップする 他に触れておきたいところとして、 LightGBM Gradient Boosting などがあります。(
統計学・機械学習を自分なりに概観してみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ＊この記事は統計学や機械学習を専門としていない学生が書いた主観的なまとめ記事です。間違いが含まれている可能性があります。 統計学・機械学習を学んでいると、たくさんの手法や考えが出てきてよくわからなくなります。 特に自分が何かに取り組んでいるときには、今やっている手法が全体から見てどういうものなのか、より良い手法が無いのかが気になってしまいます。 まるで地図を持たず森の中を彷徨っているような感覚です。 そこで、統計学・機械学習で使われる概念や手法を自分なりにまとめて頭を整理したいと思います。 以下のような図になりました。 以下にそれぞれを
4352個のコアで自転車を探せ！
「ディープ・ラーニングで映画から自転車を探す」ではGPUを活用すればより早く自転車を探すことができるようになるのではないか、という赤松正行の仮説があった。ディープ・ラーニングの推論では大量の行列と行列の計算が必要だが、こういった処理は、CPUよりもGPUの得意分野だからだ。 今回、筆者がビデオ・ゲーム用途として購入したGPUが手元にあり、GPUによる機械学習にも興味があったため、自転車探しの協力を申し出ることにした。 使用したGPUはNVIDIA Geforce RTX 2080 Tiだ。搭載されているCUDAコア（演算ユニット）の数は4352個。コア・クロックはリファレンスモデルよりも120MHzオーバー・クロックされた1665MHz. 消費電力は最大300Wというモンスターマシンだ。4K(3840 x 2048ピクセル)の環境で最高画質のビデオ・ゲームを楽しみたい、熱狂的なゲーマー向け
「このレシピは何人分？」を機械学習で推定する - クックパッド開発者ブログ
研究開発部の原島です。在宅勤務中は部のメンバーと 3 時にラジオ体操をしています。今日はラジオ体操の話はおいといてレシピの分量の話をします。 1 人分、2 個分、三枚分、約 4 皿、5 杯くらい、18 cm タルト型、... クックパッドの一部のレシピは 1 人分のカロリーが計算されています。計算されたカロリーは検索結果の絞り込みや献立の作成などに使用されています。 ここでポイントとなるのは「1 人分」というところです。 レシピには、下図のように、その分量が記入されています。クックパッドの全レシピのうち、大体 50% のレシピの分量は「N 人分」という表記です。これらのレシピは、レシピ全体のカロリーを N で割ることで、1 人分のカロリーが計算できます。 レシピの分量 一方、残りの 50% のレシピの分量は「N 人分」という表記ではありません。その半分（全体の 25%）はそもそも表記があり
機械学習・アルゴリズム関連まとめ - Qiita
損失関数・不均衡 不均衡データにおけるsampling ランク学習のListNetをChainerで実装してみた 不均衡データへの決定打となるか！？「Affinity loss」の論文を読む、実装する 不均衡データを損失関数で攻略してみる 解説編：オーバーサンプリング手法解説 (SMOTE, ADASYN, Borderline-SMOTE, Safe-level SMOTE) LightGBMでランキング学習 半教師あり学習のこれまでとこれから Struggling with data imbalance? Semi-supervised & Self-supervised learning help! 深層学習 転移学習：機械学習の次のフロンティアへの招待 ディープラーニングの判断根拠を理解する手法 [DNC (Differentiable Neural Computers) の概要
【CEDEC2019】「『逆転オセロニア』における、機械学習モデルを用いたデッキのアーキタイプ抽出とゲーム運用への活用」セッションレポート - GeNOM（ゲノム） | GeNOM（ゲノム）- DeNAゲーム開発の現場から
2019年9月4日～6日の期間、パシフィコ横浜において、ゲーム開発者向けカンファレンス「CEDEC2019」が開催されました。 本記事では9月5日に実施された、『逆転オセロニア』における、機械学習モデル (トピックモデル) を用いた、大規模データからのデッキアーキタイプの抽出、関連するKPIの可視化などについて紹介されたセッションの内容を一部抜粋してレポートします。 セッションの冒頭では、分析部 アナリストの安達涼より、登壇者の簡単な自己紹介のあと、DeNAゲーム事業部分析部について、現在では各ゲームタイトルに専属アナリストをアサインする体制があること、行動ログ分析、ユーザー調査など、さまざま分析手法を利用して分析に取り組んでいることが説明されました。 また、新しい分析手法や機械学習などの高度な技術を活用したR＆Dにも挑戦しており、本セッションでの発表は、その実践例の一部を抜粋して紹介する
『ベイズ深層学習』が最高すぎた - 日常と進捗
今回は書評エントリー。 ちょうど今日の午前中に須山さんの『ベイズ深層学習』を読み終えた。 読了。 控えめに言って、スゴかった。 まじでボリュームたっぷりでものすごく読み応えのあった一冊だったと思う。 ベイズ機械学習に詳しくない人でも読めるし(簡単とは言ってない)ホントに全人類におすすめしたい。 pic.twitter.com/Lbfs6Rr9JM— コミさん (@komi_edtr_1230) January 15, 2020 ものすごく良かったのでここで全力で宣伝しようと思う。 概要 本書はベイズ統計と深層学習の組み合わせについて詳説した一冊で、頻度論に基づく線形回帰と確率分布の基礎の解説から始まり、そこから線形回帰やニューラルネットワークがベイズ的にどのように説明できるかについて展開、そこから深層学習のベイズ的な説明をしてガウス過程へとたどり着く構成となっている。 本書の魅力はなんとい
機械学習で使用する手法を全公開 - Qiita
株式会社デジサク がお送りするプログラミング記事、 今回はAI(機械学習)について扱っていこうと思います。 ※ 無料セミナーも開催中なので、ぜひご覧になってみて下さい。 はじめに kaggleや学習サイトなど誰でも機械学習を学べる機会が増えてきました。 その反面、情報量が多すぎて全体感を掴めていない人が多いと感じています。 そこで、様々な参考書や記事で紹介されている機械学習で使用する手法を全公開しようと思います。 細かなコーディングはリンクを貼っておくので、そちらを参照されてください。 SNS でも色々な情報を発信しているので、記事を読んで良いなと感じて頂けたら Twitterアカウント「Saku731」 もフォロー頂けると嬉しいです。 機械学習の一連手順 まず、機械学習を習得するために必要なスキルは下記です。 実務の場では数段細かな作業が必要になりますが、最初は下記を勉強するだけで十分で
【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 【決定版】スーパーわかりやすい最適化アルゴリズム 深層学習を知るにあたって、最適化アルゴリズム(Optimizer)の理解は避けて通れません。 ただ最適化アルゴリズムを理解しようとすると数式が出て来てしかも勾配降下法やらモーメンタムやらAdamやら、種類が多くあり複雑に見えてしまいます。 実は、これらが作られたのにはしっかりとした流れがあり、それを理解すれば 簡単に最適化アルゴリズムを理解することができます 。 ここではそもそもの最適化アルゴリズムと損失関数の意味から入り、最急降下法から最適化アルゴリズムの大定番のAdamそして二階微分のニュートン法まで順を追って 図をふんだんに使いながら丁寧に解説 し
Chainer を振り返って
2015 年 4 月 12 日に Chainer の最初のコードをコミットしてから，およそ 4 年半と少しが経ちました．はじめのはじめは軽い気持ちで書きはじめたコードでしたが，今では一線級の研究を立派に支えるまでになりました．深層学習フレームワークの世界も当時とは様変わりして（当時は TensorFlow も PyTorch もなかったわけですから，本当に変わりました），思えば遠くにきたものです． 今日，PFN は社内の研究開発に用いる主なフレームワークを PyTorch に移行すると発表しました．会社にとってももちろんですが，業務としてはこの 4 年半，Chainer 一筋でやってきた自分にとっては特に，大きな転換点です． まず率直な感想として，Chainer の開発は本当に楽しかったです．書きはじめた頃は，深層学習フレームワーク競争の真っ只中で，Theano の上に乗っかるフレームワー
PFNが深層学習基盤「Chainer」の新機能開発を終了、Facebookの「PyTorch」へ移行
Preferred Networks（PFN）は2019年12月5日、研究開発の基盤技術である深層学習フレームワークを「PyTorch」に順次移行すると発表した。PyTorchは米フェイスブック（Facebook）が開発したオープンソースの深層学習フレームワーク。PFNはこれまで自社で開発したオープンソースの深層学習フレームワーク「Chainer」を使っていた。 同社は「深層学習フレームワークそのものが開発の競争力となっていた時代は終わりを迎えつつある」と判断し、Chainerの開発思想に最も近いPyTorchに移行することを決定したという。 今後PFNはフェイスブックのPyTorch開発チームやオープンソースコミュニティと密接に連携し、PyTorchの開発に貢献していく。加えて自社で開発している深層学習プロセッサ「MN-Core」のPyTorchサポートなどを推進する。 Chainerは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習モデルを作成する - Training
