データ基盤による利益最大化と初期構築プロセス / 20220209「Data Cross Conference」の登壇資料です。 https://dcc2022.datafluct.com/ データ活用によって億単位の利益を創出してきた登壇者が、データ基盤をこれから構築する方に向けて、費用対効果を最大化するための初期構築プロセスを紹介します。 -----…
生活者ターゲティングの時代は終わり、エコノメトリクスによるマーケティングが台頭する - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Mediamodifier from Pixabay) 実はもう1年以上前のことなのですが、LinkedInで以下の記事を見かけて「おー、ようやくこういう意見が公の場に出てくるようになったんだな」と思ったのでした。原文は英語ですが、短い文章なので英語が不得手な方でも各種翻訳サービスなどを使えばサクッと読めるのではないかと思います。 で、何故そういう感想を抱いたのかというと「個人的にはもう2017年ぐらいからほぼ同じことを考えていたから」です。しかし、広告マーケティング業界（特にオンライン広告）では長年に渡り「個々の顧客にone-to-oneで訴求できることこそが最重要」という考え方が主流となってきていて、近年のパーソナライズド広告や見ようによってはレコメンデーションもその流れに沿って隆盛を誇ってきたアプローチとも言えます。そこに満を持して一石を投じる形になったのが、上記
「施策デザインのための機械学習入門」を完全に理解したサトシくんがポケモン捕獲アルゴリズムを実装する話 - kanayamaのブログ
プロローグ ストーリー編 第1章 感銘 step1. KPIの設定 step2. データの観測構造をモデル化する step3. 解くべき問題を特定する step4. 観測データのみを用いて問題を解く方法を考える step5. 機械学習モデルを学習する step6. 施策を導入する 第2章 絶望 第3章 反省 第4章 再起 step1（再） KPIの設定 step2（再） データの観測構造をモデル化する step3（再） 解くべき問題を特定する step4（再） 観測データのみを用いて問題を解く方法を考える step5（再） 機械学習モデルを学習する step6（再） 施策を導入する 第5章 俺たちの戦いはこれからだ！ 実装編 準備 擬似データの生成 意思決定モデルの学習 モデルのオフ方策評価 モデルの真の性能の評価 まとめ この記事を読んだ方はこんな記事も読んでいます（多分） @tkana
AI accelerators: DataRobot docs
AI accelerators¶ AI Accelerators are designed to help speed up model experimentation, development, and production using the DataRobot API. They codify and package data science expertise in building and delivering successful machine learning projects into repeatable, code-first workflows and modular building blocks. AI Accelerators are ready right out-of-the-box, work with the notebook of your choi
機械学習モデルを構築するときに考えることと、全体の流れ - まずは蝋の翼から。
初の機械学習プロジェクトを仕事でおこなった。その際に、各プロセスでこういう部分をみたり考えたりした方が良さそうだと思ったことをまとめる。 なお、機械学習プロジェクトの話は「仕事ではじめる機械学習」をはじめとして既に色々なところで議論されている*1。しかし、いくつか読んだがマクロな話が中心だったので、どちらかというとミクロ部分の機械学習モデルを構築する という部分を中心に書く。 なお、経験者から指摘されたり教えられた点を1度機械学習プロジェクトをやっていったんまとめただけなので、今後追加・修正される暫定版なことに注意。 ワークフロー 機械学習プロジェクトのワークフローはざっくりと以下のようになる。 1. 要件を定める やることとしては、 目的 スケジュール 期待値 どの程度の精度ならよいか どのようなアプローチを取るか を決める。 このあたりの話は、前述のように「仕事ではじめる機械学習」など
データサイエンティストはどこまでエンジニアリングをすべきか？ | CyberAgent Developers Blog
AI事業本部 Dynalystでデータサイエンティストをしている藤田です。 Dynalystの開発チーム内にはデータサイエンス（以降DS）チームがあり、そこにはデータサイエンティスト・機械学習エンジニア（以降まとめてデータサイエンティストと呼ぶ）たちが所属しています。私がこのチームで働く中で、「プロダクト所属のデータサイエンティストがどこまでエンジニアリングをすべきなのか」ということを考えることがあったのでまとめてみました。当然これは一般的な答えではなく、人・チーム・組織の現状や目指すべきところによって答えは変わるので、あくまで1チームの1個人が考えたこととして読んでもらえればと思います。 プロダクト所属と横断DS組織所属 エンジニアリング云々の話をする前に、まずプロダクト所属と横断DS組織所属のデータサイエンティストの違いについて軽く説明します。両者のメリット・デメリットについても書きた
インド発「OYO」創業者は、なぜ25歳で世界2位の“ホテル王”になれたのか
世界で最も客室数が多いホテルはマリオットだが、ヒルトンやインターコンチネンタルといった名だたる大手ホテルを押さえて、世界2位にランクインするホテルブランドが、創業からわずか6年のインド発のスタートアップ「OYO」であることをご存知だろうか。 日本ではヤフーとともに合弁会社を設立し、3月に家具家電付きで、敷金・礼金0円の賃貸アパートサービス「OYO LIFE」を開始したことでも話題になった同社だが、グローバルではホテル運営のユニコーン企業として知られている。 7月18日に都内で開催されたカンファレンス「SoftBank World 2019」の基調講演で登壇した、OYO創業者のリテシュ・アガルワル氏は「あと数カ月で世界一のホテルブランドになる」と自信を見せる。25歳という若さで、いかにして同氏は“ホテル王”へと登りつめたのか。様々なデータによってそれを証明した。 データ分析で物件獲得時間を“
【開催報告&資料公開】ML@Loft #3 – Recommendation | Amazon Web Services
AWS Startup ブログ 【開催報告&資料公開】ML@Loft #3 – Recommendation AWS 機械学習ソリューションアーキテクトの宇都宮 (Twitter: @shokout) です。本ブログでは ML@Loft 第３回「レコメンド」の開催概要を報告します。 ML@Loft は、 機械学習を AWS 上でプロダクション運用しているデベロッパー・データサイエンティストのためのコミュニティイベントです。毎月テーマを設定し、前半は各分野のエキスパートの方々からのLT、後半は機械学習のサービス導入のノウハウや様々なツラミについて、LT のご講演者の方々を交えて参加者全員参加型のお悩み相談ラウンドテーブルという構成で AWS Loft Tokyo にて実施しています。 第２回 [Blog] は、第１回で好評だった MLOps のテーマを引き続き、そして今回 6/21 (金)
機械学習関連の開発を 効率化した話
ネットワーク運用を楽にするAWS DevOps Agent活用法！！ / 20260421 Masaki Okuda
総務省 ICTスキル総合習得プログラム
このウェブサイトでは、ICT（情報通信技術）に関する教材の「総務省 ICTスキル総合習得プログラム」をオープンデータとして提供します。「総務省 ICTスキル総合習得プログラム」は、各5講座から成る4つのコース（[1]データ収集、[2]データ蓄積、[3]データ分析、[4]オープンデータ・ビッグデータ利活用事例）によって構成され、ICTに関する基礎知識・基礎技術を学ぶことができます。 個々人の自学自習および学校・企業・コミュニティでの授業・勉強会にて、ご活用ください。 総務省 ICTスキル総合習得プログラム このウェブサイトでは、2017年度における総務省の事業として開発された「総務省 ICTスキル総合習得プログラム」に関して説明し、成果に関するファイルを提供します。このウェブページでは事業の成果であるIアイCシーTティー（Information and Communication Techn
Jupyter だけで機械学習を実サービス展開できる基盤 - Tech Blog - Recruit Lifestyle Engineer
こんにちは、CET チームの田村です。データ基盤を構築・運用したり、チャットボット（スマホ用です）を開発したりしているエンジニアです。 皆さん、実サービスで機械学習、活用できていますか？ 正直、難しいですよね。高精度なモデルを作ること自体も難しいですが、実際のサービスにそれを組み込むには、そこからさらに数々の難所が待ち構えているからです。 でも、そのほとんどはエンジニアリングで解消できます。 私たちのチームでは、数年にわたる経験をもとに難所とその対処法を整理し、すばやく成果をあげられる機械学習基盤を開発しはじめました。 本記事では、この基盤の設計とその背後にあるアイデアをご紹介します（機械学習工学研究会の勉強会での発表資料がベースです）。 イテレーションを何度も回せ 基盤そのものの前に、まず機械学習を成果につなげるためのポイントを説明させてください。 私たちは、機械学習の活用において必要な
統計的因果推論のためのPythonライブラリDoWhyについて解説：なにができて、なにに注意すべきか - Unboundedly
機械学習など主に予測を目的とした統計手法に強いイメージのPythonでしたが、統計的因果推論を行うためのライブラリ、“DoWhy”がついにリリースされました。 DoWhy | Making causal inference easy — DoWhy | Making Causal Inference Easy documentation これまで因果推論があまり浸透してこなかった*1データサイエンス界に新しい風が吹くのではと期待が高まります。 一方でこのパッケージが何を可能にし、逆に何ができないのかを理解しなければ、雑なデータ分析が増えて逆に有害なのではと思い、今回ブログを書くことにしました。 先に言っておくと、私自身はPythonをメインに使っているわけではありません（使ったことはあるので一応コードを読んで何が起こっているかくらいはわかります）。したがって本記事の目的は、DoWhyライブ
Data engineers vs. data scientists
The brightest minds in data and AI come together at the O'Reilly Strata Data & AI Conference to develop new skills, share best practices, and discover new tools and technologies. Join us. It’s important to understand the differences between a data engineer and a data scientist. Misunderstanding or not knowing these differences are making teams fail or underperform with big data. A key misunderstan
機械学習の精度と売上の関係
[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...
DeepAnalyticsのデータ分析コンテストで優勝しました！ - Unipos engineer blog
本記事はFringe81 アドベントカレンダー2017の6日目の投稿です。 こんにちは。Fringe81データサイエンティストの貫井です。 今年9月まではプライベートでやっていた競馬AIの開発を専業としており、10月からFringe81に正式ジョインしました。 業務では主に広告配信ロジックの最適化を取り組んでいます。 2017/10/30まで開催されていたDeepAnalytics主催のレコメンドエンジン作成コンテストに参加し、見事優勝することができました！ 今回はそのコンペ参加の取り組みについて紹介します。 ▽DeepAnalyticsについて 参加の背景 これまで自分は機械学習を競馬予測以外のタスクで試した経験がほぼなく、10月からの業務でどれくらいやれるのか一抹の不安を抱えていました。 そんなとき、データ分析チームの先輩社員から本コンペの参加を勧められ、腕試しのためにまずやってみよう
メルカリの分析チームとは？その全ての疑問にひとつひとつ答えます | メルカリエンジニアリング
この記事はMercari Advent Calendar 6日目の記事です。 メルカリのBIチームのアナリスト/マネジャーの @hikaru が、メルカリの分析チームの事情についてお送りします。 ※ BIチーム…メルカリ内の分析を一手に担うチーム。Business Intelligenceチーム。 この記事について イベントやカジュアル面談などでメルカリの分析チームの内幕についてよく聞かれる質問があります。 いえ、それどころか場合によっては社内であまり一緒に仕事する機会がない方々からも、チームに関して質問されることがあります。 ※ カジュアル面談…メルカリでは、社内のポジションに興味ある方にオフィスに来ていただいて1on1でざっくばらんに話す会を頻繁に行っています。 正直、分析チームというのは外部から何をやっているか見えづらい面もあるため、理解できます。 よく頂く質問としては、 組織的なこ
機械学習を使って東京23区のお買い得賃貸物件を探してみた - データで見る世界
さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mercari/ml-system-design-pattern: System design patterns for machine learning
分析の基礎（モデリング）/ Basics of analysis ~modeling~
データレイク構築後の四方山話 #DPM / 20190905
