データラーニングギルドは、新しい時代に適した「ニュースタンダードな専門家コミュニティ」を目指して設立されました。データサイエンティストを始めとした専門職は技術の移り変わりが激しく、旧来の会社型の組織だけではキャリアの形成が困難な状況になって来ています。また、1社に所属する働き方から複数社に所属する働き方に変わり、複数の会社、個人間のコラボレーションが重要な時代に突入して来ています。 そんな世の中では、個人が複数の組織に属し、特定の目的に沿ってコラボレーションを支援するような、個々人が有機的に結合するための仕組みや環境が必要なのではないでしょうか？ 個人が複数のコミュニティに所属しながら、コミュニティ内部で、コミュニティ間をつなぎながら価値を生み出していくことが今後重要になって来ると考えた代表の村上が、新しい時代の働き方のモデルケースを作るべく立ち上げたコミュニティ、それがデータラーニングギ

なぜこの記事を書いたのか？ 決定木をベースにしたアルゴリズムのほとんどに特徴量重要度という指標が存在する。データに対する知識が少ない場合はこの指標を見て特徴量に対する洞察深めることができる。KaggleではEDAのときにとりあえず重要度を見てみるなんてこともするようだ。 しかし、この特徴量重要度にはバイアスが存在していて、特定の条件下では信用出来ないことがある。そういった条件を広く知ってほしいということでこの記事を書いた。 この記事では人工データを生成しバイアスを再現してみた。また、こういったバイアスに対処したという論文を見つけたので軽く紹介する。おまけとしてgainベース以外の特徴量重要度についても紹介する。 目次 なぜこの記事を書いたのか？ 想定読者と実験の枠組み 想定読者 限定する枠組み 特徴量重要度とは？ 特徴量重要度にバイアスが生じる条件 1. 解像度が低い場合 2. 特徴量同士

準備 決定木（decision tree）分析をする際、まず目的変数の種類とアルゴリズムを決定する。 アルゴリズム CART CHAID ID3 / C4.5 / C5.0 目的変数の型 目的変数の型によって扱いが変わる 質的変数（2値変数）：分類木→目的変数が0/1, T/Fの場合はas.factor()でfactor型にデータ変換しておく 量的変数：回帰木 survivalオブジェクト （生起を表す2カラム） CARTはすべて対応、C4.5/C5.0は質的変数のみ ここではCARTアルゴリズムでツリーモデルを生成するrpartと、ランダムフォレストrangerを中心に説明する。 データセットと前処理 Default of Credit Card Clients Dataset データセットの主な留意点 30000行25変数 最初の列が識別子（ID）→除外 3列目SEX, 4列目EDUC

社内向けに公開している記事「統計・機械学習の理論を学ぶ手順」の一部を公開します。中学数学がわからない状態からスタートして理論に触れるにはどう進めばいいのかを簡潔に書きました。僕が一緒に仕事をしやすい人を作るためのものなので、異論は多くあると思いますがあくまでも一例ですし、社員に強制するものではありません。あと項目の順番は説明のため便宜上こうなっているだけで、必ずしも上から下へ進めというわけでもありません。 （追記）これもあるといいのではないかというお声のあった書籍をいくつか追加しました。 数学 残念ながら、統計モデルを正しく用いようと思うと数学を避けることはできません。ニューラルネットワークのような表現力が高くて色々と勝手にやってくれるような統計モデルでも、何も知らずに使うのは危険です。必ず数学は学んでおきましょう。理想を言えば微分トポロジーや関数解析のような高度な理論を知っておくのがベス

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界

プロローグ ストーリー編 第1章 感銘 step1. KPIの設定 step2. データの観測構造をモデル化する step3. 解くべき問題を特定する step4. 観測データのみを用いて問題を解く方法を考える step5. 機械学習モデルを学習する step6. 施策を導入する 第2章 絶望 第3章 反省 第4章 再起 step1（再） KPIの設定 step2（再） データの観測構造をモデル化する step3（再） 解くべき問題を特定する step4（再） 観測データのみを用いて問題を解く方法を考える step5（再） 機械学習モデルを学習する step6（再） 施策を導入する 第5章 俺たちの戦いはこれからだ！ 実装編 準備 擬似データの生成 意思決定モデルの学習 モデルのオフ方策評価 モデルの真の性能の評価 まとめ この記事を読んだ方はこんな記事も読んでいます（多分） @tkana

施策デザインのための機械学習入門〜データ分析技術のビジネス活用における正しい考え方 作者:齋藤 優太,安井 翔太技術評論社Amazon 著者よりご恵贈いただきました．いくつか読むべき本があったのですが，社内で読書会をするために優先して読みました．感想を書きます． 著者は当時学部生とは思えないスピードでトップカンファレンスに論文を通している齋藤優太氏とサイバーエージェントにて機械学習と経済学 (特に因果推論) の研究を行っている，「効果検証入門」の著者でも知られる安井翔太氏．監修はホクソエム社． 第一線で活躍する若手研究者が日本語で本を書くことがどんなに貴重か (一部の研究者が「日本語の原稿や国内学会は業績ではないので意味がない．運営負荷も高いために縮小・廃止すべきだ」「日本語の専門書は不要であり，原著を読める人間だけが読めばいい．」と主張している背景があります) という話をしても一部の人に

こんにちは． DSOC 研究開発部の黒木裕鷹です． なんと，思いつきで始めたランニングが続いており，最初の1ヶ月は65kmほど走っていたようです！ やはり，ばっちり形から入りかっこいいシューズとウェアを用意したのが効いたようです． フルマラソン目指して頑張りたいと思います🏃 さて，先日株式会社ホクソエムの高柳さんより，監修された本をご恵贈いただきました！ ありがとうございます！！！ いつもはネットワークの分析手法にまつわる連載をしていましたが，せっかくですので，今回は書籍のレビュー・紹介をしたいと思います． gihyo.jp 紹介・どんな本か 1章：機械学習実践のためのフレームワーク 2章：機械学習実践のための基礎技術 3章：Explicit Feedback を用いた推薦システムの構築の実践 4章：Implicit Feedback を用いたランキングシステム構築の実践 5章：因果効果

Twitterでたびたび告知させていただいていますが、『施策デザインのための機械学習入門』という本を技術評論社さんから出させていただきます。紙版は8月4日発売（本記事公開の翌日）、電子版は7月30日にすでに発売されています。 gihyo.jp www.amazon.co.jp 本書の概要は次の通りです。 予測に基づいた広告配信や商品推薦など，ビジネス施策の個別化や高性能化のために機械学習を利用することが一般的になってきています。その一方で，多くの機械学習エンジニアやデータサイエンティストが，手元のデータに対して良い精度を発揮する予測モデルを得たにもかかわらず，実際のビジネス現場では望ましい結果を得られないという厄介で不可解な現象に直面しています。実はこの問題は，機械学習の実践において本来必要なはずのステップを無視してしまうことに起因すると考えられます。機械学習を用いてビジネス施策をデザイン

はじめに 株式会社ホクソエム常務取締役のタカヤナギ=サンです、データサイエンスや意思決定のプロ・経営をしています。 掲題の件、現在、某社さんと”機械学習における評価指標とビジネスの関係、および宇宙の全て”というタイトルの書籍を書いているのですが、 本記事のタイトルにあるような考え方については、論文・書籍などを数多く調査しても未だお目にかかることができず、これをいきなり書籍にしてAmazonレビューなどでフルボッコに叩かれて炎上して枕を涙で濡らすよりも、ある程度小出しにして様々な人々の意見を聞いた方が良いのではないかと思い独断で筆を取った次第です。 筋が良さそうなら論文にするのも良いと思っている。 「いや、そんなもん会社のBLOGに書くんじゃねーよ💢」という話があるかもしれないですが、ここは私の保有する会社なので何の問題もない、don't you? こういうビジネスを考えてみよう 「この人

バックエンドエンジニアの吉田です。カンムでは機械学習を用いた機能開発を担当しています。 バンドルカードでは後払い機能であるポチっとチャージで機械学習が使われています。 去年のAdvent Calendarで石澤さんが カンムを支える技術2020 という記事を書いてくれていましたがそこではあまり触れられていなかった機械学習まわりの取り組みについて簡単にご紹介します。 バンドルカードのサービスはAWSで構築されているので基本的にはAWSに寄せつつも機械学習ではGCPも活用しマルチクラウドで運用しています。 Data Preparation DWHとしてBigQueryを利用しています。BigQueryにはバンドルカードのトランザクションデータやFirebaseで取得したアプリのイベントログ、サーバのアプリケーションログ等が集約されておりデータ分析やA/Bテストの集計、障害調査等に使われています

（出典）https://papers.nips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf ・Configuration：設定 機械学習システムに必要な設定をする ・Data Collection：データ収集 機械学習するためのサンプルデータを集める ・Data Verification：データ検証 / データ照合 データの不備を検証 ・Feature Extraction：特徴抽出 機械学習に必要な特徴量の抽出 ・Machine Resource Management：マシンのリソース管理 システムを動かすサーバーの管理 ・Analysis Tools：分析ツール metabaseなどの分析ツールの整備 ・Process Management Tools：プロセス管理ツール バッチなどの処理を管理 ・Serv

リポジトリ http://github.com/uribo/190831_fukuokar15

Microsoftは、WindowsやMacにダウンロードして無料で使える「Lobe」を公開している。同ツールでは、ネット接続やログインもなしで機械学習トレーニングができて、利用するデータはプライベートに保たれる。 Microsoftは2018年にLobeを買収し、同ツールをブラッシュアップしてきた。今では、誰でも簡単に機械学習モデルがトレーニングできるように…とのコンセプトを体現したものになっている。写真をインポートすれば自動でトレーニングLobeのWebサイトに掲載の紹介動画を観れば、このツールのシンプルな使い勝手が認識できるだろう。ナビゲーターがPCのWebカメラで水を飲む写真を複数通り撮影。同じく水を飲んでいないシーンを撮影すると、トレーニングが自動で行われる。 ラベルを調整して、Webカメラの前で水を飲むと「水を飲む」動作が検出できるように。また、モデルの修正も簡単にできるようだ

はじめに ホクソエムサポーターの藤岡です。会社を移りましたが、相変わらずPythonを書く仕事をしています。 前回の記事に引き続き、今回もMLflowについての記事です。 前回はトラッキング寄りでしたが、今回はモデルのデプロイにも関わってくる内容です。 MLflowはXGBoost, PySpark, scikit-learnといった多様なライブラリに対応していて、様々な機械学習タスクに活用することができるのが売りの一つです。 その実現のため、設計や実装に様々な工夫がされているのですが、 この部分について詳しくなることで、オリジナルの機械学習モデルをMLflowとうまく繋ぐことができるようになったり ETLのようなモデル学習にとどまらない使い方もできるようになったりします。 本記事では、XGBoostをMLflowで扱うためのモジュール mlflow.xgboost について解説することで

自分は機械学習を学びたい全ての人類に（CourseraのAndrew Ngのコースをやった後に）Andrew NgのStanfordのCS229の講義を見ることをオススメしてるんですけど、その講義の2018年度バージョンが公開され… https://t.co/OUokFft3ea

メルカリで写真検索とEdge AIチームに所属している澁井（しぶい）です。機械学習のモデルを本番サービスに組み込むための設計やワークフローをパターンにして公開しました。 GithubでOSSとして公開しているので、興味ある方はぜひご笑覧ください！ PRやIssueも受け付けています。私の作ったパターン以外にも、有用なパターンやアンチパターンがあれば共有してみてください！ GitHub：https://github.com/mercari/ml-system-design-pattern GitHub Pages：https://mercari.github.io/ml-system-design-pattern/README_ja.html なぜ機械学習システムのデザインパターンが必要なのか 機械学習モデルが価値を発揮するためには本番サービスや社内システムで利用される必要があります。そのた