米不動産テック大手Zillowの大失敗に見るAI経営の教訓…｢予測モデルの過信｣｢目標設定のミス｣は他人事ではありません
こんにちは。パロアルトインサイトCEO・AIビジネスデザイナーの石角友愛です。 2021年最後の寄稿は、｢著名不動産テックの新事業“ZillowOffers”はなぜ大失敗したのか｣を考察します。 Zillowは、不動産情報サイト運営を手がける米国最大の不動産仲介マーケットプレイスです。2006年に創業して以降、米国の不動産情報に関するウェブ検索の約3割はZillowが持つとされ、取り扱う物件数は1億3500万件以上。2020年にはZillowウェブサイトに訪れる毎月のユニークビジター数が3600万人を記録しました（Zillowウェブサイトとアプリに関する統計はこちら）。 Zillowの従来のビジネスモデルは、家を売りたい人と買いたい人を集めるマーケットプレイスでした。主に、その仲介役の不動産エージェントに向けたビジネスモデルを特徴としています。賃貸用の不動産を管理している業者向けにリスティ
OSSのアノテーションツール Label Studio を使って、快適にアノテーションする
2022-01-09 Google Spread Sheet による即席アノテーションの限界データ分析で、ラベルがないデータに対して、自分でアノテーション(ラベルを付与)してデータの傾向を素早く掴みたい時がある。 例えば、文章に対してネガティブ・ポジティブなクラスを割り振ったり、画像に対して人が写り込んでいるか否かなどの簡単な分類タスクでは、お手軽に Google Spread Sheet などを使って、500 件のアノテーションはそこまで問題がなく気合でやれる。 実際の流れとしては、GCP を採用している場合、Google BigQuery から SQL でデータを抽出してそのまま Google Sprad Sheet に出力、=image()関数で CDN から画像の URL を参照できたりなどなどかなり便利。 Spread Sheet を共有して複数人でも作業ができるのも魅力的。 だ
数量を機械学習で当てる モデル作成時の工夫と性能説明手法 - エムスリーテックブログ
こんにちは。エムスリーエンジニアリンググループAI・機械学習チームの池嶋です。これは エムスリー Advent Calendar 2021 の16日目の記事です。 AIチームでは機械学習を使ったプロダクトを開発し、自社サービスの改善や医療の臨床領域における研究開発など、社内外で多くのビジネス課題解決を目指しています。 このブログでは、機械学習で数量を当てるという問題に対して、AIチームにおける「予測モデル作成時の工夫」と「モデル性能説明手法」について紹介します。 予測モデル作成時の工夫編 回帰ではなく分類モデルを使用 複数のモデルをアンサンブル 特徴抽出からモデル学習・推論までパイプライン化 モデル性能説明手法編 PR曲線やROC-AUC：直感的でない ローレンツ曲線：ユースケースが限定される パーセンタイルごとの実ラベル割合グラフ：セグメントが多いとわかりにくい 混同行列を多クラスに拡張
SageMaker Experimentsを使った機械学習モデルの実験管理 - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 本エントリーはコネヒトアドベントカレンダーの15日目の記事になります． 今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思います． アドベントカレンダー1日目でたかぱいさんがSageMaker Processingの使い所を紹介してくれているので，こちらも併せて参考下さい． tech.connehito.com はじめに 前回のエントリー*1でML Test Scoreの話をしましたが，その際にMLOpsの大事な要素である再現性（モデル学習など）に触れました．今回はこのモデル学習の再現性のために必要な実験結果（ハイパーパラメータの引数の値，モデル評価指標など）の管理をSageMaker Experimentsでしているというお話です． ※本エ
ロジスティック回帰とElo Ratingの関係 - ブログのとさか
はじめに 対戦ゲームのレーティングシステムとして多く採用されているElo Ratingですが， その計算式を見ると内部で行っていることはロジスティック回帰とほとんど一致することがわかります． この記事ではロジスティック回帰とElo Ratingについて簡単に説明し，それらの関係について見ていきます． また，ついでにこの事実を応用した格闘ゲームのキャラ相性解析のアイデアについて紹介したいと思います． ロジスティック回帰 ロジスティック回帰は2値分類問題の推論や分析に利用される一般化線形モデルの一つです． ロジスティック回帰ではロジット（対数オッズ）を線形モデルで予測します．*1 このことは予測確率を，線形モデルの出力を，ロジスティック回帰の重みベクトルを，バイアスを，入力ベクトルをとした時以下の式で表されます． 予測確率の計算 予測確率は以下の式で求まります．*2 更新式 ロジスティック回帰
動く「機械学習帳」、東工大教授が講義資料を無償公開 回帰や分類のグラフをアニメーションに
東京工業大学の岡崎直観教授が、大学の講義で使う資料「機械学習帳」をGitHubのホスティングサービス上で公開している。Webサイト上でPythonを実行できる開発環境「Jupyter Book」で作られており、利用者はPythonのコードとその実行結果を見ながら学べる。 同大学が2021年度4Q（12～2月）に開講する「機械学習」の講義ノート。学習できる内容は、単回帰、重回帰、ロジスティック回帰、ニューラルネットワーク、サポートベクトルマシン、クラスタリング、主成分分析、確率的勾配降下法、正則化といった機械学習の重要項目。初学者向けに原理なども丁寧に説明したとしている。 Pythonによって書かれたグラフは、学習回数や変数などで変動するものや3次元の場合はアニメーションとして視覚化されている。
【徹底解説】変分ベイズをはじめからていねいに | Academaid
初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。 はじめに 機械学習を勉強したことのある方であれば，変分ベイズ（VB：variational bayes）の難しさには辟易したことがあるでしょう。私自身，学部生時代に意気揚々と機械学習のバイブルと言われている「パターン認識と機械学習（通称PRML）」を手に取って中身をペラペラめくってみたのですが，あまりの難しさから途方に暮れてしまったことを覚えています。 機械学習の登竜門は，変分ベイズ（変分推論）だと私は考えています。また，VAE（変分オートエンコーダ；variational autoencoder）に代表されるように，変分ベイズは最近の深層学習ブームにおいて理論面の立役者となっている側面もあります。一方で，多くの書籍やWeb上の資料では式変形の行間が詰ま
公平性に配慮した機械学習 | メルカリエンジニアリング
こんにちは。メルペイのMachine Learningチームの@hiroです。Merpay Advent Calendar 2021 の18日目の記事をお届けします。 機械学習の社会的重要性の高まり 近年、機械学習という技術領域が人口に膾炙し、多くの産業やプロダクトに用いられるようになってきています。機械学習は、アルゴリズムによって、蓄積されたデータのパターンを学習し、従来ひとの判断やルールベースで行ってきた意思決定を自動化、高精度化することで、様々な産業の生産性向上に寄与し、私達の生活を豊かにしてきました。私達の社会にとってなくてはならない技術領域のひとつになっています。 一方、そうした機械学習の自動判断において、結果的に差別的な振る舞いをしてしまったり、お客さまに不愉快な体験をさせてしまったりといった、社会にネガティブな影響を与えてしまう事案も発生しています。この記事で具体的な事例をと
Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点について - Qiita
Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点についてMachineLearningMLOps この記事では MLOps における Data Validation (データバリデーション: データの検証) について概要を述べます。 Data Validation はこれ単体では新しい概念ではありません。たとえば入力フォームで入力値に制約を設け、その制約を満たすデータのみを入力値として受け入れるようにするのは、サービス開発では一般的なことでしょう。入力欄において空欄を許さない、値は特定のリストからのみ選択できるといった制約を設けている例は、開発者でなくても一般的に目にしたことがあるかと思います。 このように Data Validation は一般的な概念ですが、MLOps においては非常に重要な概念となります。また、そこ
機械学習のパラメータチューニングを「これでもか！」というくらい丁寧に解説 - Qiita
はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh
不均衡データ対策は決定境界が大事！ ロスを変えてファインチューニングするだけで精度が上がる「Influence-Balanced Loss」の紹介 - Qiita
クラスAは5％下がってしまいましたが、クラスBは+10%、クラスCは+15%になりました。実は先程のmicro averageによる精度を計算すると、 5000×90% + 100×80% + 25×65% ÷ (5000+100+25) = 89.7% 5％近く下がっています。全体の精度が下がったほうが嬉しい、ちょっとおかしいですよね。 microとmacro この感覚のズレを解消するために、macro averageによる精度を計算します。macro averageとはクラス単位の精度を単純平均で求めます1。 前者：(95% + 70% + 50%) ÷ 3 = 71.7% 後者：(90% + 80% + 65%) ÷ 3 = 78.3% 直感と一致しました。microを使うか、macroを使うかは問題によりけりです。macro averageで集計するコンペもあります。不均衡データ対
雑談のためのチャットボットを深層学習自然言語処理モデル（T5）で作る - Qiita
はじめに 普段ニュースサイトや機械学習関連のプロダクトを開発している中村と申します。 もともと大学院まで機械学習を研究しており、最近は自然言語処理が流行っているというニュースを聞きつけて、ずっと興味を持っていました。 （会社のお金で機械学習を勉強したいという願いが最近叶いました。） リモートワーク寂しい問題 最近のコロナ禍により、例にもれず弊社もリモートワークが盛んに行われ、現在ではリモートワークが当たり前になっています。 しかし、もちろん業務は円滑に進むのですが、コミュニケーションの量も少なくなることもまた事実。 ただし、チームメンバーの時間を雑談で奪うのも何か気がひける・・・。 こういうときはエンジニアリングの力で解決するのが、エンジニアという生き物ですよね。 そこで、今回は深層学習による自然言語処理モデルで、雑談のためのチャットボットを構築してみます。 深層学習時代の自然言語処理 今
決定木分析を使用して、データ分析を行った話 - エニグモ開発者ブログ
こんにちは、エニグモでデータアナリストをしている井原です。 この記事は Enigmo Advent Calendar 2021 の 7日目の記事です。 今日は、実際に業務で、データ分析をした内容を元に、データアナリストがどのような仕事をしているのかをお話したいと思います。 データアナリストの仕事 世の中では、データアナリストと言われる職種の仕事は多岐に渡ると思います。 データマイニング、データ分析基盤の整備、ビジュアライゼーション、KPIの設計、機械学習モデルの構築、etc... エンジニアリングやサイエンスの領域と思われるところを担っているデータアナリストの方もいらっしゃるのではないかと思います。 エニグモの場合、データサイエンティストやデータ基盤エンジニアといった、専門家が在籍しています。そのため、データアナリストは、施策の効果検証やサイト上の課題発見といった、ビジネス領域の課題に対し
グラフニューラルネットワークでQiitaのタグづけをレコメンドする - Qiita
本記事はNTTドコモR&Dアドベントカレンダー2021の8日目の記事です． こんにちは、NTTドコモの橋本(@dcm_hashimotom)です． 業務ではレコメンド関連の技術開発・施策検討を行っており，主にPythonやBigQuery, Apache Sparkを触ってます． SNSなどで投稿したコンテンツの検索性を上げるためには，そのコンテンツへのタグ(またはハッシュタグ)の付与が重要です．Qiitaではタグは5つまで付与することができ，タグを指定した絞り込み検索や，マイページでのプロフィールに使われております．しかし，タグの付与はユーザ手動なものが多く(要出典)，検索性が高いものを選択するためには，ドメイン知識が必要です．なので，タグを付ける際に「このタグがついた投稿では他にこんなタグもついてます」的なレコメンドがあれば有用そうです．また，レコメンドということですが，近年レコメンド
5 Different Ways To Reduce Noise In An Imbalanced Dataset
Experienced data science and machine learning experts know that imbalanced class distribution is one of the most frequently encountered problems in data science. It occurs when the number of observations belonging to one class is significantly lower than those belonging to the other classes. What Is Data Imbalance? Imbalanced dataset occurs when one set of classes are much more than the instances
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI
In this event, Dr.Andrew Ng shared the skills he sees as fundamental to the next generation of machine learning practitioners, and followed with a Q&A. Let us know what you think of the presentation by filling out a quick survey at http://bit.ly/30yeWuO To learn more about us and signup for future events: DeepLearning.AI: https://www.deeplearning.ai/
2020年超盛り上がり！自己教師あり学習の最前線まとめ！ - Qiita
オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介していますので、人工知能のことをもっと知りたい方などは @omiita_atiimoをご覧ください！ 他にも次のような記事を書いていますので興味があればぜひ！ わずか1%のラベルでImageNet高精度「SimCLR」解説 出きたてホヤホヤ！最新オプティマイザー「AdaBelief」を解説！ 画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ 新たな活性化関数「FReLU」誕生&解説！ 自然言語処理の王様「BERT」の論文を徹底解説 2021/02/28 SimCLRのバッチサイズに関する記述を修正 2020年に大きく盛り上がりを見せた分野に自己教師あり学習(=Self-Supervised Learning(SSL))があります。SSLとは名前の通り自分で教師を用意するような手法で、デー
ハイパーパラメーター最適化フレームワークOptunaの実装解説 | | AI tech studio
AI Lab AutoMLチームの芝田です (GitHub: @c-bata)。 ハイパーパラメーター最適化は、機械学習モデルがその性能を発揮するために重要なプロセスの1つです。Pythonのハイパーパラメーター最適化ライブラリとして有名な Optuna [1] は、様々な最適化アルゴリズムに対応しつつも、使いやすく設計的にも優れたソフトウェアです。本記事ではOptunaの内部実装についてソフトウェア的な側面を中心に解説します。 Optunaの内部実装を理解するためには、主要コンポーネントの役割と全体の動作の流れを押さえる必要があります。しかしOptunaの開発は活発で、コード量も多くなり、全体の流れをコードから読み取ることは難しくなってきました。そこで今回Minitunaという小さなプログラムを用意しました。Minitunaには全部で3つのversionがあり、それぞれ100行、200行
Vertex AIを活用したMLOpsの実現【前編】 | 株式会社CAM
｜目次 1. はじめに 2. MLOpsとは 3. VertexAIの概要 4. Vertex Pipelineについて -概要 -コンポーネントの実装例 -パイプラインの実装例 -Vertex PipelineでのKubeflow Pipelineの実行 5. まとめ 6. 参考資料 ｜1. はじめに 株式会社CAMで機械学習エンジニアをしています原 和希です。 データ分析から機械学習モデルの作成、そしてMLOps基盤の構築を担当しています。 今回はMLOps基盤の構築をトピックとして、弊社で導入している「VertexAI」という、GCP 上で MLOps 基盤を実現するためのサービスを紹介します。 本記事は前編と後編に分かれています。 この前編ではMLOpsについてと機械学習パイプラインを実現するためのサービスであるVertex Pipelineについて詳しく解説をします。 後編では、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最小限のPythonコードでAutoMLを実現するローコード機械学習ライブラリ「PyCaret」
