本番環境での機械学習モデルの監視について (1/3)
このシリーズでは本番環境でのモデルの監視の必要性について考えていきます。全3回を予定しています。今回はその最初の回です。データの集計処理に不具合が発生してしまい、すべてのユーザーのログイン回数が0となってしまった場合に発生する事象について、ケーススタディとして見ていきます。 今回の要旨 機械学習を本番環境で用いる場合、モデルに投入するデータが壊れると結果が壊れる機械学習モデルの精度指標を監視するだけでは不十分なことがあるデータの型だけではなく、欠損を表す値の割合や値の分布の変化についても監視が必要TOC· はじめに · 主旨 · 前提: EC サイトのマーケティングキャンペーン · 背景 · 机上検証 · 評価結果 · ケーススタディ すべてのユーザーのログイン回数が0 · 問題発生 · 発生した事象 · 原因 ∘ 他チームの行った変更に対応できていない ∘ データの欠損について気がつけて
クエリ修正を考慮した検索評価指標sDCGを使ってユーザーの検索体験を監視をしたい - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。最近、ユーザーの検索体験の向上のために、以下の検索評価に関する本を読んでいました。 情報アクセス評価方法論 作者:酒井 哲也発売日: 2015/05/19メディア: 単行本 そこで今回は検索評価指標の1つであるsDCG (session-based Discounted Cumulative Gain)を使ってエムスリーの検索ログから体験の悪かった検索を抽出してみたのでその方法を紹介します。 現状の検索監視 現状の検索監視の問題 nDCG sDCG 線形横断 最下位クリックにおける検索結果の破棄 クリック＝適合文書 nsDCGを実際の検索ログに使ってみる sDCGを使って感じたこと まとめ We're hiring !!! Reference 現
MLOpsに必要な情報全部BigQueryに置いたら想像以上に捗った話 - Qiita
本記事はMLOps Advent Calendar 2020の13日目の記事です。 こんにちは。昨年本番環境のComposerでやらかしちゃった人です。今年は比較的平穏に機械学習を使用したサービス開発・運用に携われています。 携わっているサービスの1つで「MLOpsに必要な情報BigQueryに全部おいてみた」ところ想像以上に便利だったので、その方法について共有させてい頂ければと思います。 なお本記事でのMLOpsは 予測モデル/ハイパーパラメータのバージョン管理・デプロイ履歴管理 推論結果の精度監視 + 入力データの傾向監視 を指しています。 特に今年はコロナでビジネス環境が日々絶えず変化しているため、これらの施策がサービス品質担保に大きく貢献してくれました。 背景 毎日一回24時間先までバッチで未来予測し、結果をAPIサーバーにキャッシュする単純なMLサービスに携わっています。なお、予
機械学習／データサイエンスに活用できる「政府系」オープンデータセット3選
日本の政府系のオープンデータで一番有名なのが「e-Stat」である。統計学やデータサイエンスに携わるもの／学ぶものであれば、名前は聞いたことがあるだろう。かつては各省庁がバラバラに管理＆公開していた公的データを、一カ所に集めて誰でも簡単に利用できるようにしたサイトである（2008年から運用が開始され、2018年にリニューアルされた）。 統計分野は多岐にわたり、「国土・気象」「人口・世帯」「労働・賃金」「農林水産業」「鉱工業」「商業・サービス業」「企業・家計・経済」「住宅・土地・建設」「エネルギー・水」「運輸・観光」「情報通信・科学技術」「教育・文化・スポーツ・生活」「行財政」「司法・安全・環境」「社会保障・衛生」「国際」「その他」という17分野が提供されている。データセットは、条件指定によるフィルタリングやグラフ化が行える。例えば人口ピラミッドのグラフも簡単に作成できる。 また、もちろん無
ディープラーニング技術を用いたエッジコンピュータによる高速な画像認識ソリューション | マシンビジョン大全｜FA（ファクトリーオートメーション）用途で活用する事例を紹介するウェブメディア | マシンビジョン大全｜FA（ファクトリーオートメーション）用途で活用する事例を紹介するウェブメディア
株式会社日立ソリューションズ・テクノロジー（旧：日立超LSIシステムズ）（以下、当社）は、独自のディープラーニング技術を用い、単眼カメラの入力画像から自動車、人物、白線などの物体を検出し、物体までの距離を測距する技術を開発した。これを用いた「画像認識ソリューション」を2018年6月より提供開始している。 安価な小型の組込み向けGPU（Graphics Processing Unit）モジュール（Jetson TM TX2）と単眼カメラを組み合せ、リアルタイムな物体検出および測距を実現し、高度な認識技術を必要とする人工知能型アプリケーション開発を支援していく。 開発の経緯 近年、人工知能による映像・画像の解析技術や、ディープラーニングによる人に近い視認性をもつ画像認識技術は、周辺環境の安全性把握や障害物検知などが必要とされる監視カメラ、自動運転やロボティクスなどの様々な分野で実用化されている
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
