著者: 伊藤 雅博, 株式会社日立製作所 はじめに 機械学習システムを継続的に運用するための取り組みとしてMLOps (Machine Learning Operations)が注目を集めています。MLOpsの運用サイクルの1ステップとして、機械学習を利用したいシステムに対して、機械学習モデルを用いた予測機能を提供するサービング（Serving）があります。 サービングは、データサイエンティストが作成した機械学習モデルを本番環境へ導入する際に、必ず求められる要件です。本投稿では、機械学習システムの全体像とサービングの位置づけ、およびサービングシステムの構成を紹介します。 機械学習システムの全体像 MLOpsを考慮した機械学習システムの例を以下の図に示します。 図の機械学習システムは、下記5つのサブシステムから構成されます。 1. データ整備システム データ整備システムでは、機械学習に必要な

「AIが出した結果の精査に数日かかる」という課題を解決　東芝と統数研が不良原因解析AIを開発：現場技術者の知見を反映可能に 東芝と情報・システム研究機構の統計数理研究所は、半導体工場などに向けた不良原因解析AI「Transfer Lasso」を共同開発した。従来、数日かかっていた解析結果の精査が1日で済むようになるという。

1.データのダウンロード無料トライアルでログインすると、この画面になります。 左側のサンプルデータを選択すると、学習用と予測用のデータをダウンロードできます。今回は、予測用のデータのコンパージョンが1となる確率を予測するモデルを作成します。 2.モデルの作成ホームに戻り、モデルの追加を選択すると、この画面になります。 学習用のデータをアップロードし、目的は分類を選択します。 今回は、コンバージョンの確率を予測するので、予測対象をコンバージョン、分析対象はそれ以外のデータを選択します。 次に進むと、さまざまな分析のオプションを選択できます。今回はすべて初期の設定のままにします。 最後は確認画面となります。問題なければ「モデルを作成」をクリックします。 3.予測するモデルの学習が終わると、ホームに作成したモデルが現れるので、選択します。 このように学習結果の詳細を見ることができます。ここで、モ

2010年代から始まった第3次AIブームは、その勢いにかげりが生じているのではないかという批判を受けながらも、大局的には現時点でも進行していると言えます。その一方でAIによる差別や監視、さらにはAIによる労働代替が引き起こす失業への懸念といった新しいAI社会問題も注目されるようになりました。 AI社会問題を根本的に解決するには、「AIは社会と歴史にどのような影響を及ぼすのか」というAIに対する深い洞察が必要となるはずです。 近年注目されているAI思想家たちは、AIに対する深い洞察を独自に展開しています。AI思想家たちが説くアイデアのなかにAI社会問題を根本的に解決する糸口があるはずです。 前編・後編から構成されるこの記事の前編では、世界的に著名な4人のAI思想家たちの思想を整理したうえで、4人の思想家たちの立ち位置を俯瞰できる「AI思想マップ」を提示します。 なお、以下の各思想家の解説は独

[Amazon SageMaker Clarify] 機械学習モデルの解釈可能性・公平性を確認できるSageMakerの新機能を使ってみた #reinvent こんにちは、Mr.Moです。 現在開催中のre:Invent 2020では次々と新しいサービスや新機能の発表がされています。その１つに「Amazon SageMaker Clarify」というSageMakerの新しい機能があります。こちらはブラックボックスになりがちな機械学習のモデルの解釈可能性・公平性を明らかにする際の支援をする機能です。さっそく実際に使いながら見ていきたいと思います。 なお、下記の速報記事とまとめ記事もありますのであわせてご覧いただければと思います。 Amazon SageMaker Clarifyとは？ Amazon SageMaker Clarify は、潜在的なバイアスを検出し、モデルが行う予測の説明を支

せーのでございます。 現在AWS re:InventではMachine Learningのキーノートが行われています。 キーノート内では機械学習に関する様々なAWSサービスが発表されました。 このブログではその中からバイアスの特定やモデルに対してのデータの寄与値を可視化するサービス「Amazon SageMaker Clarify」を速報でご紹介します。 機械学習はモデルの説明が大変 機械学習は大量のデータをサーバーが学習することで「モデル」が作成されます。そのモデルに対して新しいデータを与えると、学習結果からモデルが予測値を返す、というものです。 ここで問題になるのは「どうしてそのモデルがその予測結果をはじき出したのか」がわかりにくい、ということです。 モデルの動作を説明できない、ということはそのモデルが正しく動いているのか、も説明しにくいことになります。つまり、このモデルがうまく動いて

1 はじめに CX事業本部の平内（SIN）です。 AWS re:Invent 2020で発表されたAmazon SageMaker JumpStart（以下、JumpStart）は、TensorFlow Hub や PyTorch Hub に公開されているモデルをGUIから簡単にデプロイして利用できてしまう凄い機能です。 ここDeveiopers.IOでも既に、データアナリティクス事業本部の貞松さんによって、ResNet18で画像分類をやってみたブログが公開されています。 そして、JumpStartでは、既存のモデルをデプロイするだけでなく、自前で用意したデータでファインチューニングもできてしまうとの事です。 という事で、私も試してみました。 Vision関連のモデルを眺めてみると、まだ、Object Detectionで、ファインチューニングに対応しているものが見つからなかったので、Im

Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？【2020年12月版】RaspberryPiTensorflowLitexnnpack 1. はじめに 今から半年前の2020年6月、ラズパイ４上でTensorFlow Liteを使った様々なAI認識アプリを動かしてみて、その動作速度をまとめました。 当時のTensorFlowはバージョン2.2でしたが、現在は 2.4(rc4) へと進んでいます。進化が極めて速いDeepLearningの世界において、この半年間でTensorFlow Liteはどう変化したでしょうか。もし「手持ちのアプリは何も変えてないのに、TensorFlow Liteを新しくするだけでめっちゃ速く動くようになったぜ」というのだと嬉しいですよね。 本記事では、前回計測に用いたアプリを再び最新版のTensorFlow Lite環

HIRANO@おんせん県おおいたです みんな、温泉入ってますかー？　（挨拶 re:InventのMachine LearningキーノートでAmazon Neptune MLが発表されましたので、紹介します。 Amazon Neptune とは Amazon Neptuneはグラフ構造に特化したマネージドデータベースです。グラフ構造とは、ノードとノードの関係性を表現するデータ構造です。例えば、SNSの各ユーザがノードで、フォーロが関係性になります。つまり大規模で複雑なネットワーク構造をデータベースに格納、検索できるのがAmazon Neptuneになります。 大規模なネットワーク構造から、目的のものを検索することは簡単です。例えば、Aさんのフォロワーの一覧を取り出すことは簡単にできます。しかし、ネットワーク構造を俯瞰的に見て何か新しいパターンを見つける、というのは人間による作業が必要でした

％ git clone https://github.com/tanreinama/gpt2-japanese Cloning into 'gpt2-japanese'... remote: Enumerating objects: 91, done. remote: Counting objects: 100% (91/91), done. remote: Compressing objects: 100% (60/60), done. remote: Total 132 (delta 40), reused 79 (delta 30), pack-reused 41 Receiving objects: 100% (132/132), 1.19 MiB | 1.35 MiB/s, done. Resolving deltas: 100% (59/59), done. ％ ％ cd gp

棒グラフについて「書くときの注意点」「棒グラフの種類」「どういったデータが棒グラフに向いているか」「実際の棒グラフのデザイン」などを画像を使ってわかりやすくまとめました✨ さくっと書きたい人は「棒グラフの種類」から読むことをおすすめします。いろいろな棒グラフのデザインがあるので、気に入ったグラフをまねして使ってね。 しっかり考えて書きたい人は、「棒グラフを書くときの注意点」を読めば、伝わる棒グラフの作り方がわかるとおもいます💡 棒グラフを書くときの注意点・棒グラフは使いやすい無難なグラフ シンプルで正確なグラフだけを考えるなら、棒グラフは簡単なグラフです🥇 エクセルの初期設定でもフォントを変えれば無難な棒グラフは簡単に作成できます。 円グラフは真面目に作ってもわかりにくいグラフはできるが、棒グラフは意図的に見る人を欺こうとしない限りわかりにくいグラフにはなりにくいです。 ただし、完成し

Amazon Web Services ブログ Amazon SageMaker JumpStart で事前構築済みモデルと機械学習ソリューションへのアクセスを簡素化する 本日、Amazon SageMaker の新機能である Amazon SageMaker JumpStart の提供を開始したことを発表します。人気の高いモデルのコレクション (別名「モデルズー」) および一般的なユースケースを解決するエンドツーエンドのソリューションに、ワンクリックでアクセスして機械学習ワークフローを高速化することができます。 近年、機械学習はビジネスプロセスの改善と自動化に役立つ技術であることが証明されています。実際、過去データでトレーニングされたモデルは、金融サービス、小売、製造、通信、ライフサイエンスといった幅広い業界において結果を高精度に予測できます。しかし、これらのモデルの使用には、データセッ

電通デジタルでデータサイエンティストをしている中嶋です。 前回の記事は「Airflow 2.0でDAG定義をよりシンプルに！TaskFlow APIの紹介」でした。 Advent Calendar 10日目となる本記事では因果探索の一手法であるLiNGAM(Linear Non-Gaussian Acyclic Model)の解説及び、Google Colabでの分析例について紹介します。 因果探索とは最近のトレンド 最近、広告配信やマーケティング分析の文脈で施策の効果を適切に評価する手法として実験計画法や因果推論が注目を浴びています。産業界でも株式会社ソニーコンピュータサイエンス研究所、クウジット株式会社、株式会社電通国際情報サービスの三社が提供するCALCという要因分析ツールや、最近はNECの因果分析ソリューション causal analysisも出ていたりと盛り上がりを見せています。

Kaggle Advent Calender2020の 11日目の記事です。 昨日はhmdhmdさんのこちらの記事です! 2020年、最もお世話になった解法を紹介します - Qiita 明日はarutema47さんの記事です! (後ほどリンクはります) 本記事では、深層学習プロジェクトで使用すると便利なライブラリ、 Pytorch-lightningとHydraとwandb(Weights&Biases)について紹介したいと思います。 対象読者 Pytorchのボイラープレートコードを減らせないか考えている 下記ライブラリについては聞いたことあるけど、試すのは億劫でやってない 書いてあること 各ライブラリの役割と簡単な使い方 各ライブラリを組み合わせて使う方法 各ライブラリのリファレンスのどこを読めばよいか、更に勉強するにはどうすればよいか また、上記3つのライブラリを使用したレポジトリを

まえがき プレイ時間200時間にして念願の初ソロドン勝を達成しもう思い残すことはないR&Dチームの宮﨑です。 ちょうど一か月ほど前の11/13にPyTorch Mobileが(プロトタイプですが)Android NNAPIをサポートというアナウンスがありました。公式によると10倍高速化されたケースもあるとのことで、さっそくチュートリアルのベンチマークを走らせてみました！ OPTiM TECH BLOG Advent Calendar 2020 12/14の記事です。 まえがき PyTorch Mobileとは NNAPIとは PyTorch MobileをNNAPIに対応させる手順 NNAPIの性能計測までの流れ ベンチマーク結果 最後に PyTorch Mobileとは 対応する演算子の豊富さや書きやすさなどから人気を誇るPyTorchですが、ここ最近はPyTorchモデルをC++/Mo

SIGGRAPH ASIA 2020は、すべてオンラインで開催SIGGRAPHはコンピュータグラフィックスとインタラクティブ技術に関する学会・展示会であり、毎年7月から8月にかけて北米で開催されています。今年は新型コロナウイルスの影響でオンライン開催されました。それにひき続き、毎年冬季に開催されるアジア版SIGGRAPHであるSIGGRAPH ASIA 2020も今年はすべてオンラインで開催されました。毎年アジアの各地で持ち回りで開催されていたSIGGRAPH ASIA、今年は、韓国の大邱（テグ）にて11月に開催予定でした。 ・SIGGRAPH ASIA 2020 開催概要 ・CGへの扉 Vol.9：現実の課題を解決するCGとAIの相互作用（昨年の SIGGRAPH ASIA 2019 紹介記事） 録画済みのセッションは2020年12月4日よりオンライン視聴開始、参加気分が盛り上がりつつあ

はじめに この記事は強化学習苦手の会Advent Calenderの12日目の記事です。 私は11月末までKaggle上で開催されていたGoogle Research Football with Manchester City F.C.に参加していました。このコンペはGoogle Researchが用意したサッカーゲーム上でサッカーエージェント(プレイヤー)を作成し、その強さを競うというものです。 私はhigeponさんとチームを組ませていただき、強化学習アプローチでコンペ開催から終了まで取り組みました。そこでサッカーエージェントを強化学習で育成する際に工夫した点や苦労した点を共有できればと思います。 kaggle: Google Research Football competition www.kaggle.com GitHub: Google Research Football gi

この記事はOpenCV Advent Calendar 2020の12日目の記事です。 他の記事は目次にまとめられています。 対象者 以下みたいな作業依頼を受けることのある人。 つまり、デザインに予算はつかないけど、ある程度の工夫を求められるやつ。。。 上長「部内とかで見せるちょっとしたデモをパパッと作って欲しい」 高橋「デザインは○○さんか、△△社さんにお願いします？」 ※○○さん：デザイン会社から派遣で来ているデザイナーさん ※△△社：デザイン会社 上長「今回、デザインに出すお金は無い」 高橋「What？」 高橋「それじゃ、見た目は気にしな」 上長「偉い人も見る可能性あるからソレっぽくしといてもらわないと困る」 高橋「短い間ですが、お世話になりました」 Flaskとか立てて、UI作る人とデザイナーと役割分担出来るようなプロジェクトは対象外 はじめに OpenCVとかPillowで出来る

AI開発のハードルは低い、コロナ禍に対応する混雑検知システムの開発に学べ：AIアプリケーション開発 注目を集めるAIだが、その開発は容易ではないイメージが強い。しかし、実際にはオープンソースソフトウェアやさまざまなツールを活用することにより、複雑なプログラミングなどを行わなくてもAIアプリケーションを開発できる環境は既に整っている。技術商社のマクニカが開発した「コロナ対策混雑検知システム」はそのことを端的に示す事例になっている。 製造業が活用を推し進めているデジタル技術の中でも最も注目を集めているのがAI（人工知能）だろう。特に、画像データを活用するAIについては、GPUをはじめとするパワフルなデバイスの登場によって急速に技術が進歩したこともあり、新たな可能性として期待されている。ただし、これら新しい技術の取り込みは容易ではないイメージが強く、そういった心理的障壁が導入に向けたハードルにな

画像はUnsplashより 東日本旅客鉄道（JR東日本）の連結子会社で、JR東日本リテールネットの完全子会社の株式会社JR東日本ウォータービジネスは12月9日、自販機の売上増加と飲料補充業務効率化を目的に、オーストラリア拠点のHIVERY社が提供するシステム「HIVERY Enhance」を本格導入すると発表した。 「HIVERY Enhance」は、JR東日本ウォータービジネスが保有するPOSデータを活用することで、「どの商品をどの自販機に、どのタイミングで交換すれば良いか」を導き出し、最適な自販機の商品ラインナップをオペレーターに提案する。オペレーターは人工知能（AI）システムを参考に補充作業をすることで、効率的に売上につながる商品提供が可能になるという。 具体的には、「HIVERY Enhance」を活用することで、売り上げ傾向が類似した自販機のデータから、対象自販機で新たに投入すべ

創業からわずか2年7カ月で東証マザーズにスピード上場したスタートアップがある。人工知能（AI）を用いた画像解析でスマートシティ構想に取り組む、ニューラルポケットだ。 2020年8月にIPOし、20年12月期第3四半期の決算では、売上高前年同期比104%成長、7期連続増収・増益を記録した。代表取締役社長の重松路威は今後、どのような戦略を描いているのか。 ──ユニコーン（未上場企業で評価額1100億円以上）企業に代表されるように未上場時に大きく成長してからIPOすることが流行する中、なぜ、創業3年以内に上場したのか。 創業時（2018年1月）から、我々の事業領域であるAIは10年以内に「世界の勢力図」が決まると思っていた。インターネット領域で、検索エンジンがグーグルに標準化・統一されるまで10年程度だった時間軸と同様と言えるのではないか。現在、AIをめぐる競争環境は、GAFAMやアリババ、テン

講義のオフィス・アワーの余談

本記事はMLOps Advent Calendar 2020の13日目の記事です。 こんにちは。昨年本番環境のComposerでやらかしちゃった人です。今年は比較的平穏に機械学習を使用したサービス開発・運用に携われています。 携わっているサービスの1つで「MLOpsに必要な情報BigQueryに全部おいてみた」ところ想像以上に便利だったので、その方法について共有させてい頂ければと思います。 なお本記事でのMLOpsは 予測モデル/ハイパーパラメータのバージョン管理・デプロイ履歴管理 推論結果の精度監視 + 入力データの傾向監視 を指しています。 特に今年はコロナでビジネス環境が日々絶えず変化しているため、これらの施策がサービス品質担保に大きく貢献してくれました。 背景 毎日一回24時間先までバッチで未来予測し、結果をAPIサーバーにキャッシュする単純なMLサービスに携わっています。なお、予

- はじめに - luigi、gokartで作ったtaskのパイプライン構築をちょっと楽にする（かもしれない）管理するためのツールを作った。 github.com 近年、MLOpsの一部である機械学習のためのパイプラインを構築するためのツールは飽和状態にあるけどそれらと比較してどうなのという話も書く。 - はじめに - gokart-pipelinerを使ってみる gokartの良さ gokart-pipelinerの意義 パラメータとパイプラインが密結合しすぎ パイプラインライブラリなのにやればやるほどrequiresメソッドが複雑になる jupyter notebookと行き来するのがダルい future work おわりに gokart-pipelinerを使ってみる gokartはエムスリー株式会社が開発している機械学習パイプラインOSSである。gokart自体、使った事がないし興

リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら エンジニアの秋庭です。 本記事では、Pythonのバッチ処理フレームワークLuigiの紹介をしつつ、読みやすいデータ処理の実装について書いていきます。 さて、本記事を書くに至った理由ですが、分析コードのリファクタリングに苦労した経験からです。具体的には、 データ処理に必要なファイルや処理の依存関係がわからない 分析用の自作クラスや関数の使い方がわかりづらい などなどです。 上記のようなちょっと管理が難しいコードが生まれてしまうのは、「試験的な運用だから…」とか「2週間しか動かさないコードだから…」 とか大人の事情があったりする場合もありますが、とにかくコードがきれいなことに越したことはありません。 また、さまざまな開発ツールやフレームワーク

ライブラリの紹介ページや GitHub のリポジトリで登場する「割と見るけど意味はよくわからない単語」をまとめてみました 誤りがあればガンガン指摘してもらえると助かります opinionated 意味をググると「[形容詞] 自説を固執する」という謎の和訳が出てきて理解を諦める方もいるんじゃないでしょうか opinionated については色々な記事で紹介されています https://qiita.com/baby-degu/items/7dc4548bf7befc2671f4#opinionated%E3%81%A8un-opinionated https://stackoverflow.com/questions/802050/what-is-opinionated-software プログラミングの文脈に落とし込むと「ライブラリやフレームワークが定義したやり方に利用者（プログラマ）を従わ