Scikit-Learn でモデルカードを作成してクラウドにデプロイする方法 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 機械学習モデルは、多数の難しいタスクを遂行するために使用されるようになりました。大きな可能性を秘める ML モデルですが、その使用方法、構成、制限に関して疑問も寄せられています。そうした疑問に対する回答を文書化することで状況が明確になり、共通の理解を得ることができます。これらの目標を達成するために、Google はモデルカードを導入しました。 モデルカードの目的は、機械学習モデルの全体像を簡潔に提供することです。まず、モデルカードはそのモデルの機能、意図するユーザー層、その管理者について説明します。また、アーキテクチャや使用されているトレーニング データなど、モデルの構成に関する情報も提供します。さらに、生のパフォーマンス指標だけでなく、モデルの制限とリスク緩和の機会
データサイエンス100本ノックを、Google ColabとAzure Notebooksで気軽に行いたい！ - Qiita
データサイエンス100本ノックを、Google ColabとAzure Notebooksで気軽に行いたい！PythonAzureデータサイエンス100本ノックGoogleColaboratory はじめに 2020年6月15日に、データサイエンティスト協会より発表されました「データサイエンス100本ノック（構造化データ加工編）」の素晴らしさに感動した私は早速ドリルを解き、めくるめくデータサイエンスの大冒険をエンジョイしていた。 しかし、ふと気づくとOriginalのデータサイエンス100本ノック（構造化データ加工編）はDocker形式で提供されており、実践的な演習が可能である一方でお手軽感はかった。同じ思いの人も数多く存在すると考え、より気軽に100本ノックするためにGoogle ColabとAzure Notebookで実行可能な演習スクリプトと解答編スクリプトを作成した。なお、作成者
『効果検証入門』がアプリケーション開発エンジニアにとって得る物が多い本だった
読みました。アプリケーション開発エンジニア視点で読んで同僚に勧められる素晴しい内容でした。本稿はエンジニア視点のレビューになります。 効果検証入門〜正しい比較のための因果推論／計量経済学の基礎 技術評論社 (2019/1/18) 安井 翔太 (著), 株式会社ホクソエム (監修) Kindle版/紙版両方あり 目次と構成 序 嘘っぱちの効果とそれを見抜けないデータ分析 1章 セレクションバイアスとRCT 2章 介入効果を測るための回帰分析 3章 傾向スコアを用いた分析 4章 差分の差分法（DID）とCausalImpact 5章 回帰不連続デザイン（RDD） 付録 RとRStudioの基礎 終 因果推論をビジネスにするために まず効果検証とは何かという導入と共にビジネスの現場でありがちな誤りのある検証について解説があります。この誤りの原因となるセレクションバイアスと理想的な比較方法であるラ
機械学習モデルを構築するときに考えることと、全体の流れ - まずは蝋の翼から。
初の機械学習プロジェクトを仕事でおこなった。その際に、各プロセスでこういう部分をみたり考えたりした方が良さそうだと思ったことをまとめる。 なお、機械学習プロジェクトの話は「仕事ではじめる機械学習」をはじめとして既に色々なところで議論されている*1。しかし、いくつか読んだがマクロな話が中心だったので、どちらかというとミクロ部分の機械学習モデルを構築する という部分を中心に書く。 なお、経験者から指摘されたり教えられた点を1度機械学習プロジェクトをやっていったんまとめただけなので、今後追加・修正される暫定版なことに注意。 ワークフロー 機械学習プロジェクトのワークフローはざっくりと以下のようになる。 1. 要件を定める やることとしては、 目的 スケジュール 期待値 どの程度の精度ならよいか どのようなアプローチを取るか を決める。 このあたりの話は、前述のように「仕事ではじめる機械学習」など
機械学習システムの設計パターンを公開します。
メルカリで写真検索とEdge AIチームに所属している澁井（しぶい）です。機械学習のモデルを本番サービスに組み込むための設計やワークフローをパターンにして公開しました。 GithubでOSSとして公開しているので、興味ある方はぜひご笑覧ください！ PRやIssueも受け付けています。私の作ったパターン以外にも、有用なパターンやアンチパターンがあれば共有してみてください！ GitHub：https://github.com/mercari/ml-system-design-pattern GitHub Pages：https://mercari.github.io/ml-system-design-pattern/README_ja.html なぜ機械学習システムのデザインパターンが必要なのか 機械学習モデルが価値を発揮するためには本番サービスや社内システムで利用される必要があります。そのた
Microsoft Research、データ可視化アプリケーション「SandDance」をGitHubに
Microsoft Researchは現地時間10日、データ可視化Webアプリケーション「SandDance」をOSS化し、新たにJavaScriptやReactで動作する形でGitHubに公開したことを公式ブログで発表した。 公式ブログより 「SandDance」は、Microsoft ResearchのSteven Drucker(スティーブン・ドラッカー)氏とRoland Fernandez(ローランド・ヘルナンデス)氏が開発を率いるWebベースで動作するBIツールで、2011年の発表以来、機能向上を重ねている。公式Webには数千から数万の単位を持ついくつかのサンプルデータソース(BabyNames、CofeeSales、Colleges、DemoVote、Sales、Titanic)が設置されており、グリッド、コラム、分布(Scatter)、密度(Density)などのアイコンをク
Google、「差分プライバシーライブラリ」をGitHubで公開
米Googleは9月5日（現地時間）、自社サービスの強化に使っている「differential privacy library」（差分プライバシーライブラリ）のオープンソース版をGitHubで公開した。 差分プライバシーを使うデータ分析は、個人データが識別されないようにしながら大規模なデータセットから学習できるようにするアプローチ。分析の結果から個人データを再識別することもできないよう保護できる。例えばヘルスケア分野で、様々な病院の患者の入院平均時間を比較したい場合、患者を個人として特定できない状態でデータを利用できる。 ライブラリはほとんどの一般的なデータサイエンス操作をサポートし、プライバシー保護を確実にするための「確率的差分プライバシーモデルチェッカーライブラリ」を含み、集約機能、プライバシー予算管理などの拡張用モジュールもある。 Googleは、例えばGoogleマップで検索したレ
Jubatus : オンライン機械学習向け分散処理フレームワーク — Jubatus
Jubatus : オンライン機械学習向け分散処理フレームワーク¶ Jubatusは「分散したデータ」を「常に素早く」「深く分析」することを狙った分散基盤技術です。 Jubatusの名前の由来は、俊敏な動物であるチータの学術名からの命名で、「ユバタス」と読みます。株式会社Preferred NetworksとNTTソフトウェアイノベーションセンタが共同開発した、日本発のオープンソースプロダクトです。 最終的に全ての人にスケーラブルなオンライン機械学習フレームワークを提供することがJubatusの目標です。 Jubatus は以下の特徴を持ったオンライン機械学習向け分散処理フレームワークです。 オンライン機械学習ライブラリ: 多値分類、線形回帰、推薦（近傍探索）、グラフマイニング、異常検知、クラスタリング 特徴ベクトル変換器 (fv_converter): データの前処理と特徴抽出 フォルト
あなたのAIスキルはあなたが思っているよりも価値がない【後編】 | AI専門ニュースメディア AINOW
著者のRic Szopa氏は、GoogleにAIエンジニアとして勤務した後に独立して、現在はポーランドでAIソフトウェアを開発するMicroscopeITのCTOを務めています。同氏が英文長文記事メディアMediumに投稿した記事では、AIビジネスにおけるAIスキルの価値を分析したうえで、AIスタートアップが生き残る戦略が解説されています。 AIスキルの習得には高度な数学的知識と最先端の技術動向を理解することが求められることから、AIスキルの保有は一種のステータスとなっています。しかし、同氏はAIスキルの価値は時間の経過とともに低くなると説きます。なぜなら、Googleをはじめとした巨大プラットフォーマーがAI技術を簡単に活用できる環境を急速に整備しているからです。また同氏は、AIモデルの性能はそれを開発するAIスキルよりもモデルが学習するデータに左右されるところが大きいことも指摘します。
なぜデータサイエンスのゼネラリストになるべきではないのか | 人工知能ニュースメディア AINOW
著者のJeremie Harris氏は、データサイエンティスト志望者が職に就くまで助言を行うメンターシップ・サービスを提供するスタートアップSharpestMindsの共同設立者。同氏が英文長文記事メディアMediumに投稿した記事では、データサイエンティスト志望者が目指すべきキャリアパスについて論じられています。 現在「データサイエンス」という言葉で語られる内容は広範囲にわたる一方で、データサイエンスをビジネスに活用したい企業はそれぞれ個別的な問題を抱えています。こうした現状をふまえて、同氏はデータサイエンティスト志望者に「どんなデータサイエンティストになりたいのか」ということを第一に考えることをすすめています。というのも、漠然とデータサイエンスに関して何でも知っている人材より、企業が抱えている具体的な問題を解決する専門的なスキルを持っている人材のほうが雇用のチャンスに恵まれるからです。
「AI・データの利用に関する契約ガイドライン」を策定しました （METI/経済産業省）
経済産業省は、民間事業者等が、データの利用等に関する契約やAI技術を利用するソフトウェアの開発・利用に関する契約を締結する際の参考として、契約上の主な課題や論点、契約条項例、条項作成時の考慮要素等を整理した「AI・データの利用に関する契約ガイドライン」を作成し、あわせて、本ガイドライン（案）に対する意見募集の結果を取りまとめました。 1．背景・経緯 IoTやAI等の技術革新によってデータが爆発的に増加するに伴い、事業者間の垣根を超えたデータ連携により、新たな付加価値の創出や社会課題の解決が期待されています。他方で、データやAI技術を巡っては、契約実務の蓄積が乏しいこと、あるいは当事者間の認識・理解のギャップがあること等により、契約の締結が進まないという課題があります。 こうした課題に対し、経済産業省では、2017年5月に「データの利用権限に関する契約ガイドラインVer1.0」を策定しました
機械学習システムにおける「技術的負債」とその回避策 - Qiita
はじめに 空前のAIブームだった2017年、Yahooニュースでは毎日のように『〇〇が△△のAIを開発』のような見出しが目立ちました。2018年は『AIの運用』の時代になるとも言われています。 しかし、AI（機械学習）を載せたシステムの開発・テスト・運用の方法は2018年4月現在、まだ確立されていない分野です。 今回は、技術的負債という観点から、機械学習システム特有の課題点とその回避策のヒントまとめたGoogleの論文 Machine Learning: The High Interest Credit Card of Technical Debt (2014) を翻訳します。Google翻訳+軽い手作業ですのでご留意を。 ちなみにタイトル『機械学習：技術的負債の高金利クレジットカード』の意味は、機械学習システムがまるで高金利のクレジットカードのように、気づかないうちに技術的負債を蓄積して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction
GitHub - soulmachine/machine-learning-cheat-sheet: Classical equations and diagrams in machine learning
Data Platform構築プロジェクト推進の事例と学び
Learning Machine Learning | Cloud AI | Google Cloud
メルカリ写真検索における Amazon EKS の活用事例と
プロダクトにおけるEdgeAI technologyの展望
データ分析基盤Crois
Cogent Labs
リダイレクトの警告