Underspecification Presents Challenges for Credibility in Modern Machine Learning
ML models often exhibit unexpectedly poor behavior when they are deployed in real-world domains. We identify underspecification as a key reason for these failures. An ML pipeline is underspecified when it can return many predictors with equivalently strong held-out performance in the training domain. Underspecification is common in modern ML pipelines, such as those based on deep learning. Predict
Microsoftが「ML.NET 1.5.2」を公開、.NET開発者向け機械学習フレームワーク
Microsoftが「ML.NET 1.5.2」を公開、.NET開発者向け機械学習フレームワーク：ONNXエクスポートなどの機能も強化 Microsoftは、.NET開発者向けのオープンソース機械学習（ML）フレームワークの最新版「ML.NET 1.5.2」を公開した。Model Builderツールで「Azure ML」を使ってオブジェクト検出モデルをトレーニングできるようになった他、ML.NET CLIで画像分類モデルをローカルでトレーニングすることも可能になった。 Microsoftは2020年9月25日（米国時間）、オープンソースの.NET開発者向けクロスプラットフォーム機械学習（ML）フレームワークの最新版「ML.NET 1.5.2」を公開した。 ML.NETでは、.NETエコシステムから離れることなく、MLやデータサイエンスの経験が乏しい開発者でも、.NETアプリケーションにM
タスクやモデルに依存しない新しい正則化手法: Flooding
3つの要点 ✔️ 損失関数/入力空間/タスク/モデルに依存しない新しい正則化手法（flooding）を提案 ✔️ 「training lossが0になるまで学習し続けると汎化性が低下する」という自然な仮定に基づく ✔️ floodingを使った副次的な効果として、早い段階（epoch数100前後）でdouble descentという現象が確認できる Do We Need Zero Training Loss After Achieving Zero Training Error? written by Takashi Ishida, Ikko Yamane, Tomoya Sakai, Gang Niu, Masashi Sugiyama (Submitted on 20 Feb 2020) Comments: Published by arXiv Subjects: Machine Le
ハイパラ管理のすすめ -ハイパーパラメータをHydra+MLflowで管理しよう- - やむやむもやむなし
機械学習をやっている人なら誰もが遭遇したであろうこの光景 (※写真はPyTorchのLanguage ModelのExampleより) Pythonのargparseでシェルから引数を受け取りPythonスクリプト内でパラメータに設定するパターンは、記述が長くなりがちな上、どのパラメータがmodel/preprocess/optimizerのものなのか区別がつきにくく見通しが悪いといった課題があります。 私は実験用のパラメータ類は全てYAMLに記述して管理しています。 YAMLで記述することでパラメータを階層立てて構造的に記述することができ、パラメータの見通しがぐっとよくなります。 preprocess: min_df: 3 max_df: 1 replace_pattern: \d+ model: hidden_size: 256 dropout: 0.1 optimizer: algo
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub｜Webエンジニアのキャリアを考える！
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング 実践とともに、データサイエンスに入門しよう！敷居が高いと思われがちなデータサイエンスですが、データの前処理からの手順は意外とシンプルです。本記事では、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、基本的な知識をサンプルコードと図表を見ながら学びます。 データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事内では、新米データサイエンティストのOさんが登場して、ある案件のデータ分析を担当します。読者のみなさんも、ぜひOさんと一緒
特徴量と目的変数の関係性を可視化する（sklearnを使ってpartial dependenceを可視化する） | DevelopersIO
概要 当エントリは『機械学習 on AWS Advent Calendar 2019』の20日目のエントリです。 クラスメソッド 機械学習 on AWS Advent Calendar 2019 - Qiita クラスメソッド 機械学習 on AWS Advent Calendar 2019 ｜ シリーズ ｜ Developers.IO 先日、sklearnのversion「0.22」のリリースハイライトを見ていて「plot_partial_dependence」というAPIが気になり調べてみたので、結果をレポートします。 本エントリーの内容をざっくり言うと、「目的変数と特徴量の関係性」を可視化する際に便利なAPIである「plot_partial_dependence」が「sklearnの version0.22」でリリースされたのでその内容のレポートと、というものになります。 目的変数と
機械学習の説明可能性（解釈性）という迷宮 - 渋谷駅前で働くデータサイエンティストのブログ
ちょっと前に、しょうもないことを某所で放言したら思いの外拡散されてしまいました。 機械学習の説明可能性（解釈性）、大半のケースで求められているのは厳密な分類・回帰根拠ではなく受け手の「納得感」なので、特に実ビジネス上は説明可能性に長けたモデルを開発するより、納得できないお客さんを巧みに関係性構築した上で口八丁で完璧に説得できる凄腕営業ピープルを雇う方が重要— TJO (@TJO_datasci) 2019年11月23日 これ自体は与太話なので実際どうでも良い*1のですが、最近色々な研究や技術開発の進展はたまた実務家による考察などを見ていて、「機械学習の説明可能性（解釈性）というのは思った以上に複雑な迷宮だ」と感じることがままあったのでした。 ということで、今回の記事では僕のサーベイの範囲でザッと見て目についた資料などを超絶大雑把にリストアップした上で、主に実務における説明可能性とは何かとい
AutoMLがすごいと聞いたので色々使って比べてみた - Qiita
○：良好 ▲：実施しているが、表示不能 △：一部可能 ×：実装されていない or 良好ではない 4.2. Google/AutoML Tables 統計・機械学習に詳しくない方をターゲットにしていると感じました。 統計情報の表示画面・モデルの評価画面ともに説明が丁寧で、知識が少なくともある程度の結果を出せるように作られていると感じました。 一方、データの読み込みや処理などに癖が強いためこのサービスを含めたgoogle cloud platformへの知識は必要になりそうです 良い点 統計情報の表示画面が非常に優秀 ヘルプが充実しているため、モデルの評価が容易 悪い点 データ形式の制約が多い(行数1000行以上、分類ならクラスごとに20以上必要など) モデルの内部構造(採用した手法)が分からない 分析ページのサンプル画像 データの種類を自動判別してくれる他、欠損や固有値、各種統計情報を自動計
【Python】 機械学習の可視化が捗るライブラリ「Yellowbrick」 - フリーランチ食べたい
機械学習Podcast「TWiML＆AI」で先週取り上げられた可視化ライブラリ「Yellowbrick」が非常に便利だったので紹介します！ちなみにPodcastには作者の1人であるRebecca Bilbroさんが出演しているので興味持った方は是非聞いてみてください。 twimlai.com www.scikit-yb.org Yellowbrickとは 一言で言うと、機械学習に特化した可視化ライブラリです。実装的な面で言うと(こちらの方がわかりやすいかもしれません)、scikit-learnとmatplotlibをラップして、scikit-learnライクなAPIで使うことができるものです。 例えば相関行列のヒートマップをプロットしたい場合は次のように書くだけでグラフを作ることができます。 visualizer = Rank2D(features=features, algorithm=
p進機械学習の紹介 - Qiita
機械学習ではデータを$\mathbb{R}^n$の元として扱い,分類や回帰といったタスクを$\mathbb{R}^n$から$\mathbb{R}^m$への写像として構成します. ところが近年Poincare Embedding等$\mathbb{R}^n$以外の世界で考えることによる効果がいくつか得られています. 今回調べた$p$-adicな構造もそうした実数ではありえない構造の一つです. これは大学数学の知識を少し仮定して、$p$-adicな機械学習の現状を調べたものです. 調べた範囲だと2010年以降の論文はほとんどなかったので,改めてまとめておくだけでも価値があるかと思います. 数学の知識としては以下を仮定します. 位相空間論,特にコンパクト性や完備性 初等的な環論.例えば整域に対する商体の操作や環の乗法群の定義 とはいえ,なるべく丁寧に解説するので,定理の主張が読めれば特に問題ない
スタンフォード大のAndrew Ng氏が非エンジニア向けAI講座「AI For Everyone」をCourseraで公開 | Ledge.ai
について学ぶことができます。 講師のAndrew氏はこの講座について、Twitterで以下のようにコメント。 AI For Everyone is now available on @Coursera! This course will help non-engineers and engineers work together to leverage AI capabilities and build an AI strategy. If you want your company to embrace AI, this is the course to get your CEO to take! https://t.co/bzpf1ed8DL pic.twitter.com/zfaclVjnbS — Andrew Ng (@AndrewYNg) 2019年2月28日 AIを学ぶ重要性は
データサイエンスや機械学習のチートシートを最も効率的に収集する方法 - Qiita
機械学習・データサイエンスのチートシート集、便利なものがたくさん出回っていますが、ちまちまブラウザからダウンロードしていたりしませんか？そんな貴方にお勧めなのがこちらのレポジトリ。 FavioVazquez/ds-cheatsheets https://github.com/FavioVazquez/ds-cheatsheets はい、クリックあるいはコマンド一つで100を超えるチートシートが一括でダウンロードできちゃいますね。以上、釣りタイトル失礼しました。 と、これだけではなんなので、個人的に有用性が高いと感じたものを、大きなサムネイル付きでまとめてみました。ソースとして、DataCamp及びRStudio公式ページの情報量は圧倒的なので、一読をお勧めします。 科学計算・データ操作・可視化 Python (NumPy/SciPy/Pandas/matplotlib/bokeh) Pyt
データが足りないなら増やせば良いじゃない。 - Qiita
パンがなければケーキを食べれば良いじゃない。 データ不足や不均衡なときにデータを増殖する手法をざっと調べたのでまとめます。 TLDR テーブルデータ（構造化データ）はSMOTEが便利 画像データは画像処理（左右反転、傾ける、ノイズ追加等々） テキストデータは異音同義語や類語、ルールベースで単語置換 音声データは数値配列にしてノイズを乗せたり伸ばしたり 前置き 機械学習やディープラーニングで学習するとき、充分なデータが用意されているとは限りません。 またはデータの総量は充分にあるけど、偏っている（インバランスになっている）ということも稀ではありません。 そういう場合の対策は概ね2つあると思います。 1. データを集めてくる 2. データを増やす 1.のデータを集める場合は、Webを探索してからオープンデータを集めたり社内調整したり、いろいろがんばります。 Web探索はスクレイピングをがんばる
不均衡データへの決定打となるか！？「Affinity loss」の論文を読む、実装する - Qiita
陰性のデータは1万件近く集めることができましたが、陽性のデータは100件しか集められませんでした。このように、陽性・陰性というクラス間でデータ数に明らかな偏りがあるケースを不均衡データ（inbalanced data）といいます。 不均衡データの問題点 評価上の問題 これは教科書的な問題で、「精度（Accuracy）が機能しない」という点です。例えば先程の例で陰性がデータ全体の99%なら、ありとあらゆるデータに対して陰性と判定（$y=0$）する分類器を作れば、その時点で精度99%を達成してしまいます。 こんなイメージです。機械学習なんていらないですね。笑っちゃうかもしれませんが、実は機械学習を使っても「return 0」みたいな状態に最適化が向かうことがあります（後述）。 今最適化での解の問題はおいておくとして、あくまで評価上の問題なら、Precision, Recall, ROC曲線、F
進化する機械学習パラダイス ～改正著作権法が日本のAI開発をさらに加速する～｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
■ はじめに 学習済みモデル生成のためには大量の生データや生データを元に生成した学習用データセットが必要となりますが、その際に著作物である生データ（文章、写真、静止画、動画など）を利用することも多くあります。 著作権法上、著作物は著作権者に無断で利用（ダウンロードや改変等）することは出来ませんが、実は日本の今の著作権法には４７条の７という世界的に見ても希な条文があるため（詳細は後述）、ＡＩ開発目的であれば、一定限度で著作権者の許諾なく著作物を利用できます。 その点を捉えて、早稲田大学法学学術院の上野達弘教授は「日本は機械学習パラダイスだ」と評しています。言い得て妙ですね。 【参考】 コラム：機械学習パラダイス（上野達弘） ただ、この４７条の７には「ある限界」もありました。 ２０１９年１月１日に改正著作権法の施行が予定されていますが、同改正法が施行されると、この４７条の７が廃止され、新しい条
実タスクで機械学習を導入するまでの壁とその壁の突破方法 - yasuhisa's blog
社内で機械学習の案件があった際に、機械学習の経験者しか担当できないと後々の引き継ぎで問題が起こりがちです。これを防ぐために、機械学習に興味があり、これまで機械学習を経験したことがないエンジニアにも担当できる体制を整えられることが望ましいです。しかし、機械学習のことに詳しく知らないディレクターやエンジニアにとっては、どのような機械学習の理解段階ならばタスクを任せられるかの判断をするのはなかなか困難です。そこで、このエントリでは機械学習を実タスクでやるまでに乗り越えるべき壁だと私が思っているものについて説明します。 第一の壁: 綺麗なデータで機械学習の問題を解ける 講義で扱われるような綺麗なデータを扱える 行列形式になっていて、欠損値や異常値もない 上記のデータを回帰や分類問題として解くことができる 実際に解く際にはライブラリを使って解いてよい 手法を評価する上で何を行なえばよいか(Preci
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.cs.cornell.edu/jeh/book.pdf