「あえて精度勝負をしない機械学習」という選択肢 - 渋谷駅前で働くデータサイエンティストのブログ
少し前のことですが、こんな話題がありました。 自分がこれまで現職で手がけた機械学習ソリューションでは 1. そもそも「予測」ではなく「説明（解釈）」をアウトプットにする 2. クラス分類確率の高いものだけアウトプットし、低いものは「未定」扱いにして捨てる などという形で実務の現場で使ってもらってます。精度勝負をしないのも一つの解かと https://t.co/NmZJCPnue2— TJO (@TJO_datasci) 2021年8月29日 実際問題として「ある目的のために機械学習システムを開発し、非常に高精度のものが出来上がったが、結局色々あって実戦投入されなかった」という話は、自分の身の回りでも業界内の伝聞でも事欠きません。 しかし、機械学習と言えばどちらかというと「より精度の高いモデルを追い求める」試み、もう少し下世話に言うと「精度勝負」によって、連綿と発展してきたという歴史がありま
Twitterが「AIの差別」を認めた理由とは
ツイッターの投稿写真から自動でサムネイル（縮小）画像を切り出すAIは、黒人よりも白人、男性よりも女性を優先する「バイアス」が確認された――。 ツイッターは、そんな調査結果を明らかにした。 ツイッターのサムネイル表示に「差別」がある、とのユーザーによる指摘が昨年秋から相次ぎ、炎上。ツイッターが調査に乗り出していた。 AIによる画像認識には、これまでも人種、性別による認識の精度の違いが指摘されてきた。AIを使った監視カメラの精度の問題から、米国で黒人が誤認逮捕される事件も複数起きている。 ツイッターは今回の調査結果によって、AIによる画像トリミングには「構造的な格差があった」と述べ、システムは廃棄。すでにモバイルアプリでは5月から、ユーザーが投稿する画像のまま、トリミングせずに掲載する機能を、実装しているという。 自動トリミングとは、AIによる画像の「編集」作業だ。 ツイッターが今回の検証でた
small large
小さな世界と大きな世界 渡辺澄夫 １ 質問 質問 学生の皆様から次の質問をいただきました。 質問 「統計学を紹介する動画を見ていたら 小さな世界 と 大きな世界 という言葉が 出てきたのですが、それらは何ですか」 このファイルでは上記の質問にお答えします。 答えのみ知りたい人は「４回答」をご覧ください。 小さな世界と大きな世界とは https://www.youtube.com/watch?v=4WVelCswXo4 40:30 あたりで、small and large worlds が説明がされています。 いただいたご質問について、小さな世界と大きな世界は 下記の動画で説明されています。 R.McElreath, Statistical Rethinking 言葉を作った人 小さな世界 という言葉は 主観ベイズ法の提案者 L.J. Savage に よって作られたようです。 用語の混同に
Zero's World: Taxonomy - 類似性と「みにくいアヒルの子の定理」
類似性と「みにくいアヒルの子の定理」 小野山 敬一 １．はじめに 類似性 similarity は対象間の関係を見るひとつの方法であり，しばしば分類における基準となるもので，それによって事物のグルーピングが行なわれたりするものである．一方，「みにくいアヒルの子の定理」（the theorem of the ugly duckling）は，形質を同等に評価した場合には類似性にもとづく分類がありえないこと，したがって客観的な分類がありえないことを示すものと解釈されている． 「みにくいアヒルの子の定理」はWatanabeが1961年にAAAS annual meetingで言及し，1962年ブラッセルでの講演で厳密な証明を与えた．後者はWatanabe (1965) に収録されている．その後，渡辺自身は，Watanabe (1969) や渡辺（1978，1986）で取り上げているが，他の著者が言
『ツイッターに流れてきたパズル「164→64、265→130、498→392…」はいわゆる「小学生にも分かるが大学院生でも解けない」良問では？ - しいたげられたしいたけ』へのコメント
学び ツイッターに流れてきたパズル「164→64、265→130、498→392…」はいわゆる「小学生にも分かるが大学院生でも解けない」良問では？ - しいたげられたしいたけ
須山敦志 Suyama Atsushi on Twitter: "「サイコロの目で1が出る確率は1/6」は正しくない。そういう風に数学的に抽象化あるいはモデル化しているだけ。実際、精緻な物理シミュレーションが可能であればもっと正確に出目を予測できる可能性がある。すべてのモデルは間違っており、「正しい確率」というのはそもそも意味を成さない。"
「サイコロの目で1が出る確率は1/6」は正しくない。そういう風に数学的に抽象化あるいはモデル化しているだけ。実際、精緻な物理シミュレーションが可能であればもっと正確に出目を予測できる可能性がある。すべてのモデルは間違っており、「正しい確率」というのはそもそも意味を成さない。
確率とともに生きる – sociologbook
新型コロナウィルス、というものが流行っていて、この春はすべてのイベントが中止や延期になり、公的な施設には閉鎖されるところもでてきて、学校も全国で一斉に休校にするかどうかという話があり、そのわりには朝の満員電車はあいかわらずで、それからやっぱりデマもとびかっている。 ドラッグストアやコンビニの店頭からマスクが消え去り、さらにトイレットペーパーがマスクと同じ材料で、もう中国から入ってこなくなるので売り切れるだろうというデマがひろがって、トイレットペーパーも店頭からなくなった。コストコに長蛇の列ができたとか、対応していたドラッグストアの店長が鬱になったとか、そういう記事をたくさん読んだ。 いったい誰がどういう意図で流すのか知らないけど、30度ぐらいのぬるま湯を飲むと熱に弱いコロナが死ぬ、というデマもかなり広がって、さすがにこれは笑った。体温より低いやん。 まあ、しかし笑えない。若年者の致死率は低
PowerPoint プレゼンテーション ベイズ推論 東京工業大学 渡辺澄夫 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日 北海道大学
ベイズ推論 東京工業大学 渡辺澄夫 2016/9/15 1 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日北海道大学 この講演の目的 2 2 統計的推論が命題論理の推論と異なる点を説明し、 ベイズ推論において解明されていることの概略を述べる。 もくじ 3 3 １．統計的推論は命題論理の推論と何が違うのか ２．統計的推論では何を知りたいのか ３．予測誤差と交差検証誤差 ４．総和誤差と自由エネルギー 4 4 １．統計的推論は命題論理の推論と何が本質的に違うのか なぜ人間は「正しい統計的推論」を求めたのか 5 数学や物理学では一定の水準の厳密さにおいて 「正しい推論」というものが存在している。 → 正しいモデルで正しく推論すれば正しい結論が得られる。 → 間違った結論は間違ったモデルか推論から生まれる。 （例） 連続関数の列が一様収
黒木玄 Gen Kuroki on Twitter: "#統計 「95%の信頼区間」の95%はどういう意味か？ 「真の値がその区間に含まれる確率」という解釈はよくある誤解。 この手の事柄では、教科書的な統計学の説明を忘れて、 * 数学的モデルを現実から得たデータで評価する とい… https://t.co/K8EHNW0Hza"
#統計 「95%の信頼区間」の95%はどういう意味か？ 「真の値がその区間に含まれる確率」という解釈はよくある誤解。 この手の事柄では、教科書的な統計学の説明を忘れて、 * 数学的モデルを現実から得たデータで評価する とい… https://t.co/K8EHNW0Hza
代数幾何と学習理論
渡辺研究室 渡辺澄夫 学習理論の専門書： 代数幾何と学習理論(まえがきともくじ)(森北出版) アマゾンのページ 渡辺澄夫 この本は、代数幾何と学習理論の関係について、 できるだけ具体的に 説明したものです。 「代数幾何と学習理論」のあらすじ 要約 本書では、統計学における周辺尤度を F とし、 代数幾何学における実対数閾値を λとするとき、 が成り立つことを証明しています。ここで n はデータの数です。 （注） (1) 周辺尤度 F はデータから計算できます。統計モデルと事前分布の設計において 最も基本的な量です。これは統計学で良く知られていました。 (2) 実対数閾値 λ は、代数多様体の特異点の性質を表す量です。 これは代数幾何学で良く知られていました。 実対数閾値は（真の分布、モデル、事前分布）から計算できます。 (3) 定理「 F = λlog n 」により、データに基づいて（真の
[1811.10154] Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead
Black box machine learning models are currently being used for high stakes decision-making throughout society, causing problems throughout healthcare, criminal justice, and in other domains. People have hoped that creating methods for explaining these black box models will alleviate some of these problems, but trying to \textit{explain} black box models, rather than creating models that are \texti
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/Idesan/status/1689507261444730880
須山敦志 Suyama Atsushi on Twitter: "ここ大事で、「観測データは客観的」「事前知識は主観的」みたいな感じに思われがちですが、どっちも端的に言えば理論的な区別などはないし、活用すべきデータです。 https://t.co/yzFSoMQBM8 https://t.co/1eWAQL8YaP"
HELLO CYBERNETICS on Twitter: "天然ニューラルネットワークの表現学習の結果を使うのが特徴量エンジニアリングとかオーダーメイドのモデル設計だと思っている。 だから深層学習は、アンサンブル天然ニューラルネットの積み上げ（学問）が少ないor究極の解に程遠い場合に、強烈な力を発揮する という思想を持ってる。"
『『「確率」についてご指摘いただきました｜深沢真太郎 ビジネス数学教育家／明治大学客員研究員／累計25万部作家』へのコメント』へのコメント
山本一成🌓完全自動運転EVを作るTURING on Twitter: "「AIの中身は人力」というニュースがTLで見られたけど、当たり前じゃないですかAI様に学習してもらう為どれだけ人手がかかるかみんな知らないんですか！そんな簡単にAI様が学習してくれると思うなよ😭"
須山敦志 Suyama Atsushi on Twitter: "これはかなりあるあるで、多くの教師ありのシチュエーションだと前処理(スケーリングとか)とk近傍法で他の手法と大差ない。どころか説明しやすい。 https://t.co/F2YtXr4Wsn"
HELLO CYBERNETICS on Twitter: "確率的グラフィカルモデルでマルコフブランケットがどうのこうのとか、メッセージパッシングがどうのこうのとか難しいこと言わずに、観測変数と潜在変数の関係や何がローカルに効いて何がグローバルに効いてるのかを可視化するツールとして、機械学習の最初に導入すべきな気がする。"
須山敦志 Suyama Atsushi on Twitter: "個人的にはベイズ統計を「データに対して適切な情報処理を行うための枠組み」くらいにしか考えてないので、その上でモデルの妥当性を評価する理論があったり、計算効率を上げる工学的なテクニックがあったり、典型的な課題に対するプラクティスがあったりする、といった認識。"
学習理論よ 何処へ