タグ

説明可能性とディープラーニングに関するmisshikiのブックマーク (5)

  • Language models can explain neurons in language models

    We use GPT-4 to automatically write explanations for the behavior of neurons in large language models and to score those explanations. We release a dataset of these (imperfect) explanations and scores for every neuron in GPT-2. Language models have become more capable and more broadly deployed, but our understanding of how they work internally is still very limited. For example, it might be diffic

    Language models can explain neurons in language models
    misshiki
    misshiki 2023/05/10
    “GPT-4を使用して、大規模言語モデル内のニューロンの動作に関する説明を自動的に作成し、それらの説明をスコア付け。これらの (不完全な) 説明と GPT-2 のすべてのニューロンのスコアのデータセットをリリース”
  • Grad-CAMだけじゃない画像認識におけるCAM手法を徹底解説 - ABEJA Tech Blog

    長期インターン生の木村です。 今回、以前から興味を持っていた画像認識モデルにおける説明可能なAIのクラス活性化マッピング手法を調査してみました。 説明可能なAIとは 近年、深層学習ベースの画像認識モデルは製造業、医療、自動運転など至る場面で社会実装が進められていますが、ディープなラーニングを行っているだけに推論の判断根拠を人間が解釈できない問題があります。医療、自動運転のような命に関わる領域では安全性や公平性を担保できないために安心して導入できません。 このような問題を解決するのが「説明可能なAI(XAI)」です。 「説明可能なAI(XAI)」は、AIの推論結果を人間が解釈可能な形で出力する技術を指します。例えば、犬とが映っている画像を画像分類するAIが犬と推論した場合、モデルがどこを判断根拠としているかをヒートマップで可視化します。このヒートマップは、「顕著性マップ」と呼ばれます。 画

    Grad-CAMだけじゃない画像認識におけるCAM手法を徹底解説 - ABEJA Tech Blog
    misshiki
    misshiki 2022/03/03
    “「クラス活性化マッピング」は、画像認識におけるXAIの一分野であり深層学習ベースの教師あり学習モデルで用いることができます。本記事では、クラス活性化マッピングの様々な手法を解説します。”
  • Monte Carlo Dropoutによる医療AIの解釈性の可能性はあるか。ポリープのセグメンテーションで確認

    3つの要点 ✔️ 不確実性推定と解釈可能性における最近の進歩を大腸内視鏡検査画像からポリープをセグメンテーションタスクに組み込む ✔️ Montecarlo dropoutを使用して予測に関連する不確実性をモデル化した不確実性マップを出力 ✔️ ガイド付きバックプロパゲーションを使用して重要と見なされるピクセルを視覚化した解釈可能性マップを出力 Uncertainty and Interpretability in Convolutional Neural Networks for Semantic Segmentation of Colorectal Polyps written by Kristoffer Wickstrøm,Michael Kampffmeyer,Robert Jenssen (Submitted on 16 Jul 2018) Comments: Published

    Monte Carlo Dropoutによる医療AIの解釈性の可能性はあるか。ポリープのセグメンテーションで確認
    misshiki
    misshiki 2020/06/03
    “不確実性推定と解釈可能性における最近の進歩を大腸内視鏡検査画像からポリープをセグメンテーションタスクに組み込む”
  • 機械学習モデルの判断根拠の説明(Ver.2)

    【第40回AIセミナー】 「説明できるAI 〜AIはブラックボックスなのか?〜」 https://www.airc.aist.go.jp/seminar_detail/seminar_040.html 【講演タイトル】 機械学習モデルの判断根拠の説明 【講演概要】 講演では、機械学習モデルの判断根拠を提示するための説明法について紹介する。高精度な認識・識別が可能な機械学習モデルは一般に非常に複雑な構造をしており、どのような基準で判断が下されているかを人間が窺い知ることは困難である。このようなモデルのブラックボックス性を解消するために、近年様々なモデルの説明法が研究・提案されてきている。講演ではこれら近年の代表的な説明法について紹介する。Read less

    機械学習モデルの判断根拠の説明(Ver.2)
  • 人間が深層学習のAIを理解できないのには、理由がある:朝日新聞GLOBE+

    【特集】「『予測』という名の欲望」全記事はこちらから読めます ■人間にはAIの考えが分からない? ――ディープラーニングは、大量の「教師データ」を読み込み、入力する変数と、出力する変数との間の関係を見つけ出します。その関係が分かれば、新たなデータを入力したとき、出力が予測できるというわけですが、なぜ人間はそのプロセスを理解できないのでしょうか? おもにふたつの要因があります。質的なものと、量的なものです。量的な問題は、すごくシンプルです。ディープラーニングの内部で動くパラメータ(母数:システムの内部で動く情報)が多すぎるので、その大量・複雑なデータを人間の直感につなげることが難しい、という話です。最近は、多いものでは1億個を超えるパラメータから出力を予測します。じゃあ、その1億個をざっと人間が見てなにか分かるのかといえば、分からない。これが基的に起こることです。 ――大量の変数という意味

    人間が深層学習のAIを理解できないのには、理由がある:朝日新聞GLOBE+
  • 1