量子アニーリングマシンとMLを活用、新規化学材料の組成発見
東北大学の研究グループとLG Japan Labは、量子アニーリングマシンとベイズ的最適化と呼ばれる機械学習（ML）技術を連係し、これまで未探索であった目標特性値を持つ新規化学材料を発見した。今回の研究成果は、製造工程の最適化や生物分野などにも適用できるという。 量子力学を利用した「効率的な探索性能」に注目 東北大学大学院情報科学研究科の大関真之教授らによる研究グループとLG Japan Labは2024年1月、量子アニーリング（QA）マシンとベイズ的最適化と呼ばれる機械学習（ML）技術を連係し、これまで未探索であった目標特性値を持つ新規化学材料を発見したと発表した。今回の研究成果は、製造工程の最適化や生物分野などにも適用できるという。 材料の新規組成探索ではこれまで、さまざまな組み合わせを探索し、スパコンによるシミュレーションにより組成の物性評価を行ってきた。これらの作業には膨大な時間を
大規模言語モデルのための強化学習｜npaka
以下の記事が面白かったので、軽く要約しました。 ・Reinforcement Learning for Language Models 1. はじめに「ChatGPT」とそれに続く「大規模言語モデル」(LLM)のリリースに伴い、「RLHF」の重要性が議論されました。しかし、なぜ「強化学習」が「教師あり学習」よりも言語モデルの学習に適しているのか疑問に思いました。「教師あり学習」 (Instructionチューニング) で十分ではないでしょうか？ 私は、ある程度納得のいく理論的な議論を思いつきました。そして、特にChatGPTのようなモデルには、強化学習のケースを支持するだけでなく、それを必要とする追加の論拠があることに気がつきました。この追加の議論は、OpenAIのJohn Schulmanによる講演の（前半部分で）綴られています。この投稿は、彼の主張をより多くの言葉で繰り返し、また、明確
自然言語処理の王様「BERT」の論文を徹底解説 - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 2018年10月に登場して、自然言語処理でもとうとう人間を超える精度を叩き出した ことで大きな話題となったBERT。それ以降、XLNetやALBERT、DistillBERTなどBERTをベースにしたモデルが次々と登場してはSoTAを更新し続けています。その結果、GLUEベンチマークでは人間の能力が12位(2020年5月4日時点)に位置しています。BERTは登場してまだ1年半程度であるにもかかわらず、被引用数は2020年5月4日現在で4809 にも及びます。驚異的です。この記事ではそんなBERTの論文を徹底的に解説していきたいと思います。BERTの理解にはTransformer[Vaswani, A.
Few-shot Learning : 少ない画像データで学習する【前編】
GMOグローバルサイン・ホールディングスCTO室の@zulfazlihussinです。 私はhakaru.aiの開発チームのAI開発を担当しております。この記事では、機械学習を使って少ない画像データでも効率的に学習することができるFew-shot Learning手法について述べます。また、複数の情報源（画像⇆テキスト）からZero-shot学習について、興味がある方は、こちらの記事をお読みいただければと思います。 背景 画像解析の分野で一番有名な出来事として、画像認識の精度を争う競技大会、ImageNet Larger Scale Visual Recognition Challenge（ILSVRC）の2012年の大会があります。この大会では、 初めて深層学習を使った機械学習モデルが、他のチームが採用したモデルに10%以上の差をつけて優勝しました。このイベント以来、深層学習を使った画像
Pythonで因果推論(4)~回帰分析を用いた効果検証~
はじめに 線形回帰による因果推論について、Pythonによる実装を交えてまとめました。回帰分析の特性の導出や理論的な背景については記述しておりません。内容について誤り等ございましたら、コメントにてご指摘いただけますと幸いです。 回帰分析の概要 回帰分析とは、説明変数Xを1単位増減させたときに、被説明変数Yがどの程度変動するかを出力する分析手法です。 因果推論における回帰分析 因果推論の文脈では、何らかの処置を表す変数D(以下、処置変数)が、被説明変数Yにどれだけの効果を与えているかを検証する際に回帰分析を利用します。例えば Y = b_0 + b_DDというような回帰モデルを作成し、 帰無仮説を「b_D = 0」として検定を行い、処置変数Dが被説明変数Yに影響を与えていると言えるか パラメータb_Dを推定して、処置変数Dが被説明変数Yにどれくらいの影響を与えているか などを検討します。 処
リッジ回帰やラッソ回帰で因果推論できるのか？ - Qiita
はじめに 因果推論を行う手法の1つとして、線形回帰が挙げられます。今回は、その線形回帰の拡張とも言えるリッジ回帰(Ridge回帰)やラッソ回帰(Lasso回帰)を用いて因果効果を推定してみるとどうなるのか、Pythonによるシミュレーションと共にまとめました。内容に誤り等ございましたら、ぜひご指摘いただけますと幸いです。 結論 リッジ回帰やラッソ回帰を用いると、うまく因果効果を推定することができません。 これは、リッジ回帰やラッソ回帰を行うことで、線形回帰（線形回帰モデルをOLS推定）による推定値よりも汎化誤差が小さくなる一方で、不偏性と呼ばれる因果効果をバイアスなく推定するために必要な性質が失われてしまうからです。 通常の線形回帰における最小二乗法(OLS)では、下記の損失関数を最小化するパラメータを求めます。
GAN：敵対的生成ネットワークとは何か ～「教師なし学習」による画像生成 | アイマガジン｜i Magazine｜IS magazine
近年、いわゆるAI を構成する要素技術として機械学習の発展が著しい。とくにディープラーニングはその火付け役であり、画像分類、物体検出、セグメンテーションなどの画像領域をはじめ、自然言語処理、音声認識といった分野にまで広く応用されている。その表現力の高さから、今や従来の機械学習手法を凌ぐ結果を見せている。 ディープラーニングの技術は日進月歩で進化しており、新たな研究が発表されると、すぐに実装コードが公開されたり、応用研究が進められたり、ビジネスに適用されたりする。 なかでも最近注目されている技術の1つに、「敵対的生成ネットワーク」（Genera tive Adversarial Networks。以下、GAN）がある。GANは生成モデルの一種であり、データから特徴を学習することで、実在しないデータを生成したり、存在するデータの特徴に沿って変換できる。 GANは、正解データを与えることなく特徴
SHAPを用いて機械学習モデルを説明する l DataRobot
プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat
機械学習モデルを解釈するSHAP – S-Analysis
機械学習モデルを学習させた時に、実際にモデルはどの特徴量を見て予測をしているのかが知りたい時があります。今回はモデルによる予測結果の解釈性を向上させる方法の１つであるSHAPを解説します。 目次1. XAIとは 2. SHAPとは 3. 実験・コード 1：回帰モデル（Diabetes dataset） ＿＿3.1 データ読み込み ＿＿3.2 モデル作成 ＿＿3.3 SHAP値 ＿＿3.4 SHAP可視化 4. 実験・コード 2：画像データ（Imagenet） ＿＿4.1 データ読み込み ＿＿4.2 モデル作成 ＿＿4.3 SHAP可視化 1. XAI (Explainable AI)とはXAI はExplainable AI（説明可能なAI）の英略称です。言葉通り、予測結果や推定結果に至るプロセスが人間によって説明可能になっている機械学習のモデルに関する技術や研究分野のことを指します。 A
未学習のニューラルネットに隠された「当たりくじ」 - Qiita
はじめに 従来式のニューラルネットでは, 未学習のニューラルネットに対し, 各辺の重みを徐々に変化させることで学習を行います. これに対し本記事では, 未学習のニューラルネットに対し, 重み更新なしで学習が可能な画期的な一風変わった手法"edge-popup algorithm"[1]を紹介します. 元論文: What's Hidden in a Randomly Weighted Neural Network? 公式実装: https://github.com/allenai/hidden-networks/blob/master/simple_mnist_example.py 本記事ではedge-popup algorithmがどういった着想で編み出されていて, 何を行うアルゴリズムか, どの程度高い性能が出るか, どういった後続研究があるかを順を追って見ていきます. 宝くじ仮説とは
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Transforming models
米国データサイエンティストのブログ -