「機械学習で時系列予測はできるのか」論議がTransformerと共に帰ってきた - 渋谷駅前で働くデータサイエンティストのブログ
先日、こちらのポストをお見かけしました。 AI技術開発部の高橋が社内勉強会の資料「時系列予測にTransformerを使うのは有効か？」を公開しました。 論文Are Transformers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説しています。ぜひご覧ください。https://t.co/LplxTT8b1d pic.twitter.com/nUXb4bGiQ3— GO Inc. AI Tech (@goinc_ai_tech) 2023年9月28日 なるほど、NN全盛というかNN一択の時代にあっては時系列予測もNNでやるのが当たり前になったのだなという感想でした。大昔「沖本本」で古典的な計量時系列分析を一通り学んだ身としては隔世の感がありますが、これもまたNN時代の趨勢なのでしょう。 なお、元論文2点は上記リンクから辿
「説明可能なAI」に欠陥、少数派の扱いが不公平になるとMITが指摘する根拠は？
マサチューセッツ工科大学（MIT）は2022年6月1日（米国時間）、機械学習の予測を信頼するかどうか、ユーザーが判断するために用いる「説明モデル」に問題があると発表した。 機械学習の対象データとなる人々のうち、社会的に不利な立場にある人々で構成されるサブグループについては、精度が低くなる可能性があるという。 機械学習モデルは、意思決定支援に利用されることがある。例えば、「どのロースクール志願者が、司法試験に合格する可能性が高いか」をモデルが予測し、ロースクールの入試担当者がその予測結果を、（ロースクールの合格実績を高めるために）どの学生を合格させるかといった判断に役立てる場合がある。 機械学習モデルが複雑すぎて理解できない こうした機械学習モデルは多くの場合、数百万ものパラメーターを持つ。このため、モデルがどのように予測するかについては、機械学習の利用経験がない入試担当者はもとより、研究者
AI時代に向けたクラウドにおける信頼性エンジニアリングの未来構想 / DICOMO2022 6A-1
DICOMO2022 6A 統一セッション：クラウド 招待講演 https://tsys.jp/dicomo/2022/program/program_abst.html#6A-1 情報サービスの利用者に必要な機能を頻繁に加え続けながらも、いかに必要十分な信頼性を継続させるかが従前より課題となっている。この課題に対するひとつの回答とも言える、Googleが提唱した情報サービスの新しい運用形態であるSite Reliability Engineering（SRE）の普及が進んでいます。本発表では、SREの中核概念を整理した上で、AI時代に向けて、AIとの対話を軸にした未来の運用のあり方を構想します。
人工培養された脳細胞によるゲームプレイの仕組み 〜自由エネルギー原理について〜｜masa_kazama
イントロ「実験室内で培養した人の「ミニ脳」にゲームをプレイさせることに成功、AIよりも速いわずか5分で習得」というニュースが話題になっています。 脳細胞をトレーの中で人工培養させて、その細胞に卓球ゲームの「Pong」をプレイさせたところ、たった５分で学習し、ラリーが続くようになったと報告されています。まるで、マトリックスの映画のようで、この技術を使った未来がワクワクすると同時にちょっと怖くもあります。一体、どんな技術を使って、脳細胞に卓球ゲームを学習させたのでしょうか。このニュースを取り上げている記事は多かったのですが、中身の仕組みについて解説している記事は多くありませんでした。そこで、このブログ記事では、ミニ脳にゲームを学習させた仕組みを自分の勉強がてらに、備忘録的にざっくりとまとめたいと思います。（そのため、自分の理解や記述が間違っている箇所があるかもしれません。もしありましたらお知ら
Softmax関数をベースにした Deep Metric Learning が上手くいく理由 - Qiita
はじめに Deep Learningを使った距離学習（Metric Learning）では、Contrastive LossやTriplet Lossなどを用いて、画像間の類似性（や非類似性）を直接学習していく方法が広く利用されていますが、学習データの組み合わせや選び方が難しく、学習自体が難航するケースが多い事も知られています。それだけに、これまで様々な改良と工夫が提案されています。 しかし、最近はこのような学習データ選びに難航することなく、一般的なクラス分類タスクの感覚で、Softmax関数をベースに学習できるMetric Learningが注目を浴びています。ArcFaceなどはその代表的手法でこちらで詳しく説明されています。 Softmax関数をベースにしたMetric Learningがうまくいく理由、またさらなる改良の余地はあるのか？これらに関して少し紹介しようと思います。 Ce
教師あり学習の精度を超えた！？相互情報量の最大化による教師なし学習手法IICの登場！
3つの要点 ✔️相互情報量を最大化する枠組みでニューラルネットを学習する教師なし学習手法IICの提案 ✔️予測値をそのまま出力するニューラルネットを学習可能であるため、クラスタリングが不要 ✔️従来の教師なし学習手法の「クラスタが一つにまとまってしまう問題」および「ノイズに弱いという問題」を解決 Invariant Information Clustering for Unsupervised Image Classification and Segmentation written by Xu Ji et.al (Submitted on 22 Aug 2019) subjects : Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG) はじめに 近年、様々な場面において、深層学習手法が使用さ
最新の機械学習モデルでは過学習なんて起きない？ Deep Double Descent.
3つの要点 ✔️モデルが過学習しても、さらに学習を進めると精度が向上する ✔️学習データ,学習回数,学習モデルは大きければ大きいほど良い ✔️なぜこのような現象が生じるのか？ 続きを読むには (2880文字画像8枚) AI-SCHOLARに 登録いただく必要があります。 1分で無料で簡単登録する または ログイン
効率的な教師データ作成(アノテーション)のための研究サーベイ - ABEJA Tech Blog
どうも緒方@conta_です。 みなさんAI頑張ってますか？ きっと昼はGPUサーバーを回して、夜は結果待ちでビールサーバーを回してる人が多いことでしょう。 機械学習を実際のプロダクトに活用する場合、自分が解きたいタスクがそのままオープンなデータセットで解決できることは少ないので、まず最初に課題となるのはデータセット作成です。 実際にカメラやセンサーを取り付けて収集したり、Webからクローリングしてきたり、事業会社であれば自社のデータセットに教師ラベルをつけることで新しいタスクに取り組むことが可能になるでしょう。 よく疑問になるポイントとして、データセットの量と質は、多ければ多いほど良く、高品質であれば高品質であるほど良いのですが教師データを作成するのは一苦労です。 ＊下記アノテーションの量や質について実験した結果がまとまってます tech-blog.abeja.asia もちろん少数デー
機械学習の適用範囲を大幅に拡張、理研が手法を確立：自社商品を購入しなかった人のデータも推定 - ＠IT
理化学研究所の研究チームは、いわゆる「負のデータ」を収集できないために機械学習の分類技術を適用できなかった分野でも、分類技術が利用可能になる手法を確立した。「正のデータとその信頼度情報」だけから、分類境界を学習する。 理化学研究所（理研）は2018年11月26日、データを「正」（当てはまる）と「負」（当てはまらない）の2つに分ける機械学習の分類問題について、正のデータとその信頼度（正信頼度）の情報だけから、分類境界を学習する手法を開発したと発表した。 これまで負のデータを収集できないために機械学習の分類技術を適用できなかった幅広い分野でも、分類技術が利用可能になる。 開発したのは同研究所の革新知能統合研究センター不完全情報学習チームに所属する研修生の石田隆氏（東京大学大学院新領域創成科学研究科博士課程）と研究員のガン・ニュー氏、チームリーダーの杉山将氏の研究チーム。 弱い「教師あり学習」を
指紋認証システムは機械学習で生成した「マスター指紋」でも突破可能だと判明 - GIGAZINE
人間の指の腹に刻まれる指紋は人によってその模様が異なるため、PCやスマートフォンにも搭載可能な個人認証システムによく用いられています。しかし、ニューヨーク大学とミシガン大学の研究者が、機械学習によって生成したマスター指紋「DeepMasterPrints」によって、比較的容易に突破が可能であるという驚きの実験結果を報告しています。 [1705.07386] DeepMasterPrints: Generating MasterPrints for Dictionary Attacks via Latent Variable Evolution https://arxiv.org/abs/1705.07386 Fake fingerprints can imitate real ones in biometric systems – research | Technology | The G
ディープマインド、ゲーム攻略AIの訓練を転移学習で大幅効率化
新しい人工知能（AI）は、1つの仕事についての洞察を別の仕事の助けにすることに成功した。機械学習のより多様な未来が垣間見える成果である。 機械学習アルゴリズムのほとんどは1つの分野でしか訓練できず、1つのタスクで学習したことを使って別の新しいタスクを実行することはできない。 AIに強く望まれるのは、ある設定で得た洞察を別の場所に適用する「転移学習」と呼ばれるシステムを作ることだ。 グーグルのAI子会社ディープマインド（DeepMind）は新たに、 IMPALA（インパラ）と呼ばれる複数のタスクを同時に実行するAIシステムを作り上げた。 IMPALAに57のビデオゲームをプレーさせて、学習したことを共有させようとしたところ、1つのゲームで学習したことを別のゲームを移せる兆候が示された。 学習結果を共有したIMPALAは、同様のAIと比べると10分の1のデータ量で訓練が可能で、ゲームの最終スコ
Deep Learningにおける知識の蒸留 | Code Craft House
ここ数年のDeep Learningの発展は目覚ましく、急速に実用化が進んでいます。タスクによっては人間に匹敵する精度に達しているものもあり、システムの一部品としてデプロイする場面も増えてくると思います。そこで問題になるのが計算機資源の制約です。学習時には大量の学習データを用意し、GPUなどの計算資源で数時間や数日かかるような学習をしますが、推論時には限られたメモリや計算資源のもとで動作させる必要があります。リアルタイムに大量の入力データを捌く必要があったり、スマートフォンやエッジデバイスなどで動作させる場合には、この制約はさらに強くなります。 深くて大きいモデルの方が精度が出るが、実用を考えると軽量なモデルにする必要がある。こういった場面で最近よく使われる手法として、 知識の蒸留 (Knowledge Distillation) と呼ばれる方法があります。これは、（典型的には）大きくて複
逆強化学習を理解する - Qiita
逆強化学習 一般的な強化学習では、エージェントが環境からの報酬を得ることで最適な行動を獲得します。しかし現実の問題においては、この報酬を設計することが困難な場合があります。 例えば運転技術を獲得する場合、うまい運転というのはただ目的地に速く着くだけでなく、急発進・急ブレーキしない、混んでなさそうな道を選ぶなど実際の報酬関数として考慮しづらい要素が存在します。 逆強化学習ではエキスパートによる行動から報酬を推定する ことによって、このような表現しにくい報酬を求めることができます。 逆強化学習の手法 この記事では逆強化学習の手法としてよく取り上げられる手法の中で以下の3つについて解説したいと思います。 線形計画法を用いた逆強化学習 Maximum Entropy IRL Maximum Entropy Deep IRL マルコフ決定過程(MDP) 逆強化学習に入る前にまずMDPについて説明しま
Google、人工知能に機械学習モデルの設計を生成させる「AutoML」で設計した大規模な画像分類と物体検出に適応するアーキテクチャ「NASNet」を論文発表。人間が設計してきたモデルより高精度
Google、人工知能に機械学習モデルの設計を生成させる「AutoML」で設計した大規模な画像分類と物体検出に適応するアーキテクチャ「NASNet」を論文発表。人間が設計してきたモデルより高精度 2017-11-03 Google Brainの研究者らは、数ヶ月前、機械学習モデルの設計を機械学習で自動化するアプローチ「AutoML（Auto Machine Learning）」を発表しましたが、今回は、これまで小規模にテストしてきたAutoMLを大規模な画像分類と物体検出に適応した論文を発表しました。 Learning Transferable Architectures for Scalable Image Recognition（PDF） 「AutoML」とは、人工知能に機械学習のコードやアルゴリズムを生成させる新しい開発アプローチで、ニューラルネットワークがニューラルネットワークを設
《日経Robo》Neural Turing Machineはアルゴリズムの学習の第一歩
2014年の機械学習界隈で話題となったのが米グーグルの DeepMindが発表した「Neural Turing Machine（NTM）」1）である。NTMは、人間が問題に合わせてプログラムを逐一記述しなくとも、例示からの学習によって小規模なアルゴリズムを自己獲得する技術だ。ニューラルネットワークの技術を基にしている。連載の第1回では、なぜNTMが注目されたのかについて背景を説明する。 NTMは現時点では入力のデータ量が小さく、人が書けるようなアルゴリズムで解ける問題しか扱えていない。しかし今後は、人にすら書くことが不可能な複雑なアルゴリズムを学習できる可能性がある。例えば、ロボットや自動運転システムで複数のセンサを用いて複数のアクチュエータを制御するアルゴリズムを学習ベースで実現できる可能性がある。 記憶の仕組みが欠けていた ニューラルネット 人間がプログラムで記述するような複雑なアルゴ
不正解から正解を学習するAIはどんな技術？ ニュースイッチ by 日刊工業新聞社
理化学研究所革新知能統合研究センターの杉山将センター長（東京大学教授）と東大大学院新領域創成科学研究科の石田隆大学院生らは、不正解から正解を学習する人工知能（ＡＩ）技術を開発した。既存のＡＩは大量の正解データを学習させる必要があるが、正しいデータを集めるにはコストがかかる。不正解データも活用すれば、従来より少ない作業量で高レベルのＡＩが開発可能。ＡＩによる文字認識や画像識別など幅広く応用できる。 実験では正解データを教える学習法と同等かそれ以上の精度を確認した。手書き文字認識では８８％の精度だった。 一般的には、がん細胞をＡＩで探す場合、がん細胞や内皮細胞、筋細胞などの正しいデータをＡＩに学習させる。ＡＩは正解からの誤差を最小化して正解率を高める。 杉山センター長らは不正解データを与え、不正解からの誤差を最小化した。この結果「これはがん細胞ではない」「これは内皮細胞でない」といったデータか
OpenAI、エージェントが相互に協力し合い、競争することを可能にする新しい強化学習アルゴリズム「MADDPG」を開発
OpenAI、エージェントが相互に協力し合い、競争することを可能にする新しい強化学習アルゴリズム「MADDPG」を開発 2017-06-09 イーロン・マスク（Elon Musk）氏などが設立した人工知能を研究する非営利団体「OpenAI」は、エージェントが相互に協力し合い、競争することを可能にするマルチエージェント環境における新しい強化学習アルゴリズム「MADDPG」を開発しました。 前提知識として、ここでいうエージェントとは、なんらかの情報をインプットしてアウトプットする一連の概念のことを言います。そのエージェントのアウトプットに対してご褒美（報酬）の強弱でどれくらい良い行動だったか悪い行動だったかを学習させ最大化を目指すことを強化学習と言います。 今回、そんなエージェント同士が協力し合い、競い合うことを可能にする強化学習アルゴリズムを発表、このことで最大化という意味でより効果的な結果
ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な（=32bitもしくは16bit）精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
年末年始に振り返る 2021年の人工知能10大トレンドと必読論文
Maintenance Page - Monavis
