PyTorch® 2.2リリース ー SDPA性能2倍、AOTInductorによる非Python環境への展開が可能に
PyTorchチームは1月31日、PyTorch® 2.2のリリースを発表した。新機能や最適化が盛りだくさんのこのバージョンは、エンジニアたちの期待を十分に満たすリリースだ。 PyTorch 2.2では、FlashAttention-v2の統合により、SDPA（_scaled_dot_product_attention_）のパフォーマンスが 約2倍向上 した。これにより、A100 GPUsで最大FLOPs/sの約50-73%まで到達する高速なSDPAが実現された。 新しい機能としては、非Pythonサーバーサイド向けのAOTInductorも導入。これにより、PyTorchプログラムのコンパイルとデプロイメントが可能になり、非Python環境での利用が向上した。 その他にも、Optimizersのサポート向上や新しいログメカニズムTORCH_LOGSの追加など、多くの改良が行われた。一方で
『ゼロから作る Deep Learning ❺』 公開レビューのお知らせ｜斎藤 康毅（さいとう こうき）
問題に感じた箇所や改善すべきと思った点など、コメントいただけますと幸いです。レビューに貢献していただいた方には、感謝の印として、本書に名前を記載させていただく予定です（もちろん、同意のある方のみです）。下記のように、レビューアの方の名前をクレジットとして掲載する予定です。 左は『ゼロから作るDeep Learning ❷』、右は中国語に翻訳された『Deep Learning 2』なお、本のタイトルに「❺」とありますが、前作までの知識がなくても読める内容になっています。前提条件としては、Pythonと数学の基本的な知識が必要になります。数式も多く登場します。ちなみに、本書の概要は次のとおりです。 人気シリーズの第5弾。今回のテーマは「生成モデル」です。本書では「正規分布」から「拡散モデル」に至るまでの技術を繋がりのあるストーリーとして展開します。読者は小さな学びを積み重ねながら、ステップバイ
2022年の深層学習ハイライト - Qiita
はじめに 2023年になって日が経ってしまいましたが、今年も深層学習の個人的ハイライトをまとめたいと思います。今回は研究論文5本と応用事例4つを紹介します。他におもしろいトピックがあれば、ぜひコメントなどで教えて下さい。 AIの研究動向に関心のある方には、ステート・オブ・AIガイドの素晴らしい年間レビューもおすすめします。また、私が過去に書いた記事（2021年、2020年、2019年）もよろしければご覧ください。 * 本記事は、私のブログにて英語で書いた記事を翻訳し、適宜加筆修正したものです。元記事の方も拡散いただけると励みになります。 ** 記事中の画像は、ことわりのない限り対象論文からの引用です。 研究論文 Block-NeRF: Scalable Large Scene Neural View Synthesis 著者: Matthew Tancik, Vincent Casser,
書籍「Kaggleに挑む深層学習プログラミングの極意」発売します - iwiwiの日記
共著で執筆した書籍「Kaggleに挑む深層学習プログラミングの極意」が明日(2023/2/2)発売するのでそちらの紹介です。既に書店によっては店頭に並んでいるようです。 Kaggleに挑む深層学習プログラミングの極意 (KS情報科学専門書) 作者:小嵜 耕平,秋葉 拓哉,林 孝紀,石原 祥太郎講談社Amazon https://www.kspub.co.jp/book/detail/5305133.html https://bookclub.kodansha.co.jp/product?item=0000323307 どんな本？ Kaggleを題材に深層学習の技術・活用法を解説している本です。深層学習が得意な分野として、画像処理（画像分類・画像検索）と自然言語処理を扱っています。 3章以降では章ごとに1つのコンテストを取り上げ、必要な技術を解説しつつ、PyTorchを使い実際にある程度高い
画像生成AI「Stable Diffusion」がTensorFlowとKerasCVで約30％高速になることが判明
機械学習プラットフォームのTensorFlowで実行される、Pythonで記述されたディープラーニング用APIが「Keras」です。このKerasを拡張して画像分類、物体検出、画像分割、画像データ補強などを行うためのモジュール式ビルディングブロック「KerasCV」を使うと、画像生成AIのStable Diffusionが約30％高速になるという報告が、KerasCVの開発者による研究チームからあがっています。 High-performance image generation using Stable Diffusion in KerasCV https://keras.io/guides/keras_cv/generate_images_with_stable_diffusion/ Stable Diffusionは2022年8月に一般公開されたオープンソースの画像生成AIで、入力した
【9/9追加分あり】画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってるwaifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い（2枚目: Before 3枚目: After）なぜ話題になっていないのか不思議なレベルだ…
Torishima / INTP @izutorishima アニメリアタイと DTV と技術とﾌﾟﾛｸﾞﾗﾐﾝｸﾞとその他諸々なオタク (⚠⚠⚠AI研究者ではありません!!!フォロー非推奨!!!⚠⚠⚠) IT と AI 関連の情報ウォッチしてます 同IDで Bluesky にもいます 時間掛けて書いた見てほしいツイートはハイライトに (2023/12~) note.com/sumisutori Torishima / INTP @izutorishima 画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってる waifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い（2枚目: Before 3枚目: After） なぜ話題になっていないのか不思議なレベ
画像認識で最先端の性能を発揮するモデル「EfficientNetV2」と「CoAtNet」をGoogle Researchが紹介 ~ より小さく、より速く、より正確なニューラルネットワーク
9月16日、Google AI Blogに、学習時間を短縮し、最先端の性能を実現した、画像認識用の2つのモデルを紹介した「Toward Fast and Accurate Neural Networks for Image Recognition」が公開された。 スクリーンショット: Toward Fast and Accurate Neural Networks for Image Recognition この記事では、画像認識モデルの「EfficientNetV2」と「CoAtNet」を紹介している。 EfficientNetV2は、convolutional neural networksで構成されており、ImageNet1k（128万枚の画像）のような比較的小規模なデータセットに対して、高速な学習速度を目指している。 CoAtNetは、convolutionとself-attent
嘘だろ?深層学習が3Dゲームを再現｜shi3z｜note
深層学習の世界では時折・・・と言っても、一ヶ月に一回くらいだが・・・信じられないようなことが起きる。 以前、ゲーム画面を見ただけでパックマンやらマリオやらを再現するAIが出現したと聞いたとき、「嘘だろ」と思ったのだが、まあ言うてパックマン。なんとなくできるのかもしれない。 しかしこの手のものはあまりにも直感に反するので自分の手で確かめないと本当かどうかわからない。 そんな時のために僕の仕事机には7台のGPUマシンがあるわけだが、たまたまRTXが遊んでいたので実行してみたら、「嘘だろ」としか言いようがない結果を目の当たりにすることになった。 GTAVこと「グランセフトオートV」は、自動車泥棒になって架空の街を走り回るゲームだ。 こいつをひたすらAIに学習させると、GTAVをAIが再現するという、全く直感に反することが行われるらしい。3Dゲームというのは、それを作った経験のある人なら誰でも、恐
Introducing TensorFlow Decision Forests
Posted by Mathieu Guillame-Bert, Sebastian Bruch, Josh Gordon, Jan Pfeifer We are happy to open source TensorFlow Decision Forests (TF-DF). TF-DF is a collection of production-ready state-of-the-art algorithms for training, serving and interpreting decision forest models (including random forests and gradient boosted trees). You can now use these models for classification, regression and ranking t
手描きスケッチからリアルな顔を生成 深層学習に画家の手法導入し改善
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 中国・北京大学と米テキサスA&M大学の研究チームが開発した「Deep Plastic Surgery」は、ユーザーの手描きスケッチからリアルな顔画像の生成とインタラクティブな編集ができるフレームワークだ。 スケッチベースの画像編集はこれまでも研究されてきたが、訓練用スケッチの収集が難しいため、代わりにカラー画像から検出のエッジマップを用いてモデルを学習してきた。その結果、スケッチとエッジマップとの構造的な不一致による不安定な出力が多かった。 今回の手法では、手描きスケッチ自体を深層学習ネットワークに直接与えて顔画像を生成するのではなく、手描きスケッチをエッジマップに変換し、エッジマップから
AlphaGoを模したオセロAIを作る(1): SLポリシーネットワーク - Qiita
$10^{360}$というと，もう「億」や「兆」のような名前すらない規模でイメージもできませんが，観測可能な宇宙に存在する原子の総数と言われている$10^{80}$よりもずっと大きいのですから驚異的です． ちなみに，情報の世界では「天文学的数字」よりも大きい数字がしばしば出てくるので，「組合せ論的数字」なんて言い方も耳にすることがあります． この膨大なパターン数が原因で，AlphaGoが開発されるまでは「AIが囲碁で人間に勝利するまであと10年はかかる」と言われていましたが，2016年にディープラーニングを応用したAlphaGoが李世乭九段を破り世界を驚かせました． AlphaGoのすごさを感じていただけたでしょうか？でも，$10^{360}$の世界で戦う人間の棋士もすごいですよね． ともあれ，囲碁は難しいので私はオセロにしました． 必要なもの ディープラーニングの基礎とChainerの基
kaggleメルカリコンペの表彰式イベントに参加してきました - 周回遅れでIT業界デビューしたプロジェクトマネージャーのブログ
2018/5/9（水）に表題のイベントに参加してきました。 kaggle関連の催しは初めてなのでワクワク。 お話を聞きながらタイピングしてそのまま載せているので、多少間違っているところがあるかもしれません。あらかじめご容赦下さい。 メルカリコンペの趣旨 海外から入賞者を招き、同時通訳を用意するなどしてイベントのために1000万かけた。 日本人のkaggler少ないな、もっと活性化したい！ という想いで、ハウツーを共有するためにイベントを開催した。 第一部 1位のお二人 3つの異なるデータセット データセットにつき4つのモデル いくつか使った方が品質が上がる スコアを高くするためにも色々な施策を試した Sparseのデータセットを使って、4モデルを同時に学習させた テキストの結合をさせることが大事だった 宣言型と命令型の前処理をした とても複雑なコードを使ったので理解しづらくなっている 前処
ディープラーニングで日経平均を予測 <2> ～時系列予測AI Prophet利用～ - Qiita
これまでの取り組み 前回の ディープラーニングで日経平均を予想してみる の投稿では、Google TensorFlowとkerasを使い、LSTMという手法で日経平均を予測しようとしたけれどもうまく予測できませんでした。 うまく行かなかったことは残念でしたが、Google TensorFlowとkerasを使うことで、データサイエンティストでない初心者でも、特に数学の知識も必要なく、簡単にディープラーニングを使うことができるということが分かりました。 今回やりたいこと Google TensorFlowは、様々な分野で使うことを想定した汎用的なディープラーニングのライブラリでした。今回は、このTensorFlowではなく、Facebookが公開している時系列データ予測のための、人工知能ライブラリProphetを使って、日経平均を予測してみます。 Facebook Prophetとは "To
Lessons Learned Reproducing a Deep Reinforcement Learning Paper
There are a lot of neat things going on in deep reinforcement learning. One of the coolest things from last year was OpenAI and DeepMind’s work on training an agent using feedback from a human rather than a classical reward signal. There’s a great blog post about it at Learning from Human Preferences, and the original paper is at Deep Reinforcement Learning from Human Preferences. Learn some deep
ディープラーニングによるホットドッグ検出器のレシピ - クックパッド開発者ブログ
研究開発部の画像解析担当のレシェックです。techlife を書くのは初めてです。よろしくお願いいたします。 最先端の機械学習を使うためには、常に自分のスキルアップが必要です。そのために、毎日論文を読んだり、新しいオープンソースのコードを試してみたり、クックパッドのデータで実験しています。これはちょっと料理の練習と似ています。新しいモデルを学習させるのは料理をオーブンに入れるのと同じ気持ちです。オーブンの温度は学習率と同じで、低すぎだとよく焼けず、高すぎだと焦げてしまいます。しかし、ちゃんと他のリサーチャーの論文やブログの中のレシピを見ながら自分のデータでモデルを学習させると、失敗せずに済むかもしれません。 このエントリでは、そういった機械学習のレシピの一例を紹介します。 このブログで使っているテスト画像はPixabayから取得した、Creative Commonsのライセンスの写真です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
FlutterにTensorFlow Liteを統合可能に ー Flutter向けTensorFlow Liteプラグインが正式リリース
謎だらけのAI、深層学習の賢さ説明できず 人の意図超す - 日本経済新聞
人工知能・深層学習を学ぶためのロードマップ | 東京大学松尾研究室 - Matsuo Lab
AIにおける研究の分野・概要を解説｜研究室や研究企業も紹介！ | AI専門ニュースメディア AINOW
Lesson 3 機械学習＆ディープラーニングの、基本的なワークフローを知ろう
