三笘選手のシュートフォームをグーグルのAI「Gemini」が教えてくれる、国立競技場で体験会
TransformerにおけるSoftmax関数の計算量とLinear Transformer - あつまれ統計の森
Transformerは汎用的に用いることのできる強力なDeepLearningである一方、入力系列のトークンが多くなると計算量も増大します。当記事ではTransformerの各Attention処理でのSoftmax計算の軽減にあたっての研究である、Linear Transformer論文について取りまとめました。 作成にあたってはLinear Transformer論文や、「A Survey of Transformers」の内容を参考にしました。 ・用語/公式解説 https://www.hello-statisticians.com/explain-terms 前提の確認 Transformerの仕組みの概要 Dot Product Attentionに主に基づくTransformerの仕組みについては既知である前提で当記事はまとめました。下記などに解説コンテンツを作成しましたので
[深層学習]4000倍早いTransformer, Self-Attentionの計算量がO(n^2)からO(n)になった[論文解説] - Qiita
[深層学習]4000倍早いTransformer, Self-Attentionの計算量がO(n^2)からO(n)になった[論文解説]DeepLearning深層学習Transformer Attentionを爆速にした論文Transformers are RNNsを解説 こんにちはYosematです！ 今回は長いこと計算時間が問題になっていたAttentionが爆速になってしまったという論文Transformers are RNNsを解説していきます。 今後も論文解説を続けていきますのでぜひTwitterとQiitaをフォローしてください！モチベ上がります！ 忙しい人向け Attentionの計算に内積を使うのをやめてカーネル関数を使う Self-Attentionの計算オーダーが$O(n^2)>>O(n)$になった 計算は爆速になったけどパフォーマンスはcompetetive! Tra
![[深層学習]4000倍早いTransformer, Self-Attentionの計算量がO(n^2)からO(n)になった[論文解説] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3d8d4d84eca044cae4e427a7ef160bfc061da1b9/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU2JUI3JUIxJUU1JUIxJUE0JUU1JUFEJUE2JUU3JUJGJTkyJTVENDAwMCVFNSU4MCU4RCVFNiU5NyVBOSVFMyU4MSU4NFRyYW5zZm9ybWVyJTJDJTIwU2VsZi1BdHRlbnRpb24lRTMlODElQUUlRTglQTglODglRTclQUUlOTclRTklODclOEYlRTMlODElOENPJTI4biU1RTIlMjklRTMlODElOEIlRTMlODIlODlPJTI4biUyOSVFMyU4MSVBQiVFMyU4MSVBQSVFMyU4MSVBMyVFMyU4MSU5RiU1QiVFOCVBQiU5NiVFNiU5NiU4NyVFOCVBNyVBMyVFOCVBQSVBQyU1RCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YmU2ZTA3NDIwMDIwYTljMDU5NDMzNjNjNDliMThiYzk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBZb3NlbWF0MSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YWQ2NTNkN2Y5OWRmNmE2YWY2YTI1MDAwNjY3MzNlMjE%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D19795f4372018a595595886d8f99d6b7)
時間方向に集約されたデータを用いた時系列予測 - Preferred Networks Research & Development
本記事は、2019年夏のインターンシップに参加された太田真人さんによる寄稿です。 こんにちは、2019年夏のインターン生だった関西学院大学大学院M１の太田です。大学では、ベイズモデリングの応用で研究しています。インターンでおこなった業務について紹介します。 概要 私は、時系列予測に取り組みました。実問題では、データを細かい時間スケールで長期間保存できず、過去のデータから秒を分スケールに集約して保存することがあります。 他にも、数年前までは、１ヶ月や１日単位で来場者数（売り上げ）をカウントしていましたが、最近は、高い時間分解能（日にち、時間単位）で予測したい需要が高まり、細かくデータを取り始めることもあると考えます。 その場合、データを集めたばかりの頃は、時系列長が短く予測が難しいことがあります。そこで、集約されていない時系列データは直近の短い期間しかないが、集約された時系列データは長期間あ
Ubuntu22.04へCUDA11.8環境を作る｜Teruaki Ishizaki
Ubuntu22.04へCUDA 11.5がaptで入手できますが、CUDA 11.5だとうまくビルドができない問題にハマった。どうやらCUDA11.8だとうまく行くようなので構築してみようと思っても以外と情報がない。 ということで、すぐに忘れそうなので色々と調べながら試行錯誤してうまく行った結果を残しておこう。 とはいっても、だいぶ以下の記述に助けられた気がする。 すでに色々と開発環境が入っているから関連する手順は飛ばしているかもしれないが以下に備忘録として。 まずは環境最新化と余計なNVIDIAドライバ・cudaが入ってしまっている場合は、一旦削除してから始める。ドハマりしたあとに手順を踏んだので、初回インストール時は不要な気もする。 sudo apt -y update sudo apt -y upgrade sudo apt remove --purge -y nvidia-* s
Swapfiles by default in Ubuntu
By default, in Ubuntu, we usually create a swap partition. Back in the day of 4MB RAM cards this made total sense, as the ration of RAM to disk space, was still very low. Things have changed since. Server, desktop, embedded systems have migrated to newer generations of both RAM and persistent storage. On the high performance side of things we see machines with faster storage in the form of NVMe an
GPUクラスタ（NVIDIA A100 系） | CfCA - Center for Computational Astrophysics
お知らせ [2023/10/31] 機器障害のため gxa1 のGPUが6基になっています．利用不可になっている場合もあります． [2023/09/07] FairShare の試験を行っています．当月の実行時間の少ないユーザのジョブが優先して実行されます． [2023/09/06] 機材故障のため gxa2 の運用を停止しています． 修理が済み運用を再開しました．2023/09/13 [2023/05/31] GPU故障のため ga1002 の構成が 80GB 1本 40GB 3本となっています 修理が済み40GBモデル4基に戻りました．2023/09/12 [2022/08/03] デフォルトの cuda toolkit のバージョンを 11.4 に戻しました．（自動でインストールされたもので GPU ドライバのバージョンと不整合を起こしていたため．） サンプルコードをgithubで公
研究室で余ってた計算機サーバーを活用してGPUクラスタを構築してみた with kubernetes
1. 概要 本記事では、kubernetes を用いて、オンプレミスの計算機サーバー間で分散学習を行う方法・手順について紹介します。 kubernetesによりGPUクラスタを作成し、PytorchのDDPサンプルコードを実行することを目的とします。 環境 master(control plane)１台 × worker ２台でクラスタを構築します。 (簡略化のために最小構成にしてます) master, worker 共に ubuntu22.04 を使用 すべてのノードにGPUが１台ずつ搭載 （masterはGPU不要） GPU は NVIDIA を使用 2. master ノードのセットアップ Kubernetes の動作要件を満たすように設定 指定したカーネルモジュール(overlay, br_netfilter)をシステム起動時に自動的にロードされるようにする cat <<EOF |
Zero-shot Learning入門 - エクサウィザーズ Engineer Blog
こんにちは。エクサウィザーズで画像ギルドに所属し、機械学習エンジニアをしている小島です。今年の3月からこちらにジョインいたしました。 この記事では、弊チームで取り組んいるテーマ「Zero-shot Learning」について、歴史的な背景を振り返りつつ、簡単な実装を紹介します。今研究でホットな研究テーマの一つである「クロスモーダルモデル」を身近に感じていただければ幸いです。 Zero-shot Learningとは 「Zero-shot Learningとは何か」というのは、実は曖昧なテーマです。「これがZero-shotだ」という定義が論文によって異なるためです。わかりやすい理解の仕方としては、Many-Shot Learning、One/Few-shot Learningから天下り的に考えていくことでしょう。 画像系の機械学習の問題は、大きく分けて、タスクの軸とデータ数の軸の2軸で考え
PaliGemma – Google's Cutting-Edge Open Vision Language Model
PaliGemma is a new family of vision language models from Google. PaliGemma can take in an image and a text and output text. The team at Google has released three types of models: the pretrained (pt) models, the mix models, and the fine-tuned (ft) models, each with different resolutions and available in multiple precisions for convenience. All models are released in the Hugging Face Hub model repos
Vision Language Model の 技術詳細と推論と学習｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Vision Language Models Explained 1. Vision Language Model「Vision Language Model」は、画像とテキストの入力を受け取り、テキスト出力を生成する生成モデルの一種です。LLMは、優れたZero-Shotを備え、汎化が容易で、ドキュメントやWebページなどを含むさまざまな種類の画像を処理できます。 ユースケースには、「画像に関するチャット」「指示による画像認識」「視覚的な質問への回答」「文書の理解」「画像のキャプション」などが含まれます。一部の「Vision Language Model」は、画像内の空間特性をキャプチャすることもできます。これらのモデルは、特定の対象を検出またはセグメント化するよう求められたときに「境界ボックス」または「セグメンテーションマスク」を出力
【記事更新】私のブックマーク「視覚と自然言語の融合研究（Integrating Vision and Language）」 – 人工知能学会 (The Japanese Society for Artificial Intelligence)
Home » リソース » 私のブックマーク » 【記事更新】私のブックマーク「視覚と自然言語の融合研究（Integrating Vision and Language）」 牛久祥孝（東京大学） はじめに 視覚（もう少し具体的にいえば画像や動画など）を対象とした研究と、自然言語を対象とした研究は、それぞれComputer VisionおよびNatural Language Processingの領域において、お互い少しずつ影響しあいながら発展を遂げてきた。特に近年、深層学習の一種であるConvolutional Neural Network (CNN)やRecurrecnt Neural Network (RNN)といった共通の機械学習手法が台頭し、それぞれの領域への参入障壁が低くなった。結果として、視覚と自然言語を融合する研究が様々な広がりを見せつつある。（深層学習によって、はじめてこれ
NLPとVision-and-Languageの基礎・最新動向 (2) / DEIM Tutorial Part 2 Vision-and-Language
DEIM2023 第15回データ工学と情報マネジメントに関するフォーラム チュートリアル講演資料 Part2: Vision-and-Language
大規模言語モデルによる視覚・言語の融合/Large Vision Language Models
大規模言語モデルによる文書画像理解の最新動向/Recent Trends in LLM-based Visual Document Understanding
【4M-21】Appleが開発した「画像系タスクの便利屋さん」 | WEEL
WEELメディア事業部LLMリサーチャーの中田です。 6月13日、多様な画像モダリティを扱えるマルチモーダルモデル「４M-21」を、Appleが公開しました。 画像を入力するだけで、入力画像の深度やキャプション、物体検出など様々なタスクを一度に実行できるのです！ Apple released 4M-21 last week -any-to-any vision-language model (it almost flew under my radar because of CVPR) Apache-2.0 !!! – image captioning – depth estimation – object detection – instance segmentation – image generation – and much more, all in one modal ↓ read
《日経Robo》予測学習：Predictive Learning
深層学習は教師あり学習において大きな成功を収めている。一方、教師データを必要としない教師なし学習はまだ発展途上である。 カナダUniversity of Toronto教授のGeoffrey Hinton氏は、「脳のシナプスは1014個あるが、人は109秒しか生きられない。サンプル数よりパラメータ数の方がずっと多いことになる。（これらのシナプスの重みを決定するためには）1秒当たり105個の制約が必要となり、多くの教師なし学習をしているとの考えに行き着く」1）と述べている。 また、米New York University教授のYann LeCun氏は「知能をケーキに例えるならば、教師なし学習はケーキ本体であり、教師あり学習はケーキの飾り、強化学習はケーキ上のサクランボぐらいである。私達はケーキの飾りやサクランボの作り方は分かってきたがケーキ本体の作り方は分かっていない」2）と述べている。 学
【論文瞬読】多トークン予測: 大規模言語モデルの新しい学習パラダイム｜AI Nest
こんにちは！株式会社AI Nestです。今日は、大規模言語モデル (Large Language Models; LLMs) の訓練に関する興味深い研究について紹介したいと思います。最近、Gloeckleらによる「Better & Faster Large Language Models via Multi-token Prediction」という論文を読む機会がありました。この論文では、LLMsの訓練において、次のトークン予測の代わりに多トークン予測を用いることで、サンプル効率と推論速度を向上させる手法が提案されています。 タイトル：Better & Faster Large Language Models via Multi-token Prediction URL：https://arxiv.org/abs/2404.19737 著者：Fabian Gloeckle, Badr Yo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Real-Time Time Series Analysis at Scale for Trending Topics Detection - ISE Developer Blog
論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding
サンワサプライ、足でPCを操作できるUSB接続フットペダル
