Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
Google Colab で RWKV を試す - ChatRWKV版｜npaka
「Google Colab」で「RWKV」を試したので、まとめました。 1. RWKV「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速学習、長い文脈長、自由な埋め込みを実現しています。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」の「プレミアム」を選択。 (2) Googleドライブのマウント。 # Googleドライブのマウント from google.colab import drive drive.mount('/content/drive')(3) 作業フォルダへの移動。 # 作業フォルダへの移動 import os os.makedirs("/content/drive/My Drive/work",
「今後はシミュレーションが重要に」PFN岡野原氏が話す深層学習の展望 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
ディープラーニングの推論時間を大幅に短縮できる「NVIDIA TensorRT」利用方法は？ | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
What are Diffusion Models?
Date: July 11, 2021 | Estimated Reading Time: 32 min | Author: Lilian Weng [Updated on 2021-09-19: Highly recommend this blog post on score-based generative modeling by Yang Song (author of several key papers in the references)]. [Updated on 2022-08-27: Added classifier-free guidance, GLIDE, unCLIP and Imagen. [Updated on 2022-08-31: Added latent diffusion model. [Updated on 2024-04-13: Added prog
Generative Modeling with Sparse Transformers
We’ve developed the Sparse Transformer, a deep neural network which sets new records at predicting what comes next in a sequence—whether text, images, or sound. It uses an algorithmic improvement of the attention mechanism to extract patterns from sequences 30x longer than possible previously. One existing challenge in AI research is modeling long-range, subtle interdependencies in complex data li
深層学習の最新テクニック、AIコンペの成績上位5人が披露 | 日経 xTECH（クロステック）
人工知能学会は2018年6月5日、同学会が主催した画像認識コンペティション「JSAI Cup 2018」の結果を発表し、入賞者5人を表彰した。1位～5位の入賞者が実施したプレゼンテーションを通じ、深層学習（多層のニューラルネットを使った機械学習）で画像認識AIの精度を高める最新のテクニックを紹介しよう。 今回のコンペのテーマは「食材の分類」。食材の画像データから、タマネギ、きゅうりなど55種類の材料を分類する画像分類器を設計し、正解率の高さを競う。 「タマネギ」「きゅうり」などの正解ラベルが付与された学習用の画像データは1万1995枚、正解ラベルを付与していない評価用のテストデータは3937枚 主催者が提示した学習用の画像データは、協賛のクックパッドが提供した1カテゴリ約290枚×55カテゴリの1万5932枚である。コンペの開催期間は2018年1月22日～3月29日。応募者は121人で、う
【いつの間にか進化してた！】TensorFlowのKerasの様々な使い方 - HELLO CYBERNETICS
はじめに これまで通りの使い方 Kerasと言えばコレ：Sequential 少し発展版：Modelによるfunctional API Eagerの登場によって…！ Pythonのclassとしての作り方 Eagerモードとしての書き方 確率的なニューラルネットワーク はじめに 最近機械学習から離れ気味ですが、何やらTensorFlowのDocumentを覗いたらTensorFlow内部のKerasがすごくいろいろな使い方できることに気が付きました。 （ちなみに、TensorFlowとは別の（いろいろなフレームワークをバックエンドにできる）Kerasの方はどうなっているのか知らないので申し訳ありません。） ということでそれを簡単にまとめておきたいと思います。本当に簡単に。 これまで通りの使い方 Kerasと言えばコレ：Sequential 最もよく知られている使い方ですね。 model=t
【佐藤理事インタビュー】ディープラーニング協会は国内のAI状況をどう見ているのか | AI専門ニュースメディア AINOW
最終更新日： 2019年7月10日 2017年10月、日本ディープラーニング協会（以下JDLA）の設立が発表されました。 ディープラーニングを中心とする技術による日本の産業競争力の向上を目指して設立されました。G検定やE資格などのイメージが強い方も多いでしょう。 日本ディープラーニング協会（JDLA）について詳しくは、この記事を参考にしてみてください。 日本ディープラーニング協会（JDLA） JDLAはいくつかの委員会に分かれて運営されています。検定事業は試験作成委員会が取りまとめており、他にもいくつかの委員会があります。 そして委員会の中で、ディープラーニングの産業活用を推し進めているのが、産業活用促進委員会です。言葉の通りディープラーニングを産業で活用していくために、さまざまな取り組みを進めています。 今回の記事は、普段はなかなか知ることができない産業活用促進委員会の活動について紹介し
Deep Learningによる一般物体検出アルゴリズムの紹介 - ABEJA Tech Blog
一般物体検出アルゴリズムの紹介 今回CNNを用いた一般物体検出アルゴリズムの有名な論文を順を追って説明します。 コンピュータビジョンの分野において、一般物体検出とは下記の図のように、ある画像の中から定められた物体の位置とカテゴリー(クラス)を検出することを指します。 [6]より引用 Deep Learningアルゴリズムの発展によって、一般物体認識の精度は目まぐるしい勢いで進歩しております。 そこで今回はDeep Learning(CNN)を応用した、一般物体検出アルゴリズムの有名な論文を説明したいと思います。 R-CNN (Regions with CNN features) (CVPR 2014) [1] かの有名なCNNの論文[8]で、ILSVRC 2012の物体認識チャレンジで大差をつけて1位になりました。 このチャレンジでは1枚の画像が1000クラスのうちどれに属するかを推定する
静止画なのに回って見える AIも「錯視」 ディープラーニングで再現に成功
静止画にも関わらず、まるで動いているかのように見える「蛇の回転錯視」を、ディープラーニングで学習する深層学習機（ディープラーニングマシン）で再現したと、基礎生物学研究所や立命館大学などの研究チームが発表した。錯視をディープラーニングマシンで再現した世界初の事例という。 「蛇の回転錯視」は、研究チームの一員である立命館大学の北岡明佳博士が2003年に考案した錯視。静止画だが、とぐろを巻いた蛇が回転しているかのように見える 今回、大脳の有力な理論の一つである「予測符号化理論」を組み込んだディープラーニングマシンを開発。大脳は入力される感覚情報を常に予測しており、その予測と実際の感覚情報との差分を学習していくとされる理論だ。その上で、このマシンが人間の脳機能どの程度再現しているか検証するため、蛇の回転錯視の知覚の再現を試みた。
Chainerは数多くの企業に支えられている！Preferred Networksこれまでの歴史 | AI専門ニュースメディア AINOW
最終更新日： 2019年7月10日 こんにちは。AINOWのなっぴです。 機械学習ライブラリは何を使っていますか？ ライブラリの中でも代表的なものが“Chainer”ですね。 Chainerはオープンソースの深層学習プラットフォームで、国内でAI業界を牽引するPreferred Networksが中心となって開発しています。 今回は、Preferred Networksのこれまでの歴史を追いました。 どのような企業がどんな形でPFNに関わっているのか。一目でわかるようにPFNの沿革を画像でまとめました。 Preferred Networks これまでの歴史 編集後記 PFNがChainerを作っている会社、ということしか知らなかった人も多いのではないでしょうか？ 大会で優秀な成績を残していたり、DeNAと会社を設立していたりなど、意外なPFNの沿革がわかりました。 IT企業だけでなく、大手
TensorFlowを使った機械学習を論文抽出に適用、ヒントは大学入試問題対策の裏ワザ
これを行ったのは、東京共済病院腎臓高血圧内科部長、東京医科歯科大学臨床教授などを務める神田英一郎氏。日本腎臓学会の組織した委員会による、慢性腎臓病（CKD）をテーマとした「エビデンスに基づくCKD診療ガイドライン2018」（未出版）の作成に関わった。その作成プロセスにおいて、論文スクリーニング作業の負担が重いことから、機械学習の活用を思い付き、「第3のスクリーニング担当者」を生み出した。 以下では、同氏の説明に基づき、これを紹介する。 「心の折れる作業」をどう軽減できるか 医療の世界では、「EBM（Evidence Based Medicine）」への取り組みが進められてきた。EBMとは、「医療行為は最新、最良の科学的根拠に基づいて行うべき」という考え方だ。診療ガイドラインは、EBM推進の観点から、臨床現場での意思決定における判断材料の1つとして利用することを目的とした文書で、各専門分野の
趣味で機械学習を駆使して「ラーメン二郎bot」を作ったら、役員に褒められ人脈も広がり、仕事のモチベーションがグッと上がった話 | HRナビ by リクルート
ラーメン二郎をディープラーニングで判定!? ラーメンフリークではなくても、「ラーメン二郎」の名前を耳にしたことは、一度くらいはあるだろう。濃厚な豚ベースのスープと極太麺が織りなす力強い味、丼からあふれんばかりの豪快な盛りつけを愛するラーメン二郎ファンは、「ジロリアン」と呼ばれ、関東を中心に40ある店舗（2017年11月現在）の前に今日も列をなしているはずだ。 そんな熱狂的なファンを擁するラーメン二郎は、いわゆる本部統制型の飲食チェーン店ではない。そのため内装や製法、具材、味、盛り付けが店舗ごとに異なる。こうした各店の違いや個性に目をつけ、ディープラーニングでどの店舗のラーメンかを画像で見分けるモデルを開発した人物がいる。NTTコムウェアで道路の不具合検知システムの技術開発に携わっている土井賢治さんだ。 ギーク仲間にウケたい一心で開発に着手 NTTコムウェア株式会社 ビジネスインキュベーショ
東京大学、機械学習を用いて0.5秒後の人間の動きをリアルタイムに推定する体動予測システム「Computational Foresight」を論文にて発表
東京大学、機械学習を用いて0.5秒後の人間の動きをリアルタイムに推定する体動予測システム「Computational Foresight」を論文にて発表 2017-11-17 東京大学 篠田・牧野研究室の研究者らは、機械学習を用いて0.5秒後の運動をリアルタイム推定する体動予測システム「Computational Foresight」を提案した論文を発表しました。 Computational Foresight: Forecasting Human Body Motion in Real-time for Reducing Delays in Interactive System 本稿では、Kinectを用いて人間の動きを測定し、ニューラルネットワークを用いて、リアルタイムに0.5秒後の人間の動きを推定し出力するシステムを提案します。 提案システムは、人体の動きをリアルタイムに推定するため
AlphaGo Zeroの論文の要約 : ブログ
AlphaGo Zeroが自己学習のみで過去最強になったというニュースが出たのでその元論文を読み、要約をしました。 まず感想を述べると、過去数千年にわたって蓄積してきた知識をAIが数時間で発見することに対する気持ち良さがありました。人間などクソ食らえと思っておりますので、こう言うニュースはとてもスッキリします。そして人間の発見していない打ち筋の発見にも感動しました。これこそがAIの真髄だと信じています。人間が見えていないものをAIが見つける、僕もいつかそんなことをしてみたいと思いながら生きています。 あともう一つ重要だと思ったのは、とてもネットワーク構造および学習過程が簡素化されたことです。マシンパワーも過去に比べて非常に少なく済み、個人でもすぐに再現実験ができそうなくらいです。AIが強くなることと、構造および学習のsimplerが同時に達成できていることが本質的だと思います。 一応、下記
Googleが出した囲碁ソフト「AlphaGo」の論文を翻訳して解説してみる。 - 7rpn’s blog: うわああああな日常
就活も無事終わったので，一番やりたかったAlphaGoの論文を翻訳しました。 ご存知の通り，長らく世界最強だった囲碁棋士イ・セドル九段を破ったGoogleの囲碁プログラムです。 論文の内容に触れつつ何となく解説入れていきたいと思います。なるべく囲碁やDeepLearningを知らない初心者の人とかでも仕組みを理解できるように分かりやすく書いていければいいなと思います。 原題は"Mastering the game of Go with deep neural networks and tree search"。 とりあえず最初の要約の訳から。 謎の単語とかは後から説明入れるので，さらっと流し読みしていただければ。 囲碁はこれまでAIにとってとても難しいゲームだとみなされてきた。それは探索範囲がとても広いことと，盤面の評価が難しいため。 この論文では，コンピュータを用いた囲碁の新しいアプロー
Word2Vec：発明した本人も驚く単語ベクトルの驚異的な力
Word2Vecとは Word2Vecで演算処理する Word2Vecとニューラルネットワーク Word2Vecの仕組み CBoW Skip-gram Word2Vecを応用することができる分野 レコメンド 機械翻訳 Q&A・チャットボット 感情分析 Word2Vecの弱点 Word2Vecの派生系や類似ツール GloVe WordNet Doc2Vec fastText まとめ 参考 世界中のWebサイトの数は2014年に10億件を超えたようだ。そして、Facebookのユーザー数だけでも16億人を超えている。 そして、そのいずれもコンテンツの中身の大部分はテキストから成り立っていることだろう。 ということは、莫大に増大し続けるネット上のデータのほとんどはどこかの国の言葉だってことだ。世界中の人が毎日テキストデータを生成し続けたことはこれまでの歴史上無かったんじゃないだろうか。 もしそん
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人工知能の未来はカナダにある？ ディープラーニングの生みの親、「AIインキュベイター」を開設
I picked the wrong week to quit sniffing Gluon: Amazon, Microsoft hope easy AI dev tool sticks