1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita
0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習データセットとモデルをさらに大きくすることでまだまだ性能向上する余地があるよ 1. Vision Transformerの解説 Vision Transformer(=ViT)の重要な部分は次の3つです。 入力画像 アーキテクチャ 事前学習とファインチューニング それぞれについて見ていきましょう。 1.1 入力画像 まず入力画像についてです。ViTはTransformerをベースとしたモデル(というより一部を丸々使っている)ですが、
GPT-3の衝撃 - ディープラーニングブログ
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
ゴリゴリの文系がＡＩをほぼ独学した半年 - Qiita
ゴリゴリの文系（偏差値４０前半）がAIを学んだ半年 どうも、ゴリゴリの文系です。 商業高校卒業したあと、文系学部にいったので、そこらへんの文系とは格が違います。 文系界のサラブレットです。 肝心な数学力ですが、高校で数学Aまで勉強して、大学で数学入門とっただけです。 つまり、戦闘力0.1ぐらいです。 これから勉強する人に向けてポエムをつらつらと書いていきます。 やってきたこと 実装から始めたい人はある程度参考になるかと。 理論から始めたい人は微積、線形代数、確率統計の基礎を習得してからcouseraに行くのが良いのではないでしょうか。（個人の感想です。） 独学はモチベドリブンでやんないとしんどいので自分でカスタマイズしていってください。 0ヶ月目 会社の研修でプログラミングの基礎を習得。 ここでJavaを勉強してそこそこ組めるようになりました。 研修が終わってから2日くらいかけて、pyth
ディープラーニングさえあれば、競馬で回収率100%を超えられる - Qiita
pohotos by Ronnie Macdonald **「AIが人間の仕事を奪う」と言われ始めてしばらく経ちますが、今や「幻滅期に入った」**なんて言われ方もしています。おかげで僕は仕事を奪われることもなく、毎日満員電車に揺られています。奪う奪う詐欺もいいとこです。 そんなAIの発展にはもう少し時間がかかりそうな一方で、学べる環境は簡単に手に入るようになりました。触るなら、皆が幻滅しかかっている今な気もします。ということで、今更ですがAIの力を知るべく、ディープラーニングに触れてみることにしました。 いろいろ試したのですが、ここでは結果をメインに**「無知の状態から勉強しても、ディープラーニングでこれぐらいは楽しめるよ」**ということを伝えてみます。プログラムはお手本になるようなものではないので、見たい人だけに有料で公開してみます。 Kaggleでディープラーニングのお手並み拝見 最初
翻訳：AIの冬は確実に近付いている (Filip Piekniewski) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事は、Filip Piekniewski氏のブログ記事 "AI Winter Is Well On Its Way" の翻訳です。 追記：Filip Piekniewski氏による本記事への補足も合わせてご覧ください。 翻訳：AIの冬はますます近付いている (Filip Piekniewski) AI Winter Is Well On Its Way ここ数年、ディープラーニングはいわゆるAI革命の最前線に位置付けられてきた。そして、多くの人が信じてきたところによると、ディープラーニングは我々をシンギュラリティ (汎用人工知能)
結構バズったので、AIによる自動着色の現状とその使い方についてまとめた～～人工知能技術の衝撃～～ - Togetter
自動着色ソフト（style2paints V4）が誰でも無料で使えるようになった。このソフトが生み出した様々な作品と、それを見た人々の反応をまとめました
【保存版】Pythonでデータサイエンスするための全体像と、必要な学習項目を初心者向けにまとめてみたよ！｜Dai
このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい！」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2. データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (
私の会社の機械学習経験ゼロの「ディープラーニングおじさん」が会社のAI戦略を動かすまで - karaage. [からあげ]
ディープラーニングおじさん 私の会社には「ディープラーニングおじさん」がいます。「います」といっても私が勝手に一人で心の中でそう呼んでいるだけですが…ともかく、今日はその「ディープラーニングおじさん」が、機械学習経験ゼロから、最終的に会社を動かすまでの華麗なる軌跡を紹介したいと思います。 なお、会社に関する情報は、私の都合である程度、虚実入り混じった情報になることご了承ください。今回の話で伝えたいことに関しては、影響は無い範囲とは思っています。 ディープラーニングおじさんの華麗なる軌跡 自分のツイートを「ディープラーニングおじさん」で検索したら、最初に引っかかったのが2016年10月ころでした。もう1年半くらい前ですね。 自分も個人で少しだけディープラーニング試したりしてるので、ディープラーニングおじさんに少しだけ自分の知ってる情報を提供してみたけど、おじさん何も聞かずに特攻しててワロタw
![私の会社の機械学習経験ゼロの「ディープラーニングおじさん」が会社のAI戦略を動かすまで - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/950160954750167c0e7f5b127c0ce7f51e44ff70/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F7abb2637acad84f5b5f565e7ea4afd698719e379%2Fbackend%3Dimagemagick%3Bheight%3D1300%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20180426%252F20180426235611.jpg)
東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]
新たな教育プログラム「DL4US」が開始しています。 2019年5月に、松尾研究室の新たなディープラーニングの無料教材「DL4US」が公開されています。「Deep Learning基礎講座演習コンテンツ」のバージョンアップ版の位置付けなので、今から学習する方はこちらに取り組んだ方が良いかと思います。 Dockerを使った環境構築方法を紹介している記事を書いたので、もし良ければ以下記事参照下さい。 Deep Learning基礎講座演習コンテンツが無料公開 以下のようなサイトが無料公開されていました。 学習に自由に使用してよいとのことです。ただ、肝心の使用方法が詳しく書いてないので、初心者には環境構築が厳しく、簡単に環境構築できる人にとっては、知っている内容のところが多い気がして、内容が良いだけにもったいなと感じました。 そこで、ちょっと初心者向けに環境構築の補足をしてみたいと思います。 そ
![東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/178ef5d03633f9e986d9fc47d72105e66fc029f6/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F40679927ee94e87b6757cfc6e5986acee028ca94%2Fbackend%3Dimagemagick%3Bheight%3D1300%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20180127%252F20180127134253.png)
Deep Image Prior
Example results on several image restoration problems. We use deep neural networks, but we never train/pretrain them using datasets. We use them as a structured image prior. Deep convolutional networks have become a popular tool for image generation and restoration. Generally, their excellent performance is imputed to their ability to learn realistic image priors from a large number of example ima
AlphaGo Zeroの論文の要約 : ブログ
AlphaGo Zeroが自己学習のみで過去最強になったというニュースが出たのでその元論文を読み、要約をしました。 まず感想を述べると、過去数千年にわたって蓄積してきた知識をAIが数時間で発見することに対する気持ち良さがありました。人間などクソ食らえと思っておりますので、こう言うニュースはとてもスッキリします。そして人間の発見していない打ち筋の発見にも感動しました。これこそがAIの真髄だと信じています。人間が見えていないものをAIが見つける、僕もいつかそんなことをしてみたいと思いながら生きています。 あともう一つ重要だと思ったのは、とてもネットワーク構造および学習過程が簡素化されたことです。マシンパワーも過去に比べて非常に少なく済み、個人でもすぐに再現実験ができそうなくらいです。AIが強くなることと、構造および学習のsimplerが同時に達成できていることが本質的だと思います。 一応、下記
東大のディープラーニング公開講座がヤバくていろいろ考えさせられた件｜加藤貞顕
１カ月ほど前から、東京大学の松尾研のディープラーニング公開講座に行っている。 ネットで募集していたのであわてて申し込んだら、とんでもない数の人が集まっていて熱気がすごい。学部生、院生、社会人、あわせて300人以上が同時に授業を受けている。 初回こそ、人工知能概論のような話だったけれど、2回目以降はものすごい速度で授業が進む。そして宿題の量と質もすごい。2回と3回目の授業だけで、普通の学校の半年分くらいの内容になっている気がする。東大、ほんとにやべーよ。 毎回、授業の冒頭は「ふんふん、そうか」とはじまるのだけれど、終わり間近に大量のサンプルコードを見せられて、それをすごい勢いで説明され、最後にゴツイ宿題が出る。授業終了後は、ポカーンってなる（授業中にぜんぶ理解しているひと、どれくらいいるんだろう）。 友人の物書堂の社長の広瀬くん（iPhone辞書アプリ開発の大御所！）も、たまたまいっしょに講
人工知能本読みすぎて飽きたけどその中でも記憶に残っている本を紹介する - 基本読書
この数年人工知能バブルかってぐらい人工知能関連本が出まくっていて、最初の頃は律儀に一冊一冊読んでいたもんだが、だんだん飽きてきた(そりゃ読みまくってるんだからそうだ)。やれ人工知能に仕事が奪われるだとか奪われない仕事はなんだとかの話は定番だが、定番すぎてそうそう新しい解釈が出てくるわけではない。消える仕事は消えるし、残る仕事の分野もだいたい明らかになってきている。 とはいえそれでも読んでいると「おお、これは視点が良いな」と思えるものもあり、そういうのは読んでいて楽しい。その書き手はやっぱり基本的には専門的な知識を持っている人たちだ。認知ロボット工学者であったり、AI研究所に勤めていたり、機械学習の専門家だったりする。最後のはまた特殊事例といえるが、本稿ではそうした人工知能本飽きた僕の中で記憶に残っている本をいくつか紹介してみようと思う。 まずは基本的なところを教えてくれる一冊 シンギュラリ
ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な（=32bitもしくは16bit）精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
例の機械学習コースが良いらしいと知りながらも2年間スルーし続けたがやはり良かったという話 - Qiita
先日、オンライン学習サイトCourseraの"Machine Learning"コースを修了しました。これが最高に勉強になったわけですが、機械学習に興味があって情報収集を始めてる人にとって、「Courseraの機械学習コースがおすすめですよ」という話は 「はい、知ってます」 という感じではないでしょうか。 （たとえば、Qiitaで検索してみると、以下のような同コースに関連する超人気記事が出てきます） 数学を避けてきた社会人プログラマが機械学習の勉強を始める際の最短経路 - Qiita 機械学習をゼロから1ヵ月間勉強し続けた結果 - Qiita 僕もそんな感じで、幾度となく人や記事に同コースを薦められたりしつつ、たぶん2年ぐらいスルーし続けてきたと思います。 しかし約2ヶ月前、ひょんなきっかけから本講座を始めてみて、やはり評判通り最高だったと思うと同時に、僕と同じような感じでこのコースが良い
Deep Learningによる一般物体検出アルゴリズムの紹介 - ABEJA Tech Blog
一般物体検出アルゴリズムの紹介 今回CNNを用いた一般物体検出アルゴリズムの有名な論文を順を追って説明します。 コンピュータビジョンの分野において、一般物体検出とは下記の図のように、ある画像の中から定められた物体の位置とカテゴリー(クラス)を検出することを指します。 [6]より引用 Deep Learningアルゴリズムの発展によって、一般物体認識の精度は目まぐるしい勢いで進歩しております。 そこで今回はDeep Learning(CNN)を応用した、一般物体検出アルゴリズムの有名な論文を説明したいと思います。 R-CNN (Regions with CNN features) (CVPR 2014) [1] かの有名なCNNの論文[8]で、ILSVRC 2012の物体認識チャレンジで大差をつけて1位になりました。 このチャレンジでは1枚の画像が1000クラスのうちどれに属するかを推定する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/kanae_udemy/status/1560872379240579072
「ゼロから作るディープラーニング」を動画でまとめている人がいたので紹介します。｜Dai
Deep Learning
