LLMの現在 - Speaker Deck今のLLMを取り巻く状況について紹介します。
これは衝撃!1.5Bで超高性能LLM!RWKV-5-World-v2｜shi3z
Transformerという手法は必ずしも万能でも効率的でもない。 むしろTransformerは非効率的だというのが一般的な見解だ。しかし、Transformerには実績があり、実績という壁の前には多少(かどうかわからないが)の非効率は無視される。 他にもHyenaなどもっと効率的と思われる手法が提案されているが、そうした提案の一つがRWKVである。 そもそもなぜTransformerが必要になったかというと、それまで言語モデルに用いられていたRNN(Recurrent Neural Network)は並列処理が難しかったからだ。並列処理が難しい理由は簡単で、言葉というのは過去から未来へ向かって一方向に進むからである。 言語モデルは全て「この文章に続く単語は何か」を予測し、それを連鎖的に繰り返していくが、RNNは単語をひとつひとつ選んでいかないと次の単語を原理的に予測できない。 これを並
ChatGPTとBardの対決を超える“事件”。無料の｢StableLM｣登場で｢AIの超民主化｣争いが始まった
2022年に画像生成AIで一大ムーブメントを巻き起こしたStableDiffusion（ステーブル・ディフュージョン）が4月19日、再びAIの世界を興奮の渦に巻き込んだ。 2022年末から爆発的に話題になり、岸田首相までが言及し、先進国首脳会議G7広島サミットの議題にも上がるという、OpenAIの｢ChatGPT｣に対抗する、完全にオープンでフリーな大規模言語モデル（LLM）｢StableLM｣を発表したからだ。 StableLMの登場は、LLM（大規模言語モデル）をめぐるこの半年の激変のなかで、象徴的な出来事だ。 勢力争いは、OpenAIとグーグル、メタ（Facebook）など｢巨大ITの対立軸｣で語られがちだが、今、LLMの世界で起きている勢力争いはそこではない。
AIもうええわい
AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である
GPT-4
We’ve created GPT-4, the latest milestone in OpenAI’s effort in scaling up deep learning. GPT-4 is a large multimodal model (accepting image and text inputs, emitting text outputs) that, while less capable than humans in many real-world scenarios, exhibits human-level performance on various professional and academic benchmarks. We’ve created GPT-4, the latest milestone in OpenAI’s effort in scalin
AI の次の重要な一歩
AI は、Google が現在取り組んでいる中で最も本質的なテクノロジーです。AI は、医師による病気の早期発見の支援や、自国語での情報へのアクセスなど、人々、ビジネス、コミュニティの潜在能力を引き出します。そして、数十億人の生活を大きく改善できる新しい機会を提供します。6 年前から、私たちが Google の方向性を AI 中心に再編し「世界中の情報を整理し、世界中の人がアクセスできて使えるようにする」という Google のミッションを果たす最も重要な方法に AI を据えているのは、これが理由です。 以来、私たちは全面的に AI への投資を継続し、Google AI と DeepMind のチームは最先端のテクノロジーを進化させています。現在、AI の計算規模は半年ごとに倍増していますが、それはムーアの法則よりもはるかに早いペースです。同時に、高度なジェネラティブ AI と大規模言語モ
Make-A-Video by Meta AI
Make-A-Video is a state-of-the-art AI system that generates videos from text. Make-A-Video research builds on the recent progress made in text-to-image generation technology built to enable text-to-video generation. The system uses images with descriptions to learn what the world looks like and how it is often described. It also uses unlabeled videos to learn how the world moves. With this data, M
TensorFlow.js | Machine Learning for JavaScript Developers
Deploy ML on mobile, microcontrollers and other edge devices
PythonとKerasを使ってAlphaZero AIを自作する | POSTD
自己対戦と深層学習でマシンにコネクトフォー（Connect4：四目並べ）の戦略を学習させましょう。 この記事では次の3つの話をします。 AlphaZeroが人工知能（AI）への大きなステップである2つの理由 AlphaZeroの方法論のレプリカを 作って コネクト4のゲームをプレイさせる方法 そのレプリカを改良して他のゲームをプラグインする方法 AlphaGo→AlphaGo Zero→AlphaZero 2016年3月、DeepmindのAlphaGo（アルファ碁）が、囲碁の18回の世界王者、李世乭（イー・セドル）との五番勝負で、2億人の見守る中、4-1で勝利しました。機械が超人的な囲碁の技を学習したのです。不可能だとか、少なくとも10年間は達成できないと思われていた偉業です。 AlphaGo 対 李世乭の第3局 このことだけでも驚くべき功績ですが、DeepMindは、2017年10月、
Googlerも学んだAI講座、「Learn with Google AI」で一般公開
この講座のオリジナルは、Googler（Googleの従業員）向けに開発したもので、これまでに1万8000人以上が受講した。その成果がDaydreamのカメラカリブレーションやGoogle EarhのVR機能、YouTubeのストリーミング品質の向上などに反映されているという。 関連記事 Google、プログラミングができなくてもAIツールを作れる「AutoML」のα版提供開始 Googleが、少量の教師データをアップロードして転移学習させるだけでAIツールを構築できる「Cloud AutoML」を発表した。まずは画像認識向けの「AutoML Vision」のα版を提供開始する。 Google、音声認識システム訓練用データセットをオープンソースで提供 Googleが、クラウドソーシングで集めた6万5000件の短い英単語の音声録音のデータセット「Speech Commands Dataset
［37選］機械学習ライブラリやフレームワークは？ 国内AI活用サービスのアーキテクチャを大調査！
［37選］機械学習ライブラリやフレームワークは？ 国内AI活用サービスのアーキテクチャを大調査！ Webのアーキテクチャ大調査の第二弾は「AI活用サービス」編。プログラミング言語や機械学習のライブラリをはじめ、フレームワークやツールの選定・設計もサービスによって異なります。ぜひ参考にしてください。 2017年4月に掲載したアーキテクチャ大調査の第二弾！ 今回は、人工知能（機械学習、深層学習、画像処理など）を活用したWebサービス・アプリを提供しているベンチャーを中心に、36のサービスで使用されているプログラム言語やフレームワーク、その他さまざまな開発ツールなどをヒアリングのうえまとめました。選定理由を記述いただいた12のサービスでは、それもあわせて紹介しています。 前回との違いは、当然ですがTensorFlowやKerasといった機械学習のライブラリが挙げられていること。また、技術領域もH
Deep Image Prior
Example results on several image restoration problems. We use deep neural networks, but we never train/pretrain them using datasets. We use them as a structured image prior. Deep convolutional networks have become a popular tool for image generation and restoration. Generally, their excellent performance is imputed to their ability to learn realistic image priors from a large number of example ima
AI企業としてのAdobeの戦略 （本編）｜深津 貴之 (fladdict)
隠れAIプレイヤーだったAdobeが、今回のMAXでいよいよ表舞台に立った。 前記事では、Adobeの構造と収益体制について解説した。今回は本編として、AdobeがAI戦略で、何を狙っているのかを考察する。 ＊注 筆者はAdobe社から、Adobe MAX 2017への招待を受けて参加しています。…が、それはそれとして中立で書きます。Adobeさん、都合の悪いこと書いてたらごめんなさい！ Adobeが学習しているモノは何か？AdobeのAIプレイヤーとしては、特殊性なポジショニングを持つ。その特殊性を理解するには、まずAdobeが何を学習しているのか？を理解しなければならない。多くの人々は、「AdobeのAIは画像認識」だと考えている。だが、それは大きな間違いだ。画像認識は、AdobeのAI群のわずか一部分にすぎない。 では、AdobeのAIの本質は何か？ Adobe Senseiの本質は
AI企業としてのAdobeの戦略 （前提編）｜深津 貴之 (fladdict)
今年のAdobe MAXの話題は、人工知能「Adobe Sensei」一色だった。 ステルスぎみのAI企業だったAdobeが、いよいよ浮上してきた今回のMAX 2017。 数年前から「AdobeはAI銘柄」と言い続けてきた僕としては、とても感慨深い。 以下、自身の雑感まとめ。大きな戦略レイヤーの話がメインなので、個々のテックはICSさんの記事などをご参考。 ＊注 筆者はAdobe社から、Adobe MAX 2017への招待を受けて参加しています。ですが、それはそれとして中立で書きます。Adobeさん都合の悪いこと書いてたらごめんなさい。前半エントリではAdobeのAI戦略を理解する前提として、「AdobeがAIや未来に投資しだした背景」、「Adobeのビジネス構造」の2つを論じる。 AI戦略の始まりは月額課金へのシフト まず最初に、AdobeがAIプレイヤーとして、急速に浮上してきた背景を
AlphaGo Zeroの論文の要約 : ブログ
AlphaGo Zeroが自己学習のみで過去最強になったというニュースが出たのでその元論文を読み、要約をしました。 まず感想を述べると、過去数千年にわたって蓄積してきた知識をAIが数時間で発見することに対する気持ち良さがありました。人間などクソ食らえと思っておりますので、こう言うニュースはとてもスッキリします。そして人間の発見していない打ち筋の発見にも感動しました。これこそがAIの真髄だと信じています。人間が見えていないものをAIが見つける、僕もいつかそんなことをしてみたいと思いながら生きています。 あともう一つ重要だと思ったのは、とてもネットワーク構造および学習過程が簡素化されたことです。マシンパワーも過去に比べて非常に少なく済み、個人でもすぐに再現実験ができそうなくらいです。AIが強くなることと、構造および学習のsimplerが同時に達成できていることが本質的だと思います。 一応、下記
Adobe MAX 2017のスニークス – 人工知能Adobe Senseiの活用技術 - ICS MEDIA
米Adobeアドビ Systemsシステムズが主催の世界最大のクリエイティビティ・カンファレンス「Adobe MAX 2017」（ネバダ州ラスベガス）。二日目の10月19日は「スニークス」と題してAdobeの研究中の技術が発表されました。スニークスはAdobe MAXで最大の盛り上がりをみせる恒例の人気イベントです。 ここで発表されたものは現時点では製品に搭載されていないものの将来的に製品に組み込まれるかもしれない技術。過去の例を挙げると、Photoshopのディフォグ（霧を増減させる）機能やマッチフォント機能、最新のPremiere Proに搭載されたイマーシブ空間内での編集機能もかつてスニークスで発表された技術です。本記事では発表された11のテクノロジーを、現地のイベントに参加したスタッフ（池田）がレポートします。 今年は人工知能Adobe Senseiをフル活用した次世代技術のオンパ
Google Analyticsの本気。AIによる無料アドバイス機能『Analytics Assistant』の衝撃 | Ledge.ai
案の定です。想定通りです。そしてやっぱり完全無料です。 先日の『Google I/O 2016』で、Googleは本格的に「AI：人工知能使って色々やっていくよー！」と高らかに宣言したわけですが、やっぱり来ました。 GoogleアナリティクスへのAssistant機能提供です。 Google 純正AIが無料で診断＆アドバイスしてくれるAnalytics Appの新タブ『Assistant』 まずは手始めに。ということなのか、Android＆iOS版オンリーでの提供となりましたが、すでに提供が開始されています。 現状は英語版Googleアナリティクスアプリのみの提供ですが、日本国内からでもOSの設定言語を英語に変えればすぐに利用可能。 現状確認されているものとしては、どうやら以下のような感じでアドバイスをくれるっぽいですね。 先月と比較しての新規ユーザーこんくらい増えてるよこの画面、パフォー
人工知能 病名突き止め患者の命救う 国内初か | NHKニュース
東京大学医科学研究所が導入した２０００万件もの医学論文を学習した人工知能が、専門の医師でも診断が難しい特殊な白血病を僅か１０分ほどで見抜き、治療法を変えるよう提案した結果、６０代の女性患者の命が救われたことが分かりました。人工知能は、このほかにも医師では診断が難しかった２人のがん患者の病名を突き止めるなど合わせて４１人の患者の治療に役立つ情報を提供していて、専門家は「人工知能が人の命を救った国内初のケースだと思う」と話しています。 このうち６０代の女性患者は当初、医師から「急性骨髄性白血病」と診断されこの白血病に効果がある２種類の抗がん剤の治療を数か月間、受けましたが、意識障害を起こすなど容体が悪化し、その原因も分かりませんでした。このため、女性患者の１５００に上る遺伝子の変化のデータを人工知能に入力し分析したところ、人工知能は１０分ほどで女性が「二次性白血病」という別のがんにかかっている
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RWKV-Gradio-1 - a Hugging Face Space by BlinkDL
グーグルの人工知能、今度は「小売店」で使われる