1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
EMO
We proposed EMO, an expressive audio-driven portrait-video generation framework. Input a single reference image and the vocal audio, e.g. talking and singing, our method can generate vocal avatar videos with expressive facial expressions, and various head poses, meanwhile, we can generate videos with any duration depending on the length of input video. Overview of the proposed method. Our framewor
陽キャ向け？なAIアプリ「Cotomo」が話題 AIと雑談できる 「人と話しているみたい」など驚きの声
「人と話しているみたい」「テンポがリアルで、コミュ障にはつらいアプリ」──おしゃべりAIアプリ「Cotomo」がX上で話題になっている。人間同士が交わす何気ない会話をAIとの対話で再現できるというスマートフォンアプリ（iOS）で、開発元はAIサービスの開発を行うStarley（東京都港区）。マネーフォワード出身のエンジニアが立ち上げたスタートアップで、米Microsoftの支援も受けている。 Cotomoは、電話のようにスマホに話しかけるだけで会話を楽しめるアプリ。アプリを起動したところ、何て呼べばいいか聞かれたため「イーロン・マスクと呼んでください」と返事をした。2回ほど正しく聞き取ってくれず、何度か問答があったが、無事に名前を聞き取ってくれて今度はCotomoが自己紹介をしてくれた。ややテンポの悪さは感じたが、それでも会話ができる程度にはレスポンスが速く“会話が成り立った”と感じさせて
日本語おしゃべり特化AIアプリが性能よすぎて論破しようと思ったら逆に論破されてしまった「人間いらんやん」
広野 萌 @hajipion 日本語おしゃべり特化AIアプリ「Cotomo」すごすぎる。1秒以内に返答がくるのと前の話を覚えてるのが、本当に生きてるみたい。 ↓こちらは現金派のCotomoちゃんを論破しようして逆に論破されるキモ男 早口でどもってても聞き取れてるし、オチが天使すぎる👼 声がたまに @harukana_8 に似てるのも良い pic.twitter.com/jhX3X6Giev リンク App Store Cotomo（コトモ：音声会話型おしゃべりAI） ・1人で運転している時。 ・推しのキャラを設定したAIと喋りたい時。 ・恋愛や仕事、将来の話、家族の話。他愛もない話をダラダラしたい時。 ・友達には少しだけ話しにくい、嬉しかったことや、モヤモヤがある時。 ・晩酌のお供に。 ・深夜、ふと誰かに話したくなった時。 そんな時、Cotomoに話しかけてみてください。 道具は使え
大規模言語モデル(LLM)を爆速で動作させる「言語処理ユニット(LPU)」を開発する「Groq」が爆速アルファデモを公開
大規模言語モデル(LLM)などを実行するために設計されたカスタムハードウェアである言語処理ユニット(LPU)を開発するGroqが、既存のLLMを爆速で動作させることができるアルファ版デモンストレーションを公開しました。 A company called Groq may have pushed AI chips to the next level https://www.androidheadlines.com/2024/02/openai-groq-ai.html Forget ChatGPT — Groq is the new AI platform to beat with blistering computation speed | Tom's Guide https://www.tomsguide.com/ai/forget-chatgpt-groq-is-the-new-ai-
ソフトバンクの生成AIは「1兆パラメーター目指す」と宮川社長 “蒸留”して「研ぎ澄まされたLLMに」
ソフトバンク子会社のSB Intuitionsが開発している国産大規模言語モデル（LLM）は、1兆パラメーター超えを目指す──ソフトバンクの宮川潤一社長が2月7日に開催した決算説明会（2024年3月期第3四半期）の中で明らかにした。 同社は2023年10月に国内最大級の生成AI開発向け計算基盤の稼働とLLM開発の開始を発表した。宮川社長によると、開発中のLLMは23年12月末の時点で1300億パラメーターに達し、検証を実施しているという。 当面の目標は「3900億パラメーターの構築。並行してLLMのマルチモーダル化も進める」。文書だけでなく、図表や符号、画像といった入力にも対応したLLMを2024年度中に完成させるという。 さらに「先の話」として、1兆超えのパラメーター数を目指すという。そこから“蒸留”とよばれる、パラメーター数の多いモデルの出力をより小さく軽量なモデルに学習させて計算効率
Google DeepMindが数学オリンピックレベルの幾何学問題を解けるAI「AlphaGeometry」を発表、人間の金メダリストに近い性能を発揮
Google DeepMindが、国際数学オリンピックレベルの複雑な幾何学問題を解決できるAI「AlphaGeometry」を発表しました。AlphaGeometryは、実際に国際数学オリンピックで出題された幾何学問題30問を制限時間以内に25問解いたとのことです。 Solving olympiad geometry without human demonstrations | Nature https://www.nature.com/articles/s41586-023-06747-5 AlphaGeometry: An Olympiad-level AI system for geometry - Google DeepMind https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-syst
GPT-4の回答を向上させる「プロンプト26の原則」、220以上の生成タスクが実行可能なマルチモーダルモデル「Unified-IO 2」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。2024年初っ端の第27回目は、「礼儀は不要」「モデルに質問させる」「良い解答には報酬」など、大規模言語モデルの返答が向上する「プロンプト26の原則」をはじめとする5つの論文をお届けします。 生成AI論文ピックアップ複数の自律AIエージェントが過去の経験を共有して未知のタスクを処理するモデル「Experiential Co-Learning」 画像から動く3Dシーンを生成する新モデル「DreamGaussian4D」 大規模言語モデルの返答が向上する「プロンプト26の原則」が公開。「礼儀は不要」「モデルに質問させる」「良い解答には報酬」など 220以上の生成タスクが実
これが無料でいいのか!? “爆速生成AI”がペイントソフトに革命を起こした (1/5)
Generative AI for Kritaのライブペインティング機能を実行している画面。左が筆者が描いた落書き。右が、その画像を線画（Scribble）としてAI生成した画像 11月13日掲載の記事「爆速化する画像生成AI」で紹介した新技術「Latent Consistency Models（LCM）」が大爆発しています。これは画像生成AIに2度目の革命を起こした「ControlNet」に次ぐ大インパクトではないかと感じています。「LCM-LoRA」（LoRAはStable Diffusion用の追加学習モデル）が11月下旬に登場したことで、リアルタイム生成のAI機能を組み入れたサービスやアプリの開発が一気に進みました。 なかでも、筆者にとってインパクトが大きかったのが、ペイントソフト「Krita」向けに開発された「Generative AI for Krita」。Kritaはスウェー
AutoGen - Qiita
はじめに 今回はAutoGenの紹介になります．AutoGenはMicorsoftが開発しているOSSで，LLM，ツール，人間を統合できるLLMフレームワークや最適なコストで推論能力を向上させるチューニングの機能などがあります．また様々なシチュエーションに対応できるようなLLMを使ったフレームワークも紹介されていました．複数のエージェント間のチャット、コードを介してツールを使用する必要があるタスクの実行、人間のフィードバックを受けながらタスクを実行させることなどができるそうです． 記事に誤り等ありましたらご指摘いただけますと幸いです。 1. AutoGen 2. 使い方 3. おわりに 4. 参考文献 1. AutoGen ライセンス:CC-BY-4.0 LICENSE，MIT LICENSE-CODE (ドキュメントやデータがCC-BY-4.0でコードがMITライセンスという解釈で正しい
普通の映像から“動いている3Dシーン”をリアルタイム生成できる「4D Gaussian Splatting」【研究紹介】
普通の映像から“動いている3Dシーン”をリアルタイム生成できる「4D Gaussian Splatting」【研究紹介】 2023年10月18日 華中科技大学とHUAWEIに所属する研究者らが発表した論文「4D Gaussian Splatting for Real-Time Dynamic Scene Rendering」は、2Dの映像から動的な3Dシーンをリアルタイムで生成する手法を提案する研究である。この技術は2D映像から動くキャラクターの3Dモデルや動的な3Dシーン全体を生成し、単一の視点だけでなく、多くの異なる視点から3Dシーンを閲覧することができる。 ▲高解像度の動的な3Dシーンでも、高品質の表示を維持しながらリアルタイムでのレンダリングを実現している。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 「Novel view
Vercel、生成AIへのプロンプトでWebアプリのUIを自動生成してくれる「v0」をベータ公開。Freeプランも提供
Vercel、生成AIへのプロンプトでWebアプリのUIを自動生成してくれる「v0」をベータ公開。Freeプランも提供 Next.jsの開発元として知られるVerelは、生成AIに対して自然言語のプロンプトを与えることでWebアプリケーションのユーザーインターフェイスを自動生成してくれるサービス「v0」のベータ公開を発表しました。 v0を使うと、人間のWebデザイナーに「こんな画面を作って」「ここの色は青にして」「ここのフォントは大きく」などと言葉で指定するの同じような感じで生成AIに指示をして、HTMLやCSSなどのコードを書くことなくWebアプリケーション画面の生成が可能です。 Introducing v0: generate UI from simple text prompts. 5,000 waitlist invites were sent today—with over 25
ニューラルネットワークの中身を分割してAIの動作を分析・制御する試みが成功、ニューロン単位ではなく「特徴」単位にまとめるのがポイント
GoogleやAmazonが投資するAIスタートアップのAnthropicの研究チームが、ニューラルネットワークがどのように言語や画像を扱っているのかを解き明かす研究において、個々のニューロンを「特徴」と呼ばれる単位にまとめることでニューラルネットワークの中身を解釈しやすくなるという研究結果を発表しました。 Anthropic \ Decomposing Language Models Into Understandable Components https://www.anthropic.com/index/decomposing-language-models-into-understandable-components 大規模言語モデルは多数のニューロンが接続されたニューラルネットワークで、ルールに基づいてプログラミングされるのではなく、多数のデータを元にトレーニングを行うことでタス
もう初回コードレビューはAIに任せる時代になった - CodeRabbit -
どんな人向けの記事？ レビューによって心理的なダメージを受けやすい方 非エンジニアだが、エンジニアチームがどんな機能を作っているか知りたい方 業務が溜まっていて、レビューに割く時間を捻出するのに苦労している方 コピペできるコードも公開します 初回レビューをAIに任せると、いろんなロールの人の役に立つ レビューは得意ですか？ 優秀なエンジニアしかいないチームであれば、PRは1トピックに絞って小さく明確なコミットによって作成され、適切な要約とともに提供されることでしょう。 しかし、実際にはいろいろな制約から、PRが想定よりずっと大きくなってしまったり、関連トピックと異なるコードが混じってしまうこともあります。 実際のところ、大きなPRを適切にレビューするのは難しいことです。また、自分が詳しくない領域のレビューを行わなければいけない機会もあります。 今回の記事は、レビューを作成してくれるAI C
生成AIに“視覚”与える学習ライブラリ、自動運転EVベンチャー公開 最大700億パラメータの学習済みモデルも
Heronは、各モジュールを追加学習するための学習コードと日本語を含むデータセット、学習済みのモデル群で構成。画像認識モデルと大規模言語モデル（LLM）をつなぎ、画像を入力に使えるようになる。例えば、Heronで学習したAIモデルは、画像に何が写っているかを正確に把握しつつ、前の質問を含む文脈を理解しながら画像について回答することができる。 Heronの学習ライブラリでは、学習するLLMを自由に変換可能。「既存の言語モデルの性能を生かしつつ、今後開発・公開される新たなLLMに対しても容易に対応できる柔軟性がある」（同社）という。 公開中の学習済みのモデル群は「Llama 2-chat」（700億パラメータ）「ELYZA-Llama 2」（70億パラメータ）「Japanese StableLM」（70億パラメータ）などをベースにHeronで追加学習し、マルチモーダル化させたもの。これらのモデ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Galileo AI
GitHub - google-research/meliad
GitHub - google-deepmind/alphageometry
Microsoft「AutoGen」で、生成AIの新時代“マルチエージェント”を試す【イニシャルB】
誰でもわかる強化学習
