速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
日本語画像言語モデル「Japanese InstructBLIP Alpha」をリリースしました — Stability AI Japan
Stability AIは日本語向け画像言語モデル「Japanese InstructBLIP Alpha」を一般公開しました。入力した画像に対して文字で説明を生成できる画像キャプション機能に加え、画像についての質問を文字で入力することで回答することもできます。 Japanese InstructBLIP Alpha「Japanese InstructBLIP Alpha」は、先日公開された日本語向け指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を拡張した、画像を元にしたテキストが生成されるモデルです。 「Japanese InstructBLIP Alpha」は、高いパフォーマンスが報告されている画像言語モデルInstructBLIPのモデル構造を用いております。少ない日本語データセットで高性能なモデルを構築するために、モデルの一部を大規模な
複数のAIが話し合ってアプリを作るフレームワーク 米Microsoftなどの研究者らが開発
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoftや米ペンシルベニア州立大学などに所属する研究者らが発表した論文「AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation」は、複数のエージェントの会話を使用してさまざまな大規模言語モデル（LLM）ベースのアプリケーションを作成するためのフレームワークを提案する研究報告である。このフレームワークでは、各エージェントを容易にカスタマイズでき、多様なアプリケーションへの対応が可能となる。プロジェクトページはこちら。
GPT-4にお礼を言わなくても回答は向上する「プロンプト26の原則」アブダビの研究者グループが発表 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】
TOPコラム海外最新IT事情AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】 AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】 2024年1月23日 米Metaと米ニューヨーク大学に所属する研究者らが発表した論文「Self-Rewarding Language Models」は、大規模言語モデル（LLM）が自分自身に報酬を与えることで繰り返し学習する「自己報酬型言語モデル」を提案した研究報告である。このモデルは、自身が生成した問題に対する応答に報酬を割り当て、その結果をトレーニングデータとして使用。自己を反復して訓練することで、精度を向上させられる。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容
AI（LLM）についてまだみんなが知らない8つの事実（論文：Eight Things to Know about Large Language Modelsについて）
いかにも海外の煽り記事みたいなタイトルを付けてしまったが、おおむねそういう感じの内容の論文が発表されて、興味深かったので今回はそれについて書いてみたい。 最近、「AGIが人類を滅亡させる！」みたいなAI人類滅亡説がにわかに広がっているらしい。 これの言い出しっぺみたいな人は、ユドコウスキー氏という方らしいが、彼は何十年も前からAI脅威論を言っていたらしい。そういう人もいるとは思うが、最近はそれを真に受けちゃう人が増えてるらしい。ChatGPTの実力に驚いた人が増えたからだろうか。 ホワイトハウスでFox Newsの記者が「AIが人類を滅亡させるってホントですか？」と質問しちゃうというような、パニック映画さながらの出来事まで起きている。これはエイプリルフールではない。 ホワイトハウスでFox Newsの記者が「機械知能研究所の専門家がAI開発を無期限に停止しないと文字通り地球上のすべての人間
《3月28日配信》シンギュラリティはすでに起きている？ 予想を越えているAI技術とその空洞の中身
2022年末に登場したchatGPTは瞬く間に世界に広まり、多くの人がAIとの「会話」を体験しました。そしてこのことは、現在公開されているAIの限界にもふれることになりました。 現在、データを扱う多くの領域でAIの力は凄まじい進化を遂げています。ことに計算をすること、大量のデータから適切なものを選び出すこと、情報を組み合わせることといったオーダーに対する処理は、AIは人の能力を遥かに凌ぎます。シンギュラリティ（技術的特異点）が起きるのは2045年と言われていますが、すでに一部の領域ではAIは人を越えているといえるでしょう。 一方で、依然AIには自我や自意識、感情や欲望といった人間を人間たらしめているものがありません（「意識」が何かは深い議論が必要になるためここで述べることは一旦避けますが、対談のなかでは触れられることになるかもしれません）。そればかりか曖昧な事象に対する態度すら存在しないの
ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由
ChatGPTに世間が沸いている。 長年この分野を見てきた者としては｢ちょっと沸きすぎ｣のようにも見える。深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 ところが、世界中が驚かざるを得ないゲームチェンジャーが現れた。 その名も｢FlexGen｣と言う。2月15日に公開された。 特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを｢従来の100倍高速に動かせる｣上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。 つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場したことになる。 このインパクトがどれほどすごいのかを解説してみよう。 目次： ｢Google翻訳｣と｢大規模言語モデル｣は技術的にかなり近い 会話AIの正体とは何か ChatGP
絵心がない線画を“いい感じの作品”に変える画像生成AI「Sketch-to-Image」 Googleなどが開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Google ResearchとイスラエルのTel Aviv Universityに所属する研究者らが発表した論文「Sketch-Guided Text-to-Image Diffusion Models」は、落書きのようにざっと描いた絵を入力テキストに従って詳細な画像を生成する深層学習モデルを提案した研究報告だ。手描きのスケッチを任意のテキストプロンプトによるスタイル制御で、自然な高精細画像に変換する。 大規模なテキストから画像への拡散モデルは、与えられたテキストプロンプトに従った前例のない品質の多様な画像の合成を可能にし、コンテンツの作成と編集のための刺激的なツールとなってきた。 しか
世界中の伝統音楽のデータベース、慶應大が公開 1026民族、5776件の音声記録を掲載
世界地図上にマッピングされたポイントをクリックすることで、その地域の民族にゆかりのある音楽を再生できる。例えば日本の東北地方なら、安全を願うために歌われてきた「津軽山唄」、東京都なら作業時に歌われてきた「木遣節」がある。他にもヨーロッパやアフリカ、米国など世界各国の伝統音楽が聞ける。 2017年に暫定版としてデータベースを一度リリースしていた。研究チームは、改めて楽曲の種別や特徴などを見直し、呼吸方法や楽器情報など、より詳細な情報や会話などの音楽ではない音源も加え、データの正確性を上げて再度リリースしたという。 データベース中の全ての楽曲は、個人や研究での利用など非営利での使用を推奨しており、著作権とその文化継承者が許す範囲内のみで利用できる。今後も継続的に新しいデータも追加していくという。研究チームは「Global Jukeboxが他の研究者に刺激を与え、音楽の伝統や文化の進化に関する多
「どんな文章も3行に要約するAI」デモサイト、東大松尾研発ベンチャーが公開 「正確性は人間に匹敵」
東京大学・松尾豊研究室発のAIベンチャーELYZA（イライザ／東京都文京区）は8月26日、文章の要約文を生成するAI「ELYZA DIGEST」を試せるデモサイトを公開した。人間より短時間で要約でき、要約の正確性は「人間に匹敵する」という。今後も精度を高め、議事録作りやコールセンターでの対話メモ作成などでの活用を目指す。 同社は自然言語処理技術（NLP）の研究を進めており、日本語テキストデータの学習量・モデルの大きさともに日本最大級というAIエンジン「ELYZA Brain」を開発している。 ELYZA DIGESTは、大規模言語モデルを基に、要約というタスクに特化したAIとして開発。読み込んだテキストを基に、AIが一から要約文を生成する「生成型」モデルで、文の一部を抜き出す「抽出型」モデルなどと異なり、文の構造が崩れていたり、話者が多数いる会話文だったりしても、精度の高い要約文を生成でき
rinna社、日本語に特化したGPT-2の大規模言語モデルを開発しオープンソース化
rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開しました。 ■背景 rinna社は、MicrosoftのAI＆リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開発企業です。ディープラーニング技術を活用し、AIが文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表してきました。これらの最新技術は、当社が運営するAIチャットボット「りんな」や、会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボットである「AIキャラクター」の開発に応用され、企業のマーケティングなどにお使いいただいています
東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も | Ledge.ai
TOP > Article Theme > AI（人工知能）ニュース > 東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も 東京大学 松尾研究室は1月29日から、無料でディープラーニング（深層学習）や自然言語処理について学べる、短期間のオンライン講座の受講者を募集している。対象は学生（大学院、大学、高専、専門学校生、高校、中学など）。募集は2月8日（月）の10時00分まで。選考結果は2月15日（月）までに受講決定者にメールで連絡する。 今回、募集しているオンライン講座は「スプリングセミナー2021：深層強化学習」「プリングセミナー2021：深層生成モデル」「プリングセミナー2021：Deep Learning for NLP講座」の3つ。なお、人工知能（AI）研究の第一人者で、東京大学 松尾研究室を率いる松尾豊氏は企画・監修だけではなく、
「令和世代の顧客体験とエンゲージメントとは？ UX・CX・マーケのプロ3人が語ったこれからの体験設計」2019年4月22日開催 月例セミナーレポート第1部｜公益社団法人 日本アドバタイザーズ協会 デジタルマーケティング研究機構
トップ レポート 「令和世代の顧客体験とエンゲージメントとは？ UX・CX・マーケのプロ3人が語ったこれからの体験設計」2019年4月22日開催 月例セミナーレポート第1部 「令和世代の顧客体験とエンゲージメントとは？ UX・CX・マーケのプロ3人が語ったこれからの体験設計」2019年4月22日開催 月例セミナーレポート第1部 イベント報告 「顧客中心」「顧客体験」が、なぜこれほどまでに重視されているのか。どのような切り口で企業と顧客の関係を考えていけば、イマドキの、そしてこれからのビジネスで遅れをとらずに、顧客に選ばれるようになるのか。インフォバーン井登氏、ビービット宮坂氏、ニューバランス鈴木氏という、体験とマーケティングのプロフェッショナル3人が、事例と洞察からヒントを与えてくれた。 Web広告研究会2019年4月の月例セミナーが、「顧客中心主義の真の顧客体験とエンゲージメント」をテー
『IoT時代のインタラクションデザイン』に行ってきました。
明治大学の渡邊恵太先生の研究室共同研究成果発表展 『IoT時代のインタラクションデザイン』に行ってきました。 渡邊先生の著書の「融けるデザイン」を拝読して自分自身のものの見方、デザインの考え方が変わったこともあり、今回の研究室初の研究成果の展示会に行くのを楽しみにしていました。 ここでは見てきた作品の一部を紹介します。 『WorldConnector』 触覚を映像と一緒に再生する装置。 棒を握ると映像に合わせて棒に伝わる触覚が再生されます。 市販のカメラで映像と音（振動）を収録し、振動スピーカーと棒についたプロジェクターで映像を再生。 映像に合わせて自分も棒を動かすとよりリッチな触覚が返ってきました。 身近な機器を使って新しい体験を生み出していました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
うみゆき@AI研究 on Twitter: "はい、ゲームエンド。ハッキリ言ってControlNetの登場によって、今までの画像生成での複雑な呪文を試行錯誤してガチャ引きまくって何とかするパラダイムは試合終了しました。これからはプロンプトフリーになって、ボーンで直接構図やポーズを指定するAIレンダリングのパラダイムの始まりや https://t.co/st4tJMZIfo"
AIへの命令構文を研究した結果、ハイファンタジー系のモンスター設定画を安定生成できるようになった【7/16更新】
Q&A こんな学生を見かけたら |
株式会社MinD in a Device（マインド イン ア デバイス）
Qmedia
