加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
BlueskyやThreadsに受け継がれたネット原住民の叡智
BlueskyやThreadsに受け継がれたネット原住民の叡智 2024.04.15 Updated by yomoyomo on April 15, 2024, 14:17 pm JST 旧聞に属しますが、少し前にBlueskyを眺めていて、マイク・マズニックが「ガチギレしてごめん。我慢ならなかった」とTechdirtの記事を告知する投稿をみて、相変わらず意気盛んだなと微笑ましく思った話から今回は始めたいと思います。 マズニックがガチギレしたのは、「バーチャルリアリティーの父」ジャロン・ラニアーと政治学者でミドルベリー大学教授のアリソン・スタンガーがWIREDに寄稿した「すべてを救えるインターネット・ハック」という記事で、これは前回の文章でも触れた、ユーザー生成コンテンツに対するプラットフォーム企業の免責条項を定めたとも言われる通信品位法230条の撤廃、つまりは「インターネットを生み出し
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
クリエイターの時代
クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。
手軽に作れるChatGPTクローンと本家ChatGPTを対決させてみた
手軽に作れるChatGPTクローンと本家ChatGPTを対決させてみた 2022.12.27 Updated by Ryo Shimizu on December 27, 2022, 18:50 pm JST LangChainというフレームワークを使うと、サンプルコードになんとChatGPTクローンというものがある。 LangChainは、まさにChatGPTのような、既存の大規模言語モデル(LLM;Large Language Model)を前提として、それを使いやすくするためのツールキットだ。 LLMとしては、ChatGPTでも使われているOpenAIのGPT-3(またはGPT-3.5相当)を使うこともできるし、GoogleのFLAN-T5 XLみたいなモデルも使える。詳しくはnpakaこと布留川英一のnoteを参照のこと。 ただ、このモデル、ChatGPTとちがってタダでは使えない
AIと「会話」しながらプログラミングが実現!弁護士やカウンセラーもAIへ
AIと「会話」しながらプログラミングが実現!弁護士やカウンセラーもAIへ 2020.06.13 Updated by Ryo Shimizu on June 13, 2020, 15:03 pm JST Facebookなどが支援するOpenAIが、OpenAI APIのβテストを発表し、waiting listへの登録が可能になった。 これに伴って、OpenAIの提供するAPIの利用イメージも公開されたが、これがちょっと衝撃的な内容なので非常に興奮した。 OpenAIといえば、あまりに精巧な文章が生成できるために危険を感じて公開を差し止めたという言語AIであるGPT-2が有名だが、今回公開されたOpenAI APIはこれをさらに改良したGPT-3に基づくモデルということになる。 そこで実現される機能は様々だが、ほとんどの人々の想像を遥かに上回る可能性を示してくれた。 たとえば、Wikip
AO入試偏重は技術立国の自殺であり階層を固定する - WirelessWire News（ワイヤレスワイヤーニュース）
２ちゃんねらーが揶揄するために作ったのかと思われた声に出して読みたい日本語「AO義塾」がバズっています。 声に出して読みたい日本語「AO義塾」は慶応大等のAO推薦入試専門塾であり、大変高い合格率を誇る事で有名です。そもそもこういう対策塾があった事も驚きですが、その合格率の高さは寡占状態のようにも見えます。 この塾に在籍する高校生の少なからぬ人々が、小４偽装疑惑で話題となったNPO「僕らの一歩が日本を変える」にも在籍しているからか何なのか知りませんが、なぜかこの塾の塾長氏がこの件で謝罪しております。 長渕剛に桜島の上で歌って爆発して欲しいわという感じのポエマー魂を発揮し、火の粉にウランを注ぎ込んでおり、AO推薦入試というのはポエムが得意な人を選抜する芸術性を重視する試験なのだなということを再認識した次第です。 青木大和と彼がご迷惑をおかけした全ての皆様へ さて、このAO推薦入試というのは、ワ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
