加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
クリエイターの時代
クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。
GPTシリーズの限界と非連続的な進歩について
GPTシリーズの限界と非連続的な進歩について 2023.02.28 Updated by Ryo Shimizu on February 28, 2023, 09:04 am JST 先日、秋葉原の3331で開催されたテクノエッジ主催イベントでは、StableDiffusionを開発したStability.AIのジェリー・チーさんと、THE GUILDの深津貴之さんと筆者の三人で鼎談した。 残念ながらイベントのアーカイブは残っておらず、80人の席は全て即完売。 改めて考えると、会場が小さすぎるしチケットが安すぎる。 まあそれはいいとして、懇親会ではTwitterやnoteでしか見たことがなかった生成AI業界のスターたちに挨拶できて非常に嬉しかった。 講演の感想をいただく中で、「Scaling Lawについての話が一番面白かった」と言われたので、昔もこの連載でとりあげた気がするが、再度この段
知性の錯覚 ChatGPTの先にある「すべての人々が賢くなった世界」でおきること
知性の錯覚 ChatGPTの先にある「すべての人々が賢くなった世界」でおきること 2023.01.05 Updated by Ryo Shimizu on January 5, 2023, 16:02 pm JST 会話するように知識を引き出せるChatGPTと、言葉を支持するだけでプロ並みの絵を描くStableDiffusionは、これまでAIに直接触れることができなかった人たちも直接AIに触れることができ、その威力を実感できるというターニングポイントとなった。 筆者が長年追いかけてきた「コンシューマAI」の実現に端緒がつけられたわけである。 とはいえ、まだまだという部分もある。 先日、某大学院に通う知人が「ChatGPTで授業のレポートとか論文とか書けちゃいますね」とポロリとこぼした。 実際、筑波大学の落合陽一特任教授は、既に「ChatGPTが書いた文章か否か」を問うアンケートを配布し
手軽に作れるChatGPTクローンと本家ChatGPTを対決させてみた
手軽に作れるChatGPTクローンと本家ChatGPTを対決させてみた 2022.12.27 Updated by Ryo Shimizu on December 27, 2022, 18:50 pm JST LangChainというフレームワークを使うと、サンプルコードになんとChatGPTクローンというものがある。 LangChainは、まさにChatGPTのような、既存の大規模言語モデル(LLM;Large Language Model)を前提として、それを使いやすくするためのツールキットだ。 LLMとしては、ChatGPTでも使われているOpenAIのGPT-3(またはGPT-3.5相当)を使うこともできるし、GoogleのFLAN-T5 XLみたいなモデルも使える。詳しくはnpakaこと布留川英一のnoteを参照のこと。 ただ、このモデル、ChatGPTとちがってタダでは使えない
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第
ぼんやり上司とガツガツ上司、どっちが良いか
ぼんやり上司とガツガツ上司、どっちが良いか 2021.05.21 Updated by Ryo Shimizu on May 21, 2021, 08:45 am JST 「もっと派手に、若々しく」とか「うーん、違うんだよなあ」と、ぼんやりした指示しか出してくれない上司と、「ここは赤で」「明日までに見積書を書け」みたいにガツガツ仕事を進めてしまう上司、どっちがいいか、という問題について最近考えたことがあった。 ガツガツ上司の場合、部下はストレスは感じるがやりやすい。 上司が欲しがるものが明確化されているので、「赤にしろ」と言われれば赤にすればいいし、「見積書を書け」と言われれば書けばいいからだ。 それに引き換え、ぼんやり上司の下にいると、部下は苦労する。 なにしろ何をして欲しいのか明かされない。何をすればいいのか自分で考えなくてはならない。そして、何かやって持って行ったとしても、ぼんやり上
HoloLensの普及版は10万円以下 ではそれはどんな革命をもたらすのか
HoloLensの普及版は10万円以下 ではそれはどんな革命をもたらすのか Under $1000 holo graphics computing will come 2017.02.02 Updated by Ryo Shimizu on February 2, 2017, 03:56 am JST 筆者にとって、HoloLensの面白さが止まらないのです。 いま筆者はHoloLensを持ち歩いて毎日色んな人に体験してもらっているのですが、例外なくみんな驚きます。 HoloLensが開く世界・・・マイクロソフトではそれをホログラフィック・コンピューティングと呼んでいますが、そうした世界がやってくるとき、私達の暮らしはどのように変わっていくのでしょうか。 HoloLensの凄いところは環境適応性です。 3Dスキャナを搭載し、壁や天井、床、机といった場所を認識します。 一度認識してしまうと、
男だけの世界──Oculus Riftは性差別的か？ - WirelessWire News（ワイヤレスワイヤーニュース）
SNS 研究、特に10代の若者のソーシャルネットワーク利用に関する研究の第一人者であるダナ・ボイド（danah boyd）の新刊『It's Complicated: The Social Lives of Networked Teens』のことは半年以上前から注目していたのですが、刊行に際して公式サイトに書籍をまるごと PDF ファイルで、クリエイティブ・コモンズの「表示―非営利―継承」ライセンスで公開したのには驚き（つつも、これ幸いとダウンロードし）ました。 ティーンエイジャーのネット利用にまつわる神話の実態を解説し、彼らを取り巻くリスクを過大視する大人たちを諌める穏当さをもった本であり、ゴールデンウィークには感想を原稿にしようかとのんびり読んでいたのですが、平和博氏が『It's Complicated』の概要を紹介する「「デジタルネイティブ」は幻想だとダナ・ボイドはいう」というエントリ
WirelessWire News（ワイヤレスワイヤーニュース）- Philosophy of Safety and Security
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28
欧州委員会、サムスンを本格調査へ - 「FRAND」特許濫用の疑いで - WirelessWire News（ワイヤレスワイヤーニュース）
サムスン（Samsung）がスマートフォンやタブレット端末の分野で競合する各社を相手に自社特許の侵害をめぐって争っている裁判に関し、欧州委員会（European Commission）が、独占禁止法違反の疑いで同社の調査に乗り出したことが、現地時間31日に明らかになった。 欧州委員会は今回の調査について、サムスンがいわゆる「必須標準特許」（または「FRAND」特許）の侵害を理由にアップル（Apple）などの競合他社を訴えていることが、支配的な立場の濫用を禁じたEU条約の規定に触れる可能性があると説明しているという。 「必須標準特許」は、当該技術の広汎な普及を目的として、標準化団体から「公平で妥当かつ差別のない」（Fair, Reasonable and Nondiscriminatory：FRAND）やり方で他社へのライセンス提供を行うことが求められているもの。サムスンは1998年に、欧州
韓国はFRAND特許の「ならず者国家」 - あの知財専門家がサムスン対アップル判決を非難 - WirelessWire News（ワイヤレスワイヤーニュース）
FOSS Patentsのフローリアン・ミューラー（Florian Mueller）氏といえば、知財分野が専門のコンサルタントとして活動する人物で、すでに本サイトの読者諸兄にはお馴染みの名前かも知れない。そのミューラー氏が、韓国の裁判所で現地時間24日に出されたアップル対サムスンの特許訴訟に関する判決について、「ならず者国家」（"Rogue State"）という強い言葉を使って非難している。 （このミューラー氏、よくも悪くも話題に事かかない人物ーーAndroid支持派からは問題視されている部分もある人物にも思える。その点が気になる方はぜひ先に後半に目を通されたい）。 ミューラー氏がこの判決で問題としたのは、3G通信技術関連のいわゆる必須標準特許（FRAND特許）を使ってアップル（Apple）を訴えていたサムスン（Samsung）の主張が認められてしまった点。両社間の裁判をはじめ、各社が繰り
オリンピック開会式が自虐芸なイギリス - WirelessWire News（ワイヤレスワイヤーニュース）
オリンピックが開会いたしました。 ワタクシはその辺の庶民であり貧乏人ですから（ああ、このコラムが書籍化されてベストセラーにでもなれば金持ちになれますかね。その前にBLラノベでも書いた方が儲かりそうですが）開会式のチケットは買えませんでした。 誰が£2200もするチケットを買えたんでしょうか。謎です。 というわけで開会式は家で飲んだくれながらテレビ鑑賞していたわけです。 しかし、またやっちゃいましたね、イギリス。 普通開会式というのは「俺の国って行けてる！ウリリイイイイイ！！！」（ジョジョの奇妙な冒険のディオ様のお声でお読みください）と色々てんこもりで歌ったり踊ったりする会のはずなのですが、壮大な自虐Disり祭りミュージカルをやってくださいました。 北京の開会式は「中国でかい、凄い、偉い」という感じでしたね。。。（これが正当派といえば正当派） しかも外人には意味なネタに玄人にしかわからない渋
オリンピックなんだけど警備員雇うの忘れてたごめん - WirelessWire News（ワイヤレスワイヤーニュース）
オリンピックが全然盛り上がってないロンドンです。 開始まで二週間切りました。 が、ここはイギリスです。期待を裏切らない祭りが多数発生してございます。まるで夏休みの宿題が８月31日になっても終わらない小学生状態です。 祭り１：警備員雇うの忘れてました事件 オリンピックは世界中からろくでもない人々が集まってくるから警備を厳しくしなければいけない、というのがイギリス政府の前提です（最初から誰も信用しておりません） しかし、イギリス政府、勤労意欲のない自国の警察や軍隊じゃ警備員がたりないから、ということでG４なるマックの新機種のような名前の警備会社に警備員の採用と管理を外注しておりました。 ところが、オリンピック２週間前になり「ごめん。間に合わなかった。約束した人数雇ってないの知らなかったの。応募者は一杯いたんだけど、うーん、なんでかなあ、雇うの忘れてたのね。悪いけどオタクの軍隊でどうにかしてよ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
author:谷本真由美 - WirelessWire News（ワイヤレスワイヤーニュース）