加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
なぜ、微積分は役に立つのか
なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
クリエイターの時代
クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。
手軽に作れるChatGPTクローンと本家ChatGPTを対決させてみた
手軽に作れるChatGPTクローンと本家ChatGPTを対決させてみた 2022.12.27 Updated by Ryo Shimizu on December 27, 2022, 18:50 pm JST LangChainというフレームワークを使うと、サンプルコードになんとChatGPTクローンというものがある。 LangChainは、まさにChatGPTのような、既存の大規模言語モデル(LLM;Large Language Model)を前提として、それを使いやすくするためのツールキットだ。 LLMとしては、ChatGPTでも使われているOpenAIのGPT-3(またはGPT-3.5相当)を使うこともできるし、GoogleのFLAN-T5 XLみたいなモデルも使える。詳しくはnpakaこと布留川英一のnoteを参照のこと。 ただ、このモデル、ChatGPTとちがってタダでは使えない
8）基本のカレーベースをマスターする
8）基本のカレーベースをマスターする 2019.05.10 Updated by Toshimasa TANABE on May 10, 2019, 11:04 am JST これまで何度か簡単に紹介してきたカレーは、玉ねぎとトマトを使うものがほとんどだった。アルジラやひよこ豆のカレーなどが該当する。まずは、この基本となるトマトを使った「カレーベース」の作り方をマスターしてしまおう。組み合わせる素材を選ばないし、特徴のあるスパイスを追加することでさまざまな味わいにすることができる。とにかく応用範囲が広いカレーベースなのである。これを覚えるだけで、あるいは自分の好みに多少調整することで、いろいろなカレーのレシピをいちいち暗記する必要もなくなる。インドカレーというものが、ぐっと身近になり、手軽に感じられるようになるはずだ。 これまでは、材料の分量について詳細には言及してこなかったが、今回は「基
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第
牛の背に乗るネズミになれ! ソフトウェア思考のススメ
牛の背に乗るネズミになれ! ソフトウェア思考のススメ 2020.01.04 Updated by Ryo Shimizu on January 4, 2020, 14:06 pm JST 昨年一年間をかけて、僕は日本の大企業群を研究した。 大企業の中心で働く様々な人にインタビューし、彼らの会社が技術をどう捉え、ビジネスをどう捉えているかを知った。 どうしてこれほど海外のネット企業勢の蹂躙を許しているのだろうか、という疑問に答えるためだ。 そしてわかったのは、根本的に日本のビジネスシーンでは「ソフトウェア」が理解されていないということだった。 プログラミングではない。ソフトウェアである。 アメリカのネット企業のトップも全員がプログラマーというわけではない。 しかし、彼らはソフトウェア的発想、ソフトウェア的思考法というものをごく当たり前のように身に着けている。 これを僕は「ソフトウェア思考」と
ニューラルネットワークは21世紀のトランジスタである
ニューラルネットワークは21世紀のトランジスタである 2019.05.12 Updated by Ryo Shimizu on May 12, 2019, 18:10 pm JST 過日、スコットランドのグラスゴーで開催された世界規模のコンピュータ・ヒューマン・インタラクション学会、CHI2019に参加してきた。 そこで目にしたものは、もはや当然のように受け入れられているニューラルネットワークの数々である。 CHIという学会においては、ニューラルネットワークがなんら特別なものと認識されていない。 それどころか、そもそも「当然のように使う道具」として捉えられているのが非常に印象的だった。 例えば、東京大学の暦本純一研究室では、口腔内を超音波エコーでスキャンして、口腔の断面図からニューラルネットワークによって発音を推定し、スピーカーで再現することで無声状態でAmazon Alexaを起動するS
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には
AIエンジニアになる方法
AIエンジニアになる方法 How to change job to AI engineer. 2017.02.26 Updated by Ryo Shimizu on February 26, 2017, 15:03 pm JST AIに関することで、多くの研究者にとって不都合な真実が、まだ世間には理解されていません。 それは、AI研究者の大半は深層学習を専門にして「いない」ということです。 深層学習はAI研究の中では、機械学習という分野の、ニューラルネットワークという分野の、さらに一分野に過ぎません。 比率で言えば、95:5くらいの確率で、これまで「AIの専門家」と言われてきた人は深層学習の専門家「ではない」確率が高いわけです。 この些細な事実がなぜ「不都合」なのかというと、こうしてなにもかも一緒くたにされた結果、これまでほとんど成果の上げることができてなかった旧来のAI研究者に大量の予
ネットにしか居場所がないということ（後編）
ネットにしか居場所がないということ（後編） The Internet Is Not Therapy 2016.11.30 Updated by yomoyomo on November 30, 2016, 18:16 pm JST （前編はこちら） ウィキペディア編集者の墓標 ワタシもアンドリュー・マクミランの文章を読んで初めて知ったのですが、ウィキペディアの編集合戦がこじれにこじれるなどし、第三者の介入を余儀なくされたエリオットの事例は、実は例外的なものではなかったりします。英語版ウィキペディアは、7人からなるサポートチームを組織しており、ウィキメディア財団は、ウィキペディアにおける編集者同士の（メンタル面の問題を含む）深刻なトラブルを調査し、対応できるようにしています。 具体的には、最近の更新がボランティアのコミュニティのメンバーにより監視されており、何か問題があれば上記のチームに連絡
ネットにしか居場所がないということ（前編）
ネットにしか居場所がないということ（前編） The Internet Is Not Therapy 2016.11.29 Updated by yomoyomo on November 29, 2016, 16:05 pm JST 自分は誰かとつながりたい。自分は、それこそ、人間に対する優しい感情を失いたくない。（色川武大『狂人日記』） ウィキペディア編集者エリオット（仮名）の乱心 「シドニー郊外のある火曜日の夜、エリオットは家のコンピュータの前に座り、Wikipedia を編集しながら、彼が苦労して書いた文章をしきりに差し戻す仲間のボランティアと論争していた」 アンドリュー・マクミラン（Andrew McMillen）が、今年 Medium から大手雑誌出版社コンデナストに買収された人気ブログ BackChannel に寄稿した「Wikipedia Is Not Therapy!」は、そ
第二世代人工知能の亡霊がもたらす”AIの冬”
第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ
もうすぐ絶滅するという開かれたウェブについて
もうすぐ絶滅するという開かれたウェブについて This is Not the End of the Open Web 2016.08.22 Updated by yomoyomo on August 22, 2016, 10:31 am JST すっかり旧聞に属しますが、Internet Archive が主催し、これからのウェブのあり方を議論するイベント Decentralized Web Summit が6月に開かれました。 このサミットには "Locking the Web Open" というサブタイトルが付いていますが、逆に言えば、主催者には現在のウェブはオープンではないという認識があるわけです。それにいたる流れを少し辿りたいと思います。 そもそも Open Web（オープンウェブ、開かれたウェブ）という言葉が特に言及されるようになったのは、2010年だったと記憶します。その背景の
AppBank問題に見る経営と感情のバランス感覚
AppBank問題に見る経営と感情のバランス感覚 Point of view from MAX-Murai; Love and affair 2016.03.07 Updated by Ryo Shimizu on March 7, 2016, 09:31 am JST AppBankに次から次へと問題が発生しているようで、昔からマックスむらいこと、村井智建さんを知っている身としては、なんとも複雑な気分でニュースを眺めていました。 横領とか恐喝とか、物騒な話もでていますが、AppBank創業当初は強力なスポンサーの一人であったやまもといちろうさん(http://lineblog.me/yamamotoichiro/archives/3761695.html)にまで次々と厳しいツッコミを入れられていて、正直見ていて可哀想と思ったりもしました。 筆者が村井さんと知り合ったのは、まだiPhone
プレゼンをワンランクアップさせる3つのテクニック
プレゼンをワンランクアップさせる3つのテクニック Upgrade your presentation 2016.02.11 Updated by Ryo Shimizu on February 11, 2016, 07:12 am JST ベンチャーの経営者にとって最も重要なものはプレゼンテーションです。 投資家やビジネスパートナーを説得したり、社員を説得したり、顧客を説得したり、相手は様々ですが、どれも極めて重要です。 プレゼンテーションスキルの低い経営者は事業を失敗させる確率が高まります。 なぜなら、誰も説得できなければ、顧客を獲得できず、資金を獲得できず、社員には逃げられるからです。 筆者は幸いなことに、プログラマーでした。そして何より、ゲームプログラマーだったのです。 ゲームプログラマーは普通のプログラマーとは少し違います。 Webサービスや業務システムなどは保守性が最優先されます
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
坂和 敏 - WirelessWire News（ワイヤレスワイヤーニュース）
表計算と経営者の話 - WirelessWire News（ワイヤレスワイヤーニュース）