加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
先鋭化する大富豪の白人男性たち、警告する女性たち
先鋭化する大富豪の白人男性たち、警告する女性たち 2023.09.11 Updated by yomoyomo on September 11, 2023, 21:53 pm JST 「テックブロ（tech bro）」という言葉があります。IT業界で働く男性を指しますが、ケンブリッジ英英辞典によると、社交性に欠けるのに自身の能力を過信する米国の若い男性という含意もあるようです。 最近、この言葉が出てくる文章で気になったものがあるので、それらの紹介から始めたいと思います。 一つはダナ・ボイドの「メタバースは未だシカトさせていただきます」です。これはメタバースがテーマの新刊を送ってきた友人に対し、メタバースには一貫して興味がないと宣言する文章なのですが、彼女の拒否反応には理由があります。彼女は初期のバーチャルリアリティー（VR）の体験者であり、2014年にはVR体験の性差にフォーカスした「Oc
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
無価値だった検索と今無価値に思える作画AI。その先にある行動の生成
無価値だった検索と今無価値に思える作画AI。その先にある行動の生成 2022.10.29 Updated by Ryo Shimizu on October 29, 2022, 07:51 am JST 過日、幕張メッセで開催された「AI・人工知能EXPO」内のブースでコネクトームデザイン社の佐藤社長と対談する機会があった。 その時、佐藤社長から出された問いが、「検索から生成、そして創造とはどういうことか?」という最近の筆者の提言に対するシンプルな疑問だった。 人前で話をするというのは面白いもので、こういう問いかけを受けると、その場でそれまで自分が思いもしなかったような答えが出てくる。 知性が単独では存在意義を持たず、複数の知性が考えをぶつけあって思想が育つ、まさにその瞬間に出くわした。なかなか久々の感覚である。 かつて、検索は無価値だった。 いまだに「検索」にお金を払う人はいない。 検索
Web3の「魂」は何なのか？
Web3の「魂」は何なのか？ 2022.06.01 Updated by yomoyomo on June 1, 2022, 18:11 pm JST 昨年末、イーロン・マスクがTwitterで「誰かWeb3見たことある？ 見つけられないんだけど」とボケたところ、当時TwitterのCEOを退任したばかりのジャック・ドーシーがすかさず、「aからzの間のどこかにあるよ」とボケ返し、これを契機に小競り合いが起きるという一幕がありました。 ジャック・ドーシーの言う「aからzの間のどこか」とは、暗号通貨などブロックチェーン方面への積極的な投資により、もはやWeb3エコシステムを丸抱えせんとする、大手ベンチャーキャピタルのa16zことAndreessen Horowitzにあてこすったイヤミです。ジャック・ドーシーの批判は、「Web3を所有するのはベンチャーキャピタルとその投資先の企業であってウェブ
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし
AI革命の行き着くところ。Store of Abilities
AI革命の行き着くところ。Store of Abilities Store of Abilities; The Ultimate Goal of AI research 2019.12.24 Updated by Ryo Shimizu on December 24, 2019, 10:22 am JST ほんとうの答えというのはいつも目の前にある。 けれども、そうであることに気づかない。こちらに準備ができていなければ。 先日、東京大学の暦本先生に講演をお願いした際に、「AIの完成形はIoTではなくIoAなんですよ。Internet of Abilitiesです。必要な能力(Ability)を必要なときに必要なだけダウンロードして使うようになるんです。人間がスマホのようになるんですよ」と力説されていた。 暦本先生は映画「マトリックス」で、トリニティがヘリコプターの操縦方法をダウンロードする
税制で貧富格差の拡大を防ぐことはできるか
税制で貧富格差の拡大を防ぐことはできるか 人と技術と情報の境界面を探る #009 2017.06.19 Updated by Shinya Matsuura on June 19, 2017, 07:00 am JST 貧富の格差を放置して良いと思う人はいないだろう。だが、なぜ放置してはいけないのだろうか。 答えは、「貧富格差が拡大すると、社会が荒廃し、さらには経済が回らなくなるから」だ。 富める者と貧しき者の間の格差が大きくなると、2つの社会階層が分離する。食べ物や飲み水の質、居住地域の治安、子弟が受けることのできる教育——すべてが二極分化する。 格差の拡大は同時に社会を「我々とあいつら」に分断する。「あいつらは、我々が手に入れることができない寝床に寝て、手に入れることができない高級車に乗り、手に入れることができない食い物を食べている」という恨みと、「あいつらは、臭くて汚いところに済み、
第二世代人工知能の亡霊がもたらす”AIの冬”
第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ
イギリスがEU離脱した理由
イギリスがEU離脱した理由 Why UK left EU 2016.06.24 Updated by Mayumi Tanimoto on June 24, 2016, 13:38 pm JST イギリスのEU離脱を問う国民投票の結果、イギリスがEUを離脱することになりました。TwitterやメルマガでイギリスのEU離脱については書いてきましたが、残留予測の人が多かったにも関わらず、なぜイギリス有権者が離脱を選択したのかを疑問に思う方も多いでしょう。離脱の理由は、ヨーロッパを理解する上で、テック業界の方にも重要な事だと思いますので、以下まとめました そもそもEUってなによ？ ところでなぜイギリスが離脱したかを理解するには、そもそもEUとは何かを理解する必要があります。 EUというのは欧州連合（European Union）のことです。地域統合体と呼ばれる組織で、主権（自分で自分の国のことを
知性とは何か AlphaGoの初戦で感じたこと
知性とは何か AlphaGoの初戦で感じたこと Daisy, Daisy! Planted one day... AlphaGo sings a requiem for humanity 2016.03.10 Updated by Ryo Shimizu on March 10, 2016, 07:38 am JST AlphaGoが人類最強の棋士と目されるイ・セドル9段を初戦で下しました。 このことは、囲碁関係者に大きな衝撃を与えています。 反対にAI関係者にとっては、残念ながら想像通りの結果になったと言えます。 AI関係者は、Googleがあそこまで断言するということは当然勝算あってのことだと考える人が多かったように思えます。仮に今回負け越したとしても、善戦すれば、数ヶ月のうちにさらに棋力を増し、いずれは打ち負かすだろうというのが大方の予想でした。 AlphaGoが一度でも人類のトップ
ショートカットキーはマウスより遅い - WirelessWire News
CTRL+Xでカット、CTRL+Vでペースト。 ショートカットキーの使い方を覚えると、パソコンの達人になったような気分になりますよね。 しかし、実際にはショートカットキーを使用すると、マウスでメニューから「編集」「ペースト」を選ぶよりも平均2秒も遅いのです。 「そんなバカな」 と思いますよね。 しかし、これはTogことブルース・トグナッツィーニがAppleでMacintoshの開発を担当した際に行った膨大な実験の結果、解ったことなのだそうです。 これはTogのWebページでも詳しく紹介されています。 しかし2秒とはとても信じられません。 むしろ逆のようにさえ感じます。 しかしTogの主張によれば、我々ユーザはショートカットキーを選ぶのに2秒かかっているものの、ショートカットにたどり着くまでの時間を喪失している、つまりプチ記憶喪失状態になっているというのです。 こんな不思議な話が、慶應
日本でプログラマが少ない理由は正当な対価を支払わないからである - WirelessWire News（ワイヤレスワイヤーニュース）
「日本史なんかより、プログラミングを教えるべき」三木谷浩史氏と夏野剛氏が日本の技術者不足を嘆く この対談がテクノロジー界隈の怒りを買って大炎上しております。三木谷氏と夏野氏曰く、日本史なんか教えなくていいからプログラミングを教えろ、日本でプログラマが足りない理由は工学系とかプログラム系を学ぶ学生が少ないから、だそうであります。つまり、それらを学ばない若い人が悪い、ということの様です。 しかし日本と欧州や北米の現場をみて来た自分からすると、お前ら一体何言ってんだということを申し上げたい。 日本で通信系やIT系の技術者が増えない理由は、ずばり、それら業界がエンジニアを大事にしないからでしょう。 このブログでも再三書いていますが、欧州だと、弱小ベンダーだって日本の様なデスマーチとは無縁です。就労環境の良さは比較になりません。インフォメーションアーキテクトなら年収２千万を軽く越える人だっています。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
