1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
先鋭化する大富豪の白人男性たち、警告する女性たち
先鋭化する大富豪の白人男性たち、警告する女性たち 2023.09.11 Updated by yomoyomo on September 11, 2023, 21:53 pm JST 「テックブロ（tech bro）」という言葉があります。IT業界で働く男性を指しますが、ケンブリッジ英英辞典によると、社交性に欠けるのに自身の能力を過信する米国の若い男性という含意もあるようです。 最近、この言葉が出てくる文章で気になったものがあるので、それらの紹介から始めたいと思います。 一つはダナ・ボイドの「メタバースは未だシカトさせていただきます」です。これはメタバースがテーマの新刊を送ってきた友人に対し、メタバースには一貫して興味がないと宣言する文章なのですが、彼女の拒否反応には理由があります。彼女は初期のバーチャルリアリティー（VR）の体験者であり、2014年にはVR体験の性差にフォーカスした「Oc
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
AIもうええわい
AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
OpenAI/GPT-3のプロンプトプログラミングとは何か?実際にやってみる
OpenAI/GPT-3のプロンプトプログラミングとは何か?実際にやってみる 2021.04.27 Updated by Ryo Shimizu on April 27, 2021, 08:05 am JST GPT-3は、イーロン・マスクやMicrosoftらが支援するOpenAIという組織によって公開された世界最高峰の自然言語AIと言われている。 膨大なパラメータを持ち、インターネット上のありとあらゆる文字情報を学習したもので、あまりに自然な文章が作れてしまうので一般公開が制限されるという、いわく付きのAIだ。 GPT-3を利用したアプリケーションには「プロンプトプログラミング」という手法が使われている。 これを使えば、欲しいプログラムが簡単に書けるのである。 これは非常に画期的なパラダイム(考え方)で、「プログラミング」という概念を大きく広げるものだと言える。 そこで「プログラミング
AIと「会話」しながらプログラミングが実現!弁護士やカウンセラーもAIへ
AIと「会話」しながらプログラミングが実現!弁護士やカウンセラーもAIへ 2020.06.13 Updated by Ryo Shimizu on June 13, 2020, 15:03 pm JST Facebookなどが支援するOpenAIが、OpenAI APIのβテストを発表し、waiting listへの登録が可能になった。 これに伴って、OpenAIの提供するAPIの利用イメージも公開されたが、これがちょっと衝撃的な内容なので非常に興奮した。 OpenAIといえば、あまりに精巧な文章が生成できるために危険を感じて公開を差し止めたという言語AIであるGPT-2が有名だが、今回公開されたOpenAI APIはこれをさらに改良したGPT-3に基づくモデルということになる。 そこで実現される機能は様々だが、ほとんどの人々の想像を遥かに上回る可能性を示してくれた。 たとえば、Wikip
社員のトリセツ 感謝は量より質！ 『妻のトリセツ』との共通点
社員のトリセツ 感謝は量より質！ 『妻のトリセツ』との共通点 2019.06.17 Updated by 特集：採用と活躍の技術 on June 17, 2019, 16:33 pm JST 『妻のトリセツ』（注1）が様々なメディアで取り上げられ話題となっている。この書籍は、妻にどのように接すればよいかを脳科学からのアプローチで解説したものである。実は、筆者がピープルアナリストとして企業の様々なデータを分析する中で、非常によく似た結果が導き出されているので、今回はその一部を紹介する。 『妻のトリセツ』によると、夫から妻に感謝の言葉をかけるとき、妻が施してくれたプロセス、例えば「毎朝味噌汁を作ってくれてありがとう」といったように具体的に感謝をすると非常に喜ばれるのに対し、結果だけに感謝をする、つまりただ「ありがとう」とだけ言うと妻は不愉快になるという。 私がコンサルティングを行っている一部の
深層学習の今のところの限界「何ができて、何ができないか？」
深層学習の今のところの限界「何ができて、何ができないか？」 2018.01.08 Updated by Ryo Shimizu on January 8, 2018, 08:29 am JST あけましておめでとうございます。 先日、MIT Technology Reviewにこのような記事が掲載されていました。 深層学習の過大評価は危険、ウーバーAI研究所の前所長が指摘 この論文を発表したのはニューヨーク大学の心理学者のゲイリー・マーカス教授。心理学者ということで、我々情報工学の立場とはまた違う立場で深層学習にできることとできないことを分離しています。 筆者はこのニュースを見て最初は反発したのですが、原文を読んでみると現状のディープラーニングの課題についてよくまとまっているのではないかと思いましたので紹介します。原文はこちら ■ディープラーニングの限界 マーカス教授によると、ディープラー
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ First Order rising 2017.12.19 Updated by Ryo Shimizu on December 19, 2017, 16:08 pm JST 深層学習分野で、NVIDIAの名を知らない者は潜りと言われても仕方がないでしょう。かつて日本の新聞社で、NVIDIAを「謎の半導体メーカー」と呼んで赤っ恥をかいた人がいますが、NVIDIAなくして深層学習の研究はままならないことは間違いありません。 というのも、深層学習に不可欠な積和演算機能に優れた半導体とAPIを提供しているのが、事実上世界にNVIDIA一社しかないからです。 Intelやその他のメーカーも頑張って入るのですが、NVIDIAが持つ多数の知的財産権の前に、後塵を拝しています。 それはそれで、NVID
日本のテック業界が人材獲得できない根深い理由
日本のテック業界が人材獲得できない根深い理由 Why Japanese companies cannot recruit good tech people 2017.07.25 Updated by Mayumi Tanimoto on July 25, 2017, 20:44 pm JST 欧州も北米も、かなり前からテック業界の悩みの種といえば、どうやって人材を獲得するかということであります。欲しいスキルを持った人が足りないので、留学生を採用したり、海外から人を入れるのが当たり前です。シリコンバレー、トロント、ニューヨーク、ロンドンのテック企業だとオフィスによっては過半数以上が外国人とうこともあります。理数系を学ぶ学生が足りないイギリスの場合は特に顕著で、ケンブリッジやロンドンの金融ITやテク企業はオフィスの8割が外国人とかそういう状態です。 スキルさえあれば誰でもいいという感じなので、
ロボホンのプログラミングに見る未来のプログラミング
ロボホンのプログラミングに見る未来のプログラミング 2017.07.30 Updated by Ryo Shimizu on July 30, 2017, 12:18 pm JST 過日、筆者の主催する「秋葉原プログラミング教室」で、特別無料講義としてシャープのロボホンをテーマにしたプログラミング教室が行われ、大盛況のうちに終了しました。 講師はロボホンの開発者として知られるシャープの景井氏と栗本氏で、シャープが公式に行うロボホンのイベントとしては東京で初の試みです。 講義は前半のロボホンをScratchで動かす方法のレクチャーから始まり、後半のハッカソンまで一気に進みます。 筆者は普段はScratchでのプログラミング教育には否定的ですが、ロボホンに限って言えばScratchによるプログラミングはむしろ合っているかなと感じました。 なぜかというと、ロボットに関してはプログラミングの方法が
「自動運転前提」社会と日本の選択
「自動運転前提」社会と日本の選択 2017.01.05 Updated by WirelessWire News編集部 on January 5, 2017, 07:20 am JST 内閣府がまとめた2060年までの労働力人口予測によると、出生率が大幅（2.07）に改善し、女性や高齢者の労働参加が進んだとしても、2013年から2060年までの約50年間に約1170万人の労働力人口が減少すると予測されている。2013年から2030年までの約20年間でも約292万人の労働力人口の減少が予測されている。 既に労働力の確保が課題となっており、将来さらに深刻になると予想されるのが、トラックドライバーである。2010年の段階で約2.9万人が不足していると指摘されていたが、2030年には約8.6万人が不足すると指摘されている。これはネット通販の普及に伴う運送需要の増加などが背景にある。しかし将来的には
第二世代人工知能の亡霊がもたらす”AIの冬”
第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ
深層ニューラル・ネットワークの効率を劇的に上げる「蒸留」
深層ニューラル・ネットワークの効率を劇的に上げる「蒸留」 2016.09.30 Updated by Ryo Shimizu on September 30, 2016, 12:59 pm JST 深層ニューラル・ネットワークの世界はつくづく進歩が著しいと思います。 筆者も日々怒涛のように押し寄せる新情報を取捨選択しながら、毎日異なる人工知能をプログラミングしてやっと追いついている、というのが実情です。額に汗しながら必死でこの恐ろしくも妖しい魅力を放つ怪物と寄り添おうとしています。 最近ようやく、機械学習ばかりやっている人たちが、実用的に機械学習を使うことよりも、機械が上手く学習できるようになることに喜びを見出す気持ちが分かってきました。 筆者は基本的にどんな技術にも実用性が第一と考え、そもそも一定以上複雑な事柄はブラックボックスとして理解しなくてもいい、という立場です。 しかしそれでも、
ポケモンGo「ストーリーがないから楽しめない」のは想像力が弱まっているのでは
ポケモンGo「ストーリーがないから楽しめない」のは想像力が弱まっているのでは Imagine no stories,I wonder if you can 2016.07.27 Updated by Ryo Shimizu on July 27, 2016, 22:30 pm JST 早くもポケモンGoに飽きたという声をちらほら聞くようになりました。 まあ飽きるのは勝手なので、勝手に飽きればいいと思うんですけど、それを聞いて筆者が思ったのは、「大丈夫かな?感性や想像力があまりにもなくなってない?」ということです。もっと簡単にいえば「老いぼれたなあ、ご同輩」という感想を抱いてしまいました。 曰く「ストーリーがないから」「中長期的な目標がないから」飽きた、ということなんですが、年をとると想像力がなくなっていって、どちらかというと作り手の都合ばかり考えてしまうのではないかなと思います。 今の40
イギリスがEU離脱した理由
イギリスがEU離脱した理由 Why UK left EU 2016.06.24 Updated by Mayumi Tanimoto on June 24, 2016, 13:38 pm JST イギリスのEU離脱を問う国民投票の結果、イギリスがEUを離脱することになりました。TwitterやメルマガでイギリスのEU離脱については書いてきましたが、残留予測の人が多かったにも関わらず、なぜイギリス有権者が離脱を選択したのかを疑問に思う方も多いでしょう。離脱の理由は、ヨーロッパを理解する上で、テック業界の方にも重要な事だと思いますので、以下まとめました そもそもEUってなによ？ ところでなぜイギリスが離脱したかを理解するには、そもそもEUとは何かを理解する必要があります。 EUというのは欧州連合（European Union）のことです。地域統合体と呼ばれる組織で、主権（自分で自分の国のことを
子供たちはどのようにプログラミングに夢中になるか
子供たちはどのようにプログラミングに夢中になるか Kids make a brighter day by programming 2016.03.28 Updated by Ryo Shimizu on March 28, 2016, 08:44 am JST 来月より、UEIのプログラミング教育の実験授業を拡大したプロジェクトがスタートします。 土曜日に開催した説明会にお越しいただいたのは主に都内在住の親子15組ほどと、親御さんだけ見学に来た方を含めて総勢40名ほどでした。 我々はなぜこのプロジェクトを始めようと思ったのか。 それは、今現在、プログラミング教育を単なる商売の道具として、低い志で運営されているケースが散見されているという危機感からです。 あるとき、古い友人から「子供をプログラミング教室に通わせたいのだが、この学校に通わせるならどのコースがいいだろうか」と相談を受けました。
知性とは何か AlphaGoの初戦で感じたこと
知性とは何か AlphaGoの初戦で感じたこと Daisy, Daisy! Planted one day... AlphaGo sings a requiem for humanity 2016.03.10 Updated by Ryo Shimizu on March 10, 2016, 07:38 am JST AlphaGoが人類最強の棋士と目されるイ・セドル9段を初戦で下しました。 このことは、囲碁関係者に大きな衝撃を与えています。 反対にAI関係者にとっては、残念ながら想像通りの結果になったと言えます。 AI関係者は、Googleがあそこまで断言するということは当然勝算あってのことだと考える人が多かったように思えます。仮に今回負け越したとしても、善戦すれば、数ヶ月のうちにさらに棋力を増し、いずれは打ち負かすだろうというのが大方の予想でした。 AlphaGoが一度でも人類のトップ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
