1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
Open Interpreterで開かれた未来像 RPAツールをAIで作る
Open Interpreterで開かれた未来像 RPAツールをAIで作る 2023.09.12 Updated by Ryo Shimizu on September 12, 2023, 11:25 am JST OpenInterpreter(オープンインタープリター)が話題だ。 これはChatGPTの「Code Interpreter」をローカルで動かすというもの。 しかも、GPT-3/GPT-4のAPI以外にも、Llama2やFalconなどのローカル動作のLLMのエンジンにも容易に切り替えることができる。 筆者も早速試してみたが、これが非常に面白い。ChatGPT出現時くらいのインパクトがある。 筆者は最近、平日はほぼ毎日「教養としてのAI講座 / デイリーAIニュース」という有料番組を配信している。 この中で先週とりあげたのがOpen Interpreterだったのだが、この反
クリエイターの時代
クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。
帝国の興亡
帝国の興亡 2022.10.03 Updated by Ryo Shimizu on October 3, 2022, 05:12 am JST イタリアの探検家、アメリゴ・ヴェスプッチは43歳にして初航海に出かけた。 彼の航海の記録は1503年に論文「新世界」として発表され、ドイツで出版された。以来、その大陸は彼の名にちなんでアメリカと呼ばれるようになった。 ヴェスプッチが探検したのは主に南米で、コロンブスが発見したのはカリブ海のプエルトリコで、厳密には北米大陸を発見したわけでもない。 それから一世紀後にイギリスのバージニア株式会社が国王ジェームズ一世から勅許を得て、メリーランド州、バージニア州、カロライナ州の開拓を開始した。 アメリカ大陸への植民はビジネスであり、入植者は実質的にバージニア会社の社員と見做されていた。 しかし、先住民族との戦いや疫病といった障害から、最初期の200人の入
Web3の「魂」は何なのか？
Web3の「魂」は何なのか？ 2022.06.01 Updated by yomoyomo on June 1, 2022, 18:11 pm JST 昨年末、イーロン・マスクがTwitterで「誰かWeb3見たことある？ 見つけられないんだけど」とボケたところ、当時TwitterのCEOを退任したばかりのジャック・ドーシーがすかさず、「aからzの間のどこかにあるよ」とボケ返し、これを契機に小競り合いが起きるという一幕がありました。 ジャック・ドーシーの言う「aからzの間のどこか」とは、暗号通貨などブロックチェーン方面への積極的な投資により、もはやWeb3エコシステムを丸抱えせんとする、大手ベンチャーキャピタルのa16zことAndreessen Horowitzにあてこすったイヤミです。ジャック・ドーシーの批判は、「Web3を所有するのはベンチャーキャピタルとその投資先の企業であってウェブ
OpenAI/GPT-3のプロンプトプログラミングとは何か?実際にやってみる
OpenAI/GPT-3のプロンプトプログラミングとは何か?実際にやってみる 2021.04.27 Updated by Ryo Shimizu on April 27, 2021, 08:05 am JST GPT-3は、イーロン・マスクやMicrosoftらが支援するOpenAIという組織によって公開された世界最高峰の自然言語AIと言われている。 膨大なパラメータを持ち、インターネット上のありとあらゆる文字情報を学習したもので、あまりに自然な文章が作れてしまうので一般公開が制限されるという、いわく付きのAIだ。 GPT-3を利用したアプリケーションには「プロンプトプログラミング」という手法が使われている。 これを使えば、欲しいプログラムが簡単に書けるのである。 これは非常に画期的なパラダイム(考え方)で、「プログラミング」という概念を大きく広げるものだと言える。 そこで「プログラミング
欧州でチャレンジャーバンクが流行る理由と移民
欧州でチャレンジャーバンクが流行る理由と移民 Why challenger banks are popular in Europe 2018.07.25 Updated by Mayumi Tanimoto on July 25, 2018, 09:27 am JST 日本ではフィンテックの一部として報道されることが多い欧州のチャレンジャーバンクですが、日本ではその人気と空気感は伝わりにくいようですね。 代表的なのがドイツのN26、そして英国のRevolut、Monzoですが、これ以外にも次々とチャレンジャーバンクが生まれています。 チャレンジャーバンクのサービスの特徴というのはスマートフォン・ファーストで、ユーザーがスマートフォンでサービス申し込みから日々のサービスの使用までを実行すると想定しています。 その次の特徴というのは、日本ではなかなか報道されないのですが、国境を越えて移動する使
AlphaZeroの仕組みと可能性
AlphaZeroの仕組みと可能性 2018.02.07 Updated by Ryo Shimizu on February 7, 2018, 08:32 am JST AlphaZeroクローンはあちこちにあるが、どうも将棋とかオセロとか三目並べとか、ありきたりな題材しかない。 AlphaZeroの原理はモンテカルロ探索木なので、原理上は完全情報ゼロ和ゲーム、すなわち盤面の組合せが有限であるものは全て攻略できることになる。 出典:wikipedia Monte Carlo Search Tree しかし囲碁、オセロ、三目並べ、将棋、チェスが攻略できるだけでもそれなりにウレシイが、世の中にある問題の大半は完全情報ではない。現実の問題をAlphaZeroに入力する際には、不完全情報ゲームでも勝てる見込みがないといけない。 ところがいくら探しても僕の見える範囲では不完全情報ゲームを攻略したと
深層学習の今のところの限界「何ができて、何ができないか？」
深層学習の今のところの限界「何ができて、何ができないか？」 2018.01.08 Updated by Ryo Shimizu on January 8, 2018, 08:29 am JST あけましておめでとうございます。 先日、MIT Technology Reviewにこのような記事が掲載されていました。 深層学習の過大評価は危険、ウーバーAI研究所の前所長が指摘 この論文を発表したのはニューヨーク大学の心理学者のゲイリー・マーカス教授。心理学者ということで、我々情報工学の立場とはまた違う立場で深層学習にできることとできないことを分離しています。 筆者はこのニュースを見て最初は反発したのですが、原文を読んでみると現状のディープラーニングの課題についてよくまとまっているのではないかと思いましたので紹介します。原文はこちら ■ディープラーニングの限界 マーカス教授によると、ディープラー
海運セクターの改革、ブロックチェーンで荷物を運ぶ
海運セクターの改革、ブロックチェーンで荷物を運ぶ 2017.12.01 Updated by WirelessWire News編集部 on December 1, 2017, 07:00 am JST イスラエルの大手海運会社「ZIM統合海運事業会社」が、米国の「SPARX Logistics社」、イスラエルのスタートアップ「Wave社」と共に、海運業界に変革をもたらすかも知れない実証実験を行った。 記事（「Using blockchain, Israel's Zim eyes sea change in musty shipping sector」）によれば17世紀から変わっていないルールをブロックチェーン技術が変えることになるかも知れないという。運輸業者が荷主に対して、荷物を受け取ったことを証するために発行する船荷証券をブロックチェーンでペーパーレス化する。 モノを輸出する場合、輸出
第二世代人工知能の亡霊がもたらす”AIの冬”
第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
