1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
AIもうええわい
AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である
帝国の興亡
帝国の興亡 2022.10.03 Updated by Ryo Shimizu on October 3, 2022, 05:12 am JST イタリアの探検家、アメリゴ・ヴェスプッチは43歳にして初航海に出かけた。 彼の航海の記録は1503年に論文「新世界」として発表され、ドイツで出版された。以来、その大陸は彼の名にちなんでアメリカと呼ばれるようになった。 ヴェスプッチが探検したのは主に南米で、コロンブスが発見したのはカリブ海のプエルトリコで、厳密には北米大陸を発見したわけでもない。 それから一世紀後にイギリスのバージニア株式会社が国王ジェームズ一世から勅許を得て、メリーランド州、バージニア州、カロライナ州の開拓を開始した。 アメリカ大陸への植民はビジネスであり、入植者は実質的にバージニア会社の社員と見做されていた。 しかし、先住民族との戦いや疫病といった障害から、最初期の200人の入
学術会議問題は「学問の自由」が論点であるべきなのか？
学術会議問題は「学問の自由」が論点であるべきなのか？ 2020.10.07 Updated by Yoichiro Murakami on October 7, 2020, 17:47 pm JST 日本学術会議次期会員の推薦候補の一部を内閣が任命しなかった事について、出発点から、「学問の自由の侵害」と捉え、糾弾するのが新聞輿論のようです。一部の学者や識者層も、その立場で動こうとしているようです。しかし、客観的に見れば、この主張は全く的外れであることは明瞭で、間違いの根本は「現在の」日本学術会議に対して広がっている幻想、あるいは故意の曲解にあります。 日本学術会議はもともとは、戦後、総理府の管轄で発足しましたが、戦後という状況下で総理府の管轄力は弱く、七期も連続して務めたF氏を中心に、ある政党に完全に支配された状態が続きました。特に、1956年に日本学士院を分離して、文部省に鞍替えさせた後
Alpha Zeroが猛烈に三目並べを自己対戦したとき、ついにこの時代が来たと悟った
Alpha Zeroが猛烈に三目並べを自己対戦したとき、ついにこの時代が来たと悟った 2018.02.04 Updated by Ryo Shimizu on February 4, 2018, 11:57 am JST AlphaGoを改良したAlpha Zeroが囲碁だけでなくチェスや将棋などを攻略できるようになった、という話を聞いても「今更？」とピンと来なかったまま日々が過ぎていきました。 しかし一昨日ふと気になって、会社に届いたばかりの深層学習PC、DK-1000で試運転がてら実装をいくつか見てみると、AlphaGoのときよりもずっとシンプルな実装になっていて心底驚きました。 試しに、リバーシ(オセロ)とTic-Tac-Toeを実行してみると、猛烈な勢いでAlpha Zeroは自己対戦を始め、どんどんスコアを上げていきます。 最終的にはTic-Tac-Toeを1000回くらい学習し
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には
第二世代人工知能の亡霊がもたらす”AIの冬”
第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ
ドワンゴで産まれた超人工生命LIS、ハッカソンでカンブリア紀に突入!
ドワンゴで産まれた超人工生命LIS、ハッカソンでカンブリア紀に突入! Childhood's End. she's rising to real life 2016.04.12 Updated by Ryo Shimizu on April 12, 2016, 02:51 am JST ニコニコ動画で知られるドワンゴは日本のベンチャー企業としては珍しく２つの専門的な学術研究機関を設置しています。 ひとつは、筆者が設立した西田友是東大名誉教授を所長とするコンピュータグラフィックスの専門研究機関、UEIリサーチであり、もう一つは、全能アーキテクチャイニシアチブの山川宏氏を所長とするドワンゴ人工知能研究所です。 全能アーキテクチャイニシアチブとは、これまで個別の要素技術としてしか発展してこなかったAI(人工知能)技術を、それぞれ視覚野、運動野、言語野、海馬などの役割をもたせ、全体として一つの人間
知性とは何か AlphaGoの初戦で感じたこと
知性とは何か AlphaGoの初戦で感じたこと Daisy, Daisy! Planted one day... AlphaGo sings a requiem for humanity 2016.03.10 Updated by Ryo Shimizu on March 10, 2016, 07:38 am JST AlphaGoが人類最強の棋士と目されるイ・セドル9段を初戦で下しました。 このことは、囲碁関係者に大きな衝撃を与えています。 反対にAI関係者にとっては、残念ながら想像通りの結果になったと言えます。 AI関係者は、Googleがあそこまで断言するということは当然勝算あってのことだと考える人が多かったように思えます。仮に今回負け越したとしても、善戦すれば、数ヶ月のうちにさらに棋力を増し、いずれは打ち負かすだろうというのが大方の予想でした。 AlphaGoが一度でも人類のトップ
プログラマーだけがやっている効率的な仕事のやり方
プログラマーだけがやっている効率的な仕事のやり方 Only Programmers knows the way to optimize working 2015.08.26 Updated by Ryo Shimizu on August 26, 2015, 17:10 pm JST 先日上梓した拙書「最速の仕事術はプログラマーが知っている」がありがたいことに大変評判なようで、発売4日後に増刷が決まるなど売れ行きが好調のようです。 もともとこんな刺激的なタイトルの本を書いていいのか、という悩みもあったのですが、編集の方の強い熱意と最初のミーティングの段階で完璧に近いところまで揃えられた目次と企画書を見て、「これは時間を割いてでも書いてみたい」と思い、引き受けることにしました。 実際に世に出ても、「やっぱりこれは書きすぎなんじゃないか」「刺激が強すぎるんじゃないか」と危惧していたのですが、A
思想としてのインターネットとネット原住民のたそがれ
思想としてのインターネットとネット原住民のたそがれ Twilight of the digital natives and thoughts on the future Internet 2015.07.14 Updated by yomoyomo on July 14, 2015, 13:41 pm JST 少し前に、人気ポッドキャストの Rebuild で、伊藤直也さんが川上量生氏の『鈴木さんにも分かるネットの未来』を紹介しているくだりが面白かったので、長くなりますが文字起こししてみます。 例えば電子書籍の話も、僕らはすぐそうやって、Kindle になってねーから、ふざけんなって思うじゃないですか。テクノロジーの進化を止めやがって、みたいな。だけど、この本に書かれているのは、そうやって電子書籍が広まっていくのはいいんだけど、そうなると書籍ビジネスって基本的に今の構造のままだとシュリンク
ディープラーニングを小学生でも使えるようにしてみる
ディープラーニングを小学生でも使えるようにしてみる Trial to make easy to use deep learned neural network 2015.06.30 Updated by Ryo Shimizu on June 30, 2015, 06:59 am JST この一ヶ月で、ディープラーニングが急激に使いやすくなってきています。 Google傘下のディープラーニング研究グループDeep Mindでインターンをしているスタンフォード大学の学生はこんな台詞をツイートしています。 「ディープラーニングに関して、新しくクールな論文が発表される速度は、それを読める速度より速い」 それこそ毎日のようにディープラーニングに関する何らかの新しい話題が出てきます。 それくらい、ディープラーニングは盛り上がっているのです。 「人工知能は人間を超えるか」を記した東京大学の松尾豊先生に
ついに目覚めた巨人 Microsoftの逆襲 - WirelessWire News
ついに目覚めた巨人 Microsoftの逆襲 The Empire Strikes Back 2015.05.07 Updated by Ryo Shimizu on May 7, 2015, 10:36 am JST 連休中にサンフランシスコで開催されたMicrosoftのイベント「Build 2015」から戻ってまいりました。 今回のBuildで強く感じたのは、「ついにマイクロソフトが逆襲を開始した」ということです。 これまでMicrosoftはパッとしない時代が続きました。 これまでのMicrosoftは愚鈍な牛のように見えました。 誰が求めているかいまいちわからないZUNEやWindows8という製品を発表し、Microsoftの生命線とも言えるOSのアップグレード需要を冷え込ませました。Windows8も、8.1も、誰も求めていない製品だったのです。 にも関わらず、昨年は過去最高
あまりに卑劣な「小学四年生なりすまし」事件に思う - WirelessWire News（ワイヤレスワイヤーニュース）
今回の衆議院解散選挙に関して 「どうして解散するんですか」 という疑問を小学四年生が呈するため、Webサイトを立ち上げた、と話題になりました。 それが上のスクリーンショットにあるようなサイトです ( URL)。 ところがこれが嘘だとすぐにバレてしまいました。 みればわかりますが、誰が見ても小学生が作れるようなサイトとはとても思えなかったからです。 しかも、 「why-kaisan.com 」というドメインまで取得し、 twitterにも自称「小学四年生」が登場して色々な人の疑問や質問に答える形式です。 主張したかったことの是非は本稿のテーマではないので良いとして、私が許せないと思ったのは、あまりに人を馬鹿にした、卑劣かつ杜撰な手法だったということです。 わざとらしい黒板、そして真ん中に表示されている数字ですが、これはいかにも「このサイトに賛同しています」という人たちのアクセスカウント
グーグル、児童ポルノ保持者の逮捕で警察に自主協力 - プライバシー議論再燃か - WirelessWire News（ワイヤレスワイヤーニュース）
グーグル（Google）が、Gmailユーザーのメッセージを自動スキャンし、そのなかに含まれていた児童ポルノを発見、この情報を警察に提供したことで容疑者逮捕に結びついたという出来事が、先ごろ米テキサス州であった。この行為に対して「やりすぎではないか」といった疑問の声も上がっているようだ。 [Houston man charged with child porn possession after Google cyber-tip - KHOU] グーグルの情報提供をきっかけにヒューストンの警察が逮捕したのは、ジョン・ヘンリー・スキラーン（John Henry Skillern）という41歳の男性。同容疑者は、1994年に幼児への性的暴行で有罪判決を受けた前科の持ち主で、グーグルは同容疑者のメールのなかに3枚の児童ポルノ画像が含まれているのを発見し、この情報を非営利団体のNational Ce
ドワンゴと角川の経営統合はなぜ実現したか - WirelessWire News（ワイヤレスワイヤーニュース）
先日、ドワンゴと角川の経営統合のニュースが、かなり大きく取り扱われました。 私自身はドワンゴにも角川にも縁があるため、もともといずれこうなるだろうとは思っていましたが、川上会長がグループの会長になり、佐藤辰男さんが社長という、逆転人事にも見える厚遇には少し驚きました。 この動き自体は世間は大きく驚いたのかもしれませんが、私の立場からみると、歴史的にこの二つの会社はいわばもともと兄弟、または親戚のようなものでした。 川上さんもプログラマー経験のある経営者ですから、連載の主旨とはやや離れますが、なぜこの二つの会社の経営統合が実現に至ったか、当事者を身近に知る人間の目で振り返ってみたいと思います。 なお、以下、本来は敬称を付けて呼ぶべき間柄の方々もまじっておりますが、敬称は省略させていただきます。 もともと、角川書店は、1945年に国文学者の角川源義(げんよし)により創業されました。 その後
一晩中泣き明かした30歳若手女性研究者と書く我が国にはゴシップ新聞しかないらしい - WirelessWire News（ワイヤレスワイヤーニュース）
STAP細胞の画期的な製作方法の発見が話題になっています。中心となって研究を進めた理化学研究所の小保方博士のことが各メディアで報道されています。 イギリスでもこのニュースは大々的に報道され、BBCや民放、大手新聞でも報道されています。ワタクシはこのニュースをイギリスのニュースで知ったのですが、その後日本での報道をネットでみて、その内容があまりにも違う事に唖然としました。 BBCでは、テレビ放送でもウェブでも、まずこの発明が何であるか、なぜ画期的なのかが紹介され、イギリスの研究者の解説を盛り込み、医学などにどのように貢献するか、ということが明記されました。また小保方博士に関しては「Dr Haruko Obokata」と明記されているだけで、年齢や性別には触れていません。（なお、イギリスでは博士号がある人の事はドクター何々と呼ぶのが当たり前です） イギリスの他の主要新聞でも、この発見が何なのか
日本の大学の国際化はどう考えても無理だと世界にバレている - WirelessWire News（ワイヤレスワイヤーニュース）
イギリスの高等教育専門雑誌である Times Higher Educationに、日本の私大で教えていたイギリス人学者の書いた記事が掲載されていました。この記事、日本の高等教育の実態を、外国人学者の視点で、身も蓋もない書かれ方をしており、大変興味深いといいますか、「日本の教育ヤバいんとちゃう？」とかなり心配になるのであります。 Beyond sushi: the attractions of lecturing in Japan （寿司の向こう側：日本で講義をやる魅力） と題された記事。一見「日本の大学は最高だ」という内容を期待しそうになりますが、そこはイギリス。記事を読み始めてすぐに「ああ、イギリス流の皮肉じゃないか。。。」とわかります。 イギリスの名門サセックス大学で歴史学の博士号を取得したスーザン•バートンさんは、博士号取得後、なかなか仕事がみつからず、本屋で最低賃金のアルバイトを
オリンピックなんだけど警備員雇うの忘れてたごめん - WirelessWire News（ワイヤレスワイヤーニュース）
オリンピックが全然盛り上がってないロンドンです。 開始まで二週間切りました。 が、ここはイギリスです。期待を裏切らない祭りが多数発生してございます。まるで夏休みの宿題が８月31日になっても終わらない小学生状態です。 祭り１：警備員雇うの忘れてました事件 オリンピックは世界中からろくでもない人々が集まってくるから警備を厳しくしなければいけない、というのがイギリス政府の前提です（最初から誰も信用しておりません） しかし、イギリス政府、勤労意欲のない自国の警察や軍隊じゃ警備員がたりないから、ということでG４なるマックの新機種のような名前の警備会社に警備員の採用と管理を外注しておりました。 ところが、オリンピック２週間前になり「ごめん。間に合わなかった。約束した人数雇ってないの知らなかったの。応募者は一杯いたんだけど、うーん、なんでかなあ、雇うの忘れてたのね。悪いけどオタクの軍隊でどうにかしてよ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
