1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
GPU禁輸措置で追い詰められる中国と大規模言語モデルの発展
GPU禁輸措置で追い詰められる中国と大規模言語モデルの発展 2023.11.01 Updated by Ryo Shimizu on November 1, 2023, 09:15 am JST アメリカがGPUを重要物資として中国に対して禁輸措置を行うとの意向を受けて、中国国内ではA800 GPUの価格が一枚あたり50万人民元(約1000万円)に達するなどのパニックが起きたようだ。これは通常の価格の5倍にあたる。 A800は、そもそもアメリカ政府の意向を受けて中国市場向けにデチューンした(性能をわざと落とした)モデルで、世界的ベストセラーのA100の70%程度の性能とされている。 しかし中国国内ではAI開発が非常に活発であり、合法的に使えるA800を大量に確保したい中国側の事情と、軍事転用も可能な重要戦略物資を中国に売りたくないアメリカ政府の意向が真正面から対立する形となっている。 筆者
生成AI以後
生成AI以後 2023.09.21 Updated by Ryo Shimizu on September 21, 2023, 10:05 am JST 生成AIが「民主化」されたと言えるのは、昨年8月24日のStableDiffusionの公開を起点として良いだろう。 StableDiffusionは破格の性能のAIを、誰でも買える程度のコンピューティングパワーのコンピュータで、自由に改造して使うことができると言う意味で、真の民主化を達成した。 それから一年が経過して、昨年末にはChatGPTが注目を集め、現在では単に「AI」と言えば生成AIを指すようになった。 生成AIであるかそうでないかの違いは、その構造というよりも扱う情報量の違いでしかない。 AIが扱うデータは全て行列の集合の集合(またはその集合)、これをテンソルと呼ぶが、あるテンソルを入力したときに別のテンソルに変換するというも
先鋭化する大富豪の白人男性たち、警告する女性たち
先鋭化する大富豪の白人男性たち、警告する女性たち 2023.09.11 Updated by yomoyomo on September 11, 2023, 21:53 pm JST 「テックブロ（tech bro）」という言葉があります。IT業界で働く男性を指しますが、ケンブリッジ英英辞典によると、社交性に欠けるのに自身の能力を過信する米国の若い男性という含意もあるようです。 最近、この言葉が出てくる文章で気になったものがあるので、それらの紹介から始めたいと思います。 一つはダナ・ボイドの「メタバースは未だシカトさせていただきます」です。これはメタバースがテーマの新刊を送ってきた友人に対し、メタバースには一貫して興味がないと宣言する文章なのですが、彼女の拒否反応には理由があります。彼女は初期のバーチャルリアリティー（VR）の体験者であり、2014年にはVR体験の性差にフォーカスした「Oc
無価値だった検索と今無価値に思える作画AI。その先にある行動の生成
無価値だった検索と今無価値に思える作画AI。その先にある行動の生成 2022.10.29 Updated by Ryo Shimizu on October 29, 2022, 07:51 am JST 過日、幕張メッセで開催された「AI・人工知能EXPO」内のブースでコネクトームデザイン社の佐藤社長と対談する機会があった。 その時、佐藤社長から出された問いが、「検索から生成、そして創造とはどういうことか?」という最近の筆者の提言に対するシンプルな疑問だった。 人前で話をするというのは面白いもので、こういう問いかけを受けると、その場でそれまで自分が思いもしなかったような答えが出てくる。 知性が単独では存在意義を持たず、複数の知性が考えをぶつけあって思想が育つ、まさにその瞬間に出くわした。なかなか久々の感覚である。 かつて、検索は無価値だった。 いまだに「検索」にお金を払う人はいない。 検索
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第
ニューラルネットワークは21世紀のトランジスタである
ニューラルネットワークは21世紀のトランジスタである 2019.05.12 Updated by Ryo Shimizu on May 12, 2019, 18:10 pm JST 過日、スコットランドのグラスゴーで開催された世界規模のコンピュータ・ヒューマン・インタラクション学会、CHI2019に参加してきた。 そこで目にしたものは、もはや当然のように受け入れられているニューラルネットワークの数々である。 CHIという学会においては、ニューラルネットワークがなんら特別なものと認識されていない。 それどころか、そもそも「当然のように使う道具」として捉えられているのが非常に印象的だった。 例えば、東京大学の暦本純一研究室では、口腔内を超音波エコーでスキャンして、口腔の断面図からニューラルネットワークによって発音を推定し、スピーカーで再現することで無声状態でAmazon Alexaを起動するS
Alpha Zeroが猛烈に三目並べを自己対戦したとき、ついにこの時代が来たと悟った
Alpha Zeroが猛烈に三目並べを自己対戦したとき、ついにこの時代が来たと悟った 2018.02.04 Updated by Ryo Shimizu on February 4, 2018, 11:57 am JST AlphaGoを改良したAlpha Zeroが囲碁だけでなくチェスや将棋などを攻略できるようになった、という話を聞いても「今更？」とピンと来なかったまま日々が過ぎていきました。 しかし一昨日ふと気になって、会社に届いたばかりの深層学習PC、DK-1000で試運転がてら実装をいくつか見てみると、AlphaGoのときよりもずっとシンプルな実装になっていて心底驚きました。 試しに、リバーシ(オセロ)とTic-Tac-Toeを実行してみると、猛烈な勢いでAlpha Zeroは自己対戦を始め、どんどんスコアを上げていきます。 最終的にはTic-Tac-Toeを1000回くらい学習し
A “First Order” Rising? NVIDIA’s New Policy Limits GeForce Data Center Usage: Universities and Research Centers In A Pinch
A “First Order” Rising? NVIDIA’s New Policy Limits GeForce Data Center Usage: Universities and Research Centers In A Pinch A “First Order” Rising? NVIDIA’s New Policy Limits GeForce Data Center Usage: Universities and Research Centers In A Pinch 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 23:46 pm JST In publishing this article, I would like to express my thanks to Mr. Izumi Akiyama of
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ First Order rising 2017.12.19 Updated by Ryo Shimizu on December 19, 2017, 16:08 pm JST 深層学習分野で、NVIDIAの名を知らない者は潜りと言われても仕方がないでしょう。かつて日本の新聞社で、NVIDIAを「謎の半導体メーカー」と呼んで赤っ恥をかいた人がいますが、NVIDIAなくして深層学習の研究はままならないことは間違いありません。 というのも、深層学習に不可欠な積和演算機能に優れた半導体とAPIを提供しているのが、事実上世界にNVIDIA一社しかないからです。 Intelやその他のメーカーも頑張って入るのですが、NVIDIAが持つ多数の知的財産権の前に、後塵を拝しています。 それはそれで、NVID
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には
明晰な知能の定義
明晰な知能の定義 The definition of bright intelligence 2017.03.31 Updated by Ryo Shimizu on March 31, 2017, 09:39 am JST AIと一口に言っても、大きく分けて深層学習以前と以後に分けられます。 深層学習以前のAIは、はっきり言って停滞していました。 停滞しつつも、手書き文字認識や音声認識といった分野で着々と実績を積み上げ、そしてそのどこかに「越えられない壁」のようなものを感じてまた停滞する、ということを繰り返してきました。 昨今注目されているAIは深層学習で、実は深層学習屋さんと、それ以前の機械学習または自然言語処理屋さんは仲が良くないのです。 深層学習以前の世界では、AIの研究というと、「情報をどう扱うか」「情報のどの部分に着目するか」ということ、専門的な言葉でいえば「情報の特徴量」をど
KDDI、LTE通信トラブルの原因と対策を説明、300億円の設備投資を決定 - WirelessWire News（ワイヤレスワイヤーニュース）
KDDIは2013年6月10日、4月27日から3回にわたって「4G LTE」関連の通信トラブルがあったことに対して、原因と対策を公表した。トラブルは3回とも、LTE基地局制御装置のソフトウエアの2種類のバグに起因する。KDDIでは、総額300億円の設備投資などにより、トラブル対策を施す。 4G LTEのデータ通信サービスにトラブルが生じたのは、すべてLTE基地局制御装置（MME：Mobile Management Entity）のバグが原因だった。4月27日のトラブルは、60バイト以下の断片化したパケットが来た際のフラグメンテーション処理で、MMEがリセットされてしまうバグが最初の原因。多摩のセンターにある2系統のMMEに2つずつあるネットワークインタフェースカードのうち3つがリセットされてしまい、残る1つに信号が集中。呼処理カードのリカバリー処理のプロセスにバグがあり、輻輳状態に陥って2
ベライゾン加入者の通話記録、米国家安全保障局の手に - 「極秘の命令」発覚（英Guardian） - WirelessWire News（ワイヤレスワイヤーニュース）
ベライゾン加入者の通話記録、米国家安全保障局の手に - 「極秘の命令」発覚（英Guardian） 2013.06.06 米携帯通信最大手のベライゾン・ワイアレス（Verizon Wireless：以下、ベライゾン）に対し、利用者の通話記録を米連邦政府の諜報機関に手渡すことを義務づけた法廷の命令が4月に出されていたことが発覚し、ちょっとした騒ぎに発展しているようだ。 この命令が記された文書を最初に入手・公表した英Guardianでは、犯罪その他の容疑がない一般加入者の通話記録も含めて大量の情報が無差別に米政府の諜報機関などの手に渡るのは今回が初めてと指摘。また対象となる記録には、米国内同士のほか、米国と海外との通話も含まれるなどと記している。 ベライゾンへのこの命令は、FISA（Foreign Intelligence Surveillance Court。外国諜報活動調査法によって作られた
アメリカのノマドの不都合な真実 - WirelessWire News（ワイヤレスワイヤーニュース）
このブログでも以前フリーランサー（個人事業主）について紹介しています。日本では最近フリーランサーが「ノマドワーカー」という風に呼ばれたりして、注目を浴びています。従来のフリーランサーの様に「雇われずに働く」という他に、フリーランサーであっても、誰かに雇われてる会社員であっても、モバイル機器やネットを活用して「場所にとらわれずに自由に働く」といういう意味もあります。 フリーランサーという働き方は、大昔からあるわけですが、技術や通信サービス、デバイスの発達により、「場所にとらわれずに自由に働く」という働き方が、以前よりも簡単になって来たのは新しい感じですね。 しかしながら、フリーランサーのおかれている立場というのは簡単な物ではありません。私が３月9日に出版したノマドと社畜という本の中では、イギリスの実態を紹介しています。 イギリスと同じくノマド先進国であるアメリカは日本よりも早く労働が自由化さ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
