1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
なぜ、微積分は役に立つのか
なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
深層学習の今のところの限界「何ができて、何ができないか？」
深層学習の今のところの限界「何ができて、何ができないか？」 2018.01.08 Updated by Ryo Shimizu on January 8, 2018, 08:29 am JST あけましておめでとうございます。 先日、MIT Technology Reviewにこのような記事が掲載されていました。 深層学習の過大評価は危険、ウーバーAI研究所の前所長が指摘 この論文を発表したのはニューヨーク大学の心理学者のゲイリー・マーカス教授。心理学者ということで、我々情報工学の立場とはまた違う立場で深層学習にできることとできないことを分離しています。 筆者はこのニュースを見て最初は反発したのですが、原文を読んでみると現状のディープラーニングの課題についてよくまとまっているのではないかと思いましたので紹介します。原文はこちら ■ディープラーニングの限界 マーカス教授によると、ディープラー
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ First Order rising 2017.12.19 Updated by Ryo Shimizu on December 19, 2017, 16:08 pm JST 深層学習分野で、NVIDIAの名を知らない者は潜りと言われても仕方がないでしょう。かつて日本の新聞社で、NVIDIAを「謎の半導体メーカー」と呼んで赤っ恥をかいた人がいますが、NVIDIAなくして深層学習の研究はままならないことは間違いありません。 というのも、深層学習に不可欠な積和演算機能に優れた半導体とAPIを提供しているのが、事実上世界にNVIDIA一社しかないからです。 Intelやその他のメーカーも頑張って入るのですが、NVIDIAが持つ多数の知的財産権の前に、後塵を拝しています。 それはそれで、NVID
第二世代人工知能の亡霊がもたらす”AIの冬”
第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ
ディープラーニングを小学生でも使えるようにしてみる
ディープラーニングを小学生でも使えるようにしてみる Trial to make easy to use deep learned neural network 2015.06.30 Updated by Ryo Shimizu on June 30, 2015, 06:59 am JST この一ヶ月で、ディープラーニングが急激に使いやすくなってきています。 Google傘下のディープラーニング研究グループDeep Mindでインターンをしているスタンフォード大学の学生はこんな台詞をツイートしています。 「ディープラーニングに関して、新しくクールな論文が発表される速度は、それを読める速度より速い」 それこそ毎日のようにディープラーニングに関する何らかの新しい話題が出てきます。 それくらい、ディープラーニングは盛り上がっているのです。 「人工知能は人間を超えるか」を記した東京大学の松尾豊先生に
ショートカットキーはマウスより遅い - WirelessWire News
CTRL+Xでカット、CTRL+Vでペースト。 ショートカットキーの使い方を覚えると、パソコンの達人になったような気分になりますよね。 しかし、実際にはショートカットキーを使用すると、マウスでメニューから「編集」「ペースト」を選ぶよりも平均2秒も遅いのです。 「そんなバカな」 と思いますよね。 しかし、これはTogことブルース・トグナッツィーニがAppleでMacintoshの開発を担当した際に行った膨大な実験の結果、解ったことなのだそうです。 これはTogのWebページでも詳しく紹介されています。 しかし2秒とはとても信じられません。 むしろ逆のようにさえ感じます。 しかしTogの主張によれば、我々ユーザはショートカットキーを選ぶのに2秒かかっているものの、ショートカットにたどり着くまでの時間を喪失している、つまりプチ記憶喪失状態になっているというのです。 こんな不思議な話が、慶應
出来損ないのWindowsはなぜ世界を席巻できたのか - WirelessWire News（ワイヤレスワイヤーニュース）
いまや当たり前のように使われているWindowsですが、その最初のバージョンであるWindowsバージョン1.0を実際に使ったことがある人はほとんどいません。 わずかに当時のCMが残っているのみです。 プレゼンテーションをしているのはスティーブ・バルマー前社長。 最初にWindowsが発売されたのは1985年でした。 しかしその出来はお世辞にもいいとは言えません。 1年早く発表されたMacintoshと比べると対照的です。 WindowsがMacintoshに対して見劣りした理由は二つあります。 一つは、Macintoshがハードウェアごと設計されたものであったに対し、Windowsは既存のIBM PC/AT互換機で動かすためのものだったということ。 Macintoshは最初から32ビットCPUであるモトローラ68000を搭載していましたが、Windowsはすでに普及しているPC/
ハードディクスのファームウェアに感染するスパイウェア発覚 - カスペルスキーが公表 - WirelessWire News（ワイヤレスワイヤーニュース）
大手メーカー製のハードディスクのファームウェアに感染するスパイウェアが見つかったことをロシアのセキュリティ企業カスペルスキーラボ（Kaspersky Lab）が明らかにした。またこのスパイウェアの出所について、「Stuxnet」との類似性などから、米国家安全保障局（NSA）の仕業ではないかという見方も浮上しているようだ。 Reuters記事によると、このスパイウェアの感染例はあわせて30ヶ国で確認されており、地域別ではイランがもっとも多く、次いでロシア、パキスタン、アフガニスタン、中国、マリ、シリア、イエメン、アルジェリアなどでも見つかった例があるという。ターゲットのなかには各国の政府機関や軍事機関、通信会社、金融機関、エネルギー関連企業、それに核関連の研究者やメディア関係者、イスラム系活動家なども含まれているという。 またこのスパイウェアの感染例がみつかった製品のメーカーとしては、ウェス
米AWS-3帯のオークション、開始から1週間で入札額が240億ドルを突破 - WirelessWire News（ワイヤレスワイヤーニュース）
米国時間13日に入札が始まった「AWS-3バンド」（1695-1710 MHz、1755-1780 MHz、2155-2180 MHz）オークションの入札金額が、19日午後時点で240億ドルを突破したという。米で実施された周波数帯オークションの過去最高額は、800MHz帯を割り当てた2008年オークションの196億ドルで、今回のオークションではこの過去最高額を上回る入札金額になることがほぼ確実な情勢となっているようだ。 Re/codeによると、13日に始まった同オークションは、開始から4日間で米連邦政府の設定した最低落札額の100億ドルを越え、その後18日には1日で75億ドル、19日にはさらに77億ドル上昇したという。FCCはオークション終了まで落札者の名前を明かすことはないため、現時点では入札参加者の身元や入札金額は不明、また今後数週間は入札が続く見通しとされている。 「AWS-3バンド
クリステンセン教授の先見性と、アップル「Siri」の潜在力 - Asymco - WirelessWire News（ワイヤレスワイヤーニュース）
ハーバード大学ビジネススクール時代の恩師であるクレイトン・クリステンセン（Clayton Christensen）教授--『イノベーションのジレンマ』などの著者--は、2004年3月に「Open Source Business Conference」で講演を行った（この講演の模様を録音したものが、リンク先のページ「Capturing the Upside」で聴ける。「破壊的なイノベーション」（"Disruption"）の核心に触れた話が聞けるので、ぜひ始めから終わりまで通して聞いてみることをお勧めする）。 この講演のなかには（市場）分析に関する多くの分野で役に立つ教えが含まれている。そしてiPhone 4Sに搭載された「Siri」の潜在力について考える時、私はこのなかで語られている、次のような話を思い出す（7年半も前にこんな話をしていたなんて、教授には先を見通す千里眼があるのではないか）。
海外のエンジニアはいくら稼いでいるのか？ - WirelessWire News（ワイヤレスワイヤーニュース）
日本ではIT業界や通信業界がブラックだといわれることが少なくありませんが、所変われば事情が変わります。ここイギリスに限らず、西欧州や東欧州、北米ではIT業界や通信業界は稼げる上に、働く人の待遇が悪くはない業界です。 ではどのぐらいの報酬がもらえるのかを、イギリスを例としてご紹介したいと思います。イギリスのリクルートエージェンシーであるThe Robert Half が発表したThe Robert Half Technology 2014 Salary Guideは、政府統計と独自のサーベイをもとに2014年前半時点でのイギリス全土とロンドンにおけるスターティングサラリー（採用時の給料）をまとめています。スターティングサラリーなので、昇級分やボーナス、各種福利厚生は含まれていませんが、イギリスの平均給与(約500万円)を大幅に上回る金額を得られることがわかります。 2014年前半のロンドンに
スマホ有料アプリ市場はiOSが8割超、満足度はXperia arc－－MM総研 - WirelessWire News（ワイヤレスワイヤーニュース）
スマホ有料アプリ市場はiOSが8割超、満足度はXperia arc－－MM総研 2011.09.07 有料アプリ市場は67億8000万円、スマートフォンの満足度トップはXperia arc。MM総研によるスマートフォンのアプリ市場と製品やキャリアーの満足度に関する調査から、冒頭の結果が浮かび上がってきた。 スマートフォンユーザー2000人に対するアンケート調査とMM総研の既存データを活用して分析した。スマートフォンのアプリ市場に関しては、アンケート調査の結果から市場全体を予測した。2010年度のアプリの総ダウンロード数は3億202万回となり、そのうち無料アプリが2億5886万回、有料アプリが4316万回だった、有料アプリの市場規模を算出したところ、2010年度は67億8000万円となった。その内訳を見ると、84.5％に当たる57億3000万円が「iOS」向けと圧倒した。「Android」
第四次世界周波数バトルを斬る - WirelessWire News
日本では、次世代携帯に利用できる貴重な周波数帯として、「アナログテレビ跡地」の行方が議論されている。その議論を正しく理解する背景として、ここでは世界の「次世代携帯周波数」が現在どういう状況となっているか、全体を俯瞰してみよう。 1. 携帯周波数の基礎知識 専門家である読者からは不正確とお叱りを受けそうだが、全体構図を理解しやすくするために、非常におおまかな世界の「携帯電話向け周波数」の現状を下記のようにまとめてみた。 それぞれの「塊」の中でも細かい割り当て方法が国ごとに少し異なっているが、近い周波数帯では無線の物理特性は似ているため、一般的には同じハードウェア（アンテナ、無線チップなど）で対応しやすいことになる。 青・緑・赤を比べると、周波数が低いほど電波が遠くまで届きやすく、また障害物を回りこむ性質が強い。このために基地局の数も、投資も、高速移動時のハンドオフも少なくて済み、また屋内まで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
