1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!?
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!? 2023.08.13 Updated by Ryo Shimizu on August 13, 2023, 11:41 am JST ほんの一ヶ月前まで、動画生成は全然だめだった。 Gen2は高価だが狙ったものを出しにくい。何より動いてくれない。 ところがAnimateDiffという技術が公開された。これはとても激しく、それっぽく動く。 コツは必要だが、以前よりずっと綺麗に動いているのは間違いない。 筆者の運営するサイトMemeplexやreplicateで使うことができる 音楽生成も、「やはりAIに音楽みたいな人間の機微を読み取るようなものは無理か」と考えていた。 「専門家」である僕でさえ、つい一ヶ月ほど前はそうだったのだ。 新しいオーディオ生成モデルである「JEN-1」と「AudioLDM2」はそ
クリエイターの時代
クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。
第二世代人工知能の亡霊がもたらす”AIの冬”
第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ
イギリスがEU離脱した理由
イギリスがEU離脱した理由 Why UK left EU 2016.06.24 Updated by Mayumi Tanimoto on June 24, 2016, 13:38 pm JST イギリスのEU離脱を問う国民投票の結果、イギリスがEUを離脱することになりました。TwitterやメルマガでイギリスのEU離脱については書いてきましたが、残留予測の人が多かったにも関わらず、なぜイギリス有権者が離脱を選択したのかを疑問に思う方も多いでしょう。離脱の理由は、ヨーロッパを理解する上で、テック業界の方にも重要な事だと思いますので、以下まとめました そもそもEUってなによ？ ところでなぜイギリスが離脱したかを理解するには、そもそもEUとは何かを理解する必要があります。 EUというのは欧州連合（European Union）のことです。地域統合体と呼ばれる組織で、主権（自分で自分の国のことを
誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法
誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法 The kings road to be a programming ninja 2016.04.27 Updated by Ryo Shimizu on April 27, 2016, 08:34 am JST 学問に王道なしと言いますが、プログラミングを上達するために最も効果的であるにも関わらず、いまや誰もその有効性を指摘しなくなってしまった方法がひとつだけあります。 それは「写経(しゃきょう)」です。 写経・・・文字通り、教科書に書いてあるプログラムリストをそのまま書き写すことです。 「そんなバカな。そんなことで上達が早まったら苦労しない」 と思うかもしれません。 しかし、実際には写経ほど効果的な学習法はないのです。 例を示しましょう。 たとえば、プログラミングの授業で、サンプルプログラムの半完成品がファイルで配られ
知性とは何か AlphaGoの初戦で感じたこと
知性とは何か AlphaGoの初戦で感じたこと Daisy, Daisy! Planted one day... AlphaGo sings a requiem for humanity 2016.03.10 Updated by Ryo Shimizu on March 10, 2016, 07:38 am JST AlphaGoが人類最強の棋士と目されるイ・セドル9段を初戦で下しました。 このことは、囲碁関係者に大きな衝撃を与えています。 反対にAI関係者にとっては、残念ながら想像通りの結果になったと言えます。 AI関係者は、Googleがあそこまで断言するということは当然勝算あってのことだと考える人が多かったように思えます。仮に今回負け越したとしても、善戦すれば、数ヶ月のうちにさらに棋力を増し、いずれは打ち負かすだろうというのが大方の予想でした。 AlphaGoが一度でも人類のトップ
イジメはあるが祝福する文化のない日本 - WirelessWire News（ワイヤレスワイヤーニュース）
インフルエンザにかかったらしいので、家でフラフラとしながらネットを見ておりましたら、峯岸みなみ丸刈り謝罪 という記事が目につきました。私はAKBは詳しくないので、ことの詳細は良くわかりませんが、グループの決まりを破って男性とお泊まり旅行に行ってしまったので謝罪するために丸刈りになった、ということだそうであります。 これを見ていて、なんだかいや〜な感じがしました。たとえ綿密な計算の上での演出だったとしても、越えては行けない線を越えてしまった気がします。 まず始めに、これを見みて、イギリスの歴史番組で繰り返し放送される「第二次世界大戦後にナチに協力した、ドイツ兵と恋人関係にあった、という理由で公衆の面前で丸刈りにされ、屈辱を与えられた女性達を思い浮かべたからです。男性達は丸刈りにされませんでしたが、女性達はされました。それが最大の屈辱の一つだったからです。ナチに協力したわけではなく、自分や家族
弁当男子の何が悪いのか - WirelessWire News（ワイヤレスワイヤーニュース）
数日前から 「イクメン、弁当男子」は、なぜ出世できないか という記事がバンバン炎上しております。 はてなブックマークに生息しているはてぶ民も激怒、Togetterで日夜人様の独り言を読んでいる暇な人々も今回は激怒しております。 この記事は • 今の若いものは草食 • 今の若いものはガッツが無い • オレの時代はもっと大変だった という「団塊テンプレ」に沿って若い者の怒りのボタンを高橋名人真っ青な連打で押しまくって盛大に自爆しているわけです。 日本の若い者は • 非正規雇用とか貧乏リーマンで銭がないので弁当男が多く • お金がないので外食なんて無理で • 非正規雇用の人は正社員の輪の中になんて入れてもらえないし • 非正規雇用はいつ首になるかわかんないし • 就職は今の方が遥かに大変だし • 就職できても給料は上がらないばかりかカット • 安給料でサービス残業でブラック労働恒
キャリアポルノは人生の無駄だ - WirelessWire News（ワイヤレスワイヤーニュース）
日本で本屋に行くと、学生さんやサラリーマン向けの「仕事とは何か？」「ライフハック」「グローバル人材になるためには」という目がチカチカする様な題名の「自己啓発書」や、世界的に有名な企業の創業者の「自伝」（いや、 自慢本）が山の様に並んでいます。ネットでも似た様な記事がてんこ盛りです。ラーメン二郎も負けています。 私はこれらのゴミ、いや、歯クソをキャリアポルノと呼んでいます。なんで歯クソでキャリアポルノというと、「読んでる間に気分が良くなって俺って何か凄い」という気分になる物だからです。 オナホで自家発電するのと同じですよ。要するに。意識高い学生や、キャリアセミナーなんかに通っているサラリーマンは、秋葉でオナホや等身大のダッチワイフを買って喜んでいるヲタクより恥ずかしいわけです。 こういうキャリアポルノには 「東大を首席で卒業してハーバードに行って何チャラというグローバル（棒）企業のなんとか
スマートフォン比率、東京圏では携帯電話全体の6割を超える - WirelessWire News（ワイヤレスワイヤーニュース）
量販店の実売データを集計した「BCNランキング」によると、SIMフリー端末を含む携帯電話全体の6月の販売台数1位は、NTTドコモのAndroid搭載スマートフォン「GALAXY S II SC-02C」、2位はソフトバンクモバイルの「iPhone 4」の16GBモデル、3位はNTTドコモのAndroid搭載スマートフォン「AQUOS PHONE SH-12C」だった（表1）。 メモリ容量の違いによって別々にカウントしている「iPhone 4」の16GBモデルと32GBモデルを合算すると、2010年7月以降、「iPhone 4」が11か月連続で1位だったが、6月は「GALAXY S II」がシェア12.5％で、「iPhone 4」の合計を2.2ポイント上回った。 ▼表1：携帯電話販売台数ランキング（2011年6月） 主要3キャリア、NTTドコモ・KDDI（au）・ソフトバンクモバイル（So
【図・グラフ】モトローラを抱え込むグーグルのジレンマ（米アナリストの試算） - WirelessWire News（ワイヤレスワイヤーニュース）
米パイパー・ジャフレイ（Piper Jaffray）のジーン・マンスター（Gene Munster）氏といえば、ベテランのアップル・ウォッチャーとして知られたアナリストだが、そのマンスター氏が19日に、先週モトローラ（Motorola）の買収を発表したグーグル（Google）が「アップルの垂直統合モデル」に倣ってAndroid OSの他社への提供を止めた場合と、現在のまま「オープンなモデル」を維持した場合との損得を比較する試算を発表している。 この投資家向けレポートの試算について採り上げた9to5Macブログの記事によると、グーグルがもし「垂直統合モデル」のみを選ぶと決断し、これを2013年に実施した場合、Android OS（=モトローラ製携帯端末）の市場シェアは2015末時点で20%で、グーグルの営業売上（operating income）は35%増となり、営業利益は105億ドル、一株
「iPad 3」はLetinaディスプレイ搭載で、来年春に登場か - WSJ報道（編集担当メモ） - WirelessWire News（ワイヤレスワイヤーニュース）
「iPad 3」はLetinaディスプレイ搭載で、来年春に登場か - WSJ報道（編集担当メモ） 2011.08.22 アップル（Apple）の注目の新製品といえば、この秋に発表・発売予定とされる新型iPhoneが現在もっともホットな話題の的だろうが、業界関係者やファンは早くも「次のiPad」に関する話に関心を寄せているようだ。 Wall Street Journal（WSJ）は米国時間19日、台北発の記事のなかで、情報筋の話として、アップルの次期iPad（「iPad 3」）の試験製造が10月から始まる見通しだと伝えた。同社製品に関しては、DigiTimesなどをはじめとする複数の媒体が、部品メーカーや委託製造先の関係者を源とする未確認情報を頻繁に流している状態だが、WSJがiPad 3に言及するのは今回がはじめて。 同記事によると、計画中の新型iPadには、現行のiPad 2に比べてより
パンドラの箱を開けるグーグル - 「モトローラのハードウェア部門売却説」浮上の理由 - WirelessWire News（ワイヤレスワイヤーニュース）
昨晩(日本時間15日夜)にグーグル(Google)がモトローラ(Motorola Mobility)の買収計画を発表したことは、すでにお伝えした通りだが、その後も英語圏のニュースサイトやブログなどでは、この意表を突いた動きに関して、「ソフトウェアとハードウェアの両方を直接コントロールする、アップル型の事業モデルにグーグルが方針転換/アップルと直接対決に」といったものから、「相継ぐAndroid関連の特許紛争で、グーグルが一定の抑止力を手に入れるための防御策」といったものまで、いまなおさまざまな見方が出続けている。まだ「ほこりが宙に舞っている状態」というのが全体的な印象だが、そのなかで目に付いた指摘や見解を可能な限りフォローしていきたい。 まず、AllThingsDでは、IT関連、なかでもとくにモバイル分野に詳しいベテラン記者の(Ina Fried)氏が、この買収で生じる複数の問題をクリアす
RIMの本当の危機とは - WirelessWire News（ワイヤレスワイヤーニュース）
昨日6月16日、ブラックベリーを提供するRIM（リサーチ・イン・モーション）社が四半期業績を発表、予想を下回る業績で株価が暴落。同社は人員削減を含むリストラを発表した。（参考記事） アメリカで一世を風靡したブラックベリーの急激な凋落のニュースは、ウォール・ストリートに衝撃を与え、「いよいよRIMも終わりか！？」といった印象を与えたが、実際のところどれほどの深刻な問題なのだろうか？ 携帯業界の視点からもう少し分析してみよう。 ブラックベリーの本当の「敵」は誰だ？ 業績発表を読むと、RIMの四半期売上は49億1000万ドル前年、同期比16％増で、それほど悪いわけではない。純利益は確かに下がっており、前年同期比-9.6％であるが、問題はブラックベリーの出荷台数が予想も前四半期実績も下回る1320万台であったことだ。ユーザーの目から見ても、「自分の身の回りでブラックベリーを使っている人が減った」と
アップル、iPhone用の独自SIMカードを開発か - カードの差し替え不要に - WirelessWire News（ワイヤレスワイヤーニュース）
アップルが主に欧州市場向けとして、iPhone用の独自SIMカードの開発をオランダのカードメーカー、ゲマルト（Gemalto）と共同で進めているという。米IT系有力ブログのひとつ「GigaOM」が、複数の欧州通信事業者内部者の話として伝えている。 このカードはiPhone本体のなかに埋め込まれる形で提供されるが、カード内には書き換え可能なフラッシュメモリーが内蔵され、ここに各通信キャリアのネットワークに対応するためのデータファイルが保存される。このデータファイルはパソコン経由もしくはApp Storeから直接ダウンロードして読み込むことが可能になるという。 欧州では国境を越えて移動する機会の多い携帯電話ユーザーが、場所によって複数の通信キャリアのネットワークを使い分ける例も少なくないが、このためには場所に応じてその都度SIMカードを差し替える必要がある。アップルが開発中とされる独自チップが
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
