1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
なぜ、微積分は役に立つのか
なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計
先鋭化する大富豪の白人男性たち、警告する女性たち
先鋭化する大富豪の白人男性たち、警告する女性たち 2023.09.11 Updated by yomoyomo on September 11, 2023, 21:53 pm JST 「テックブロ（tech bro）」という言葉があります。IT業界で働く男性を指しますが、ケンブリッジ英英辞典によると、社交性に欠けるのに自身の能力を過信する米国の若い男性という含意もあるようです。 最近、この言葉が出てくる文章で気になったものがあるので、それらの紹介から始めたいと思います。 一つはダナ・ボイドの「メタバースは未だシカトさせていただきます」です。これはメタバースがテーマの新刊を送ってきた友人に対し、メタバースには一貫して興味がないと宣言する文章なのですが、彼女の拒否反応には理由があります。彼女は初期のバーチャルリアリティー（VR）の体験者であり、2014年にはVR体験の性差にフォーカスした「Oc
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
クリエイターの時代
クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。
深層学習の今のところの限界「何ができて、何ができないか？」
深層学習の今のところの限界「何ができて、何ができないか？」 2018.01.08 Updated by Ryo Shimizu on January 8, 2018, 08:29 am JST あけましておめでとうございます。 先日、MIT Technology Reviewにこのような記事が掲載されていました。 深層学習の過大評価は危険、ウーバーAI研究所の前所長が指摘 この論文を発表したのはニューヨーク大学の心理学者のゲイリー・マーカス教授。心理学者ということで、我々情報工学の立場とはまた違う立場で深層学習にできることとできないことを分離しています。 筆者はこのニュースを見て最初は反発したのですが、原文を読んでみると現状のディープラーニングの課題についてよくまとまっているのではないかと思いましたので紹介します。原文はこちら ■ディープラーニングの限界 マーカス教授によると、ディープラー
税制で貧富格差の拡大を防ぐことはできるか
税制で貧富格差の拡大を防ぐことはできるか 人と技術と情報の境界面を探る #009 2017.06.19 Updated by Shinya Matsuura on June 19, 2017, 07:00 am JST 貧富の格差を放置して良いと思う人はいないだろう。だが、なぜ放置してはいけないのだろうか。 答えは、「貧富格差が拡大すると、社会が荒廃し、さらには経済が回らなくなるから」だ。 富める者と貧しき者の間の格差が大きくなると、2つの社会階層が分離する。食べ物や飲み水の質、居住地域の治安、子弟が受けることのできる教育——すべてが二極分化する。 格差の拡大は同時に社会を「我々とあいつら」に分断する。「あいつらは、我々が手に入れることができない寝床に寝て、手に入れることができない高級車に乗り、手に入れることができない食い物を食べている」という恨みと、「あいつらは、臭くて汚いところに済み、
AIエンジニアになる方法
AIエンジニアになる方法 How to change job to AI engineer. 2017.02.26 Updated by Ryo Shimizu on February 26, 2017, 15:03 pm JST AIに関することで、多くの研究者にとって不都合な真実が、まだ世間には理解されていません。 それは、AI研究者の大半は深層学習を専門にして「いない」ということです。 深層学習はAI研究の中では、機械学習という分野の、ニューラルネットワークという分野の、さらに一分野に過ぎません。 比率で言えば、95:5くらいの確率で、これまで「AIの専門家」と言われてきた人は深層学習の専門家「ではない」確率が高いわけです。 この些細な事実がなぜ「不都合」なのかというと、こうしてなにもかも一緒くたにされた結果、これまでほとんど成果の上げることができてなかった旧来のAI研究者に大量の予
第二世代人工知能の亡霊がもたらす”AIの冬”
第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ
イギリスがEU離脱した理由
イギリスがEU離脱した理由 Why UK left EU 2016.06.24 Updated by Mayumi Tanimoto on June 24, 2016, 13:38 pm JST イギリスのEU離脱を問う国民投票の結果、イギリスがEUを離脱することになりました。TwitterやメルマガでイギリスのEU離脱については書いてきましたが、残留予測の人が多かったにも関わらず、なぜイギリス有権者が離脱を選択したのかを疑問に思う方も多いでしょう。離脱の理由は、ヨーロッパを理解する上で、テック業界の方にも重要な事だと思いますので、以下まとめました そもそもEUってなによ？ ところでなぜイギリスが離脱したかを理解するには、そもそもEUとは何かを理解する必要があります。 EUというのは欧州連合（European Union）のことです。地域統合体と呼ばれる組織で、主権（自分で自分の国のことを
誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法
誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法 The kings road to be a programming ninja 2016.04.27 Updated by Ryo Shimizu on April 27, 2016, 08:34 am JST 学問に王道なしと言いますが、プログラミングを上達するために最も効果的であるにも関わらず、いまや誰もその有効性を指摘しなくなってしまった方法がひとつだけあります。 それは「写経(しゃきょう)」です。 写経・・・文字通り、教科書に書いてあるプログラムリストをそのまま書き写すことです。 「そんなバカな。そんなことで上達が早まったら苦労しない」 と思うかもしれません。 しかし、実際には写経ほど効果的な学習法はないのです。 例を示しましょう。 たとえば、プログラミングの授業で、サンプルプログラムの半完成品がファイルで配られ
ブラウザから手軽に深層学習AIを教育できるオープンソースソフトウェア
ブラウザから手軽に深層学習AIを教育できるオープンソースソフトウェア You can train a deep neural network on your web browser 2015.12.24 Updated by Ryo Shimizu on December 24, 2015, 06:00 am JST 先日発表した深層学習(ディープラーニング)をWebブラウザ上から手軽に行うためのオープンソース・ソフトウェア、「DEEPstation(ディープステーション)」をついに公開しました。現在、Githubより誰でもダウンロードして使用することが出来ます(https://github.com/uei/deepstation)。 DEEPstationは、ディープラーニングを手軽に実験するためのGUIベースのアプリケーションで、以下のような特徴があります。 国産ディープラーニングフレ
プログラマーだけがやっている効率的な仕事のやり方
プログラマーだけがやっている効率的な仕事のやり方 Only Programmers knows the way to optimize working 2015.08.26 Updated by Ryo Shimizu on August 26, 2015, 17:10 pm JST 先日上梓した拙書「最速の仕事術はプログラマーが知っている」がありがたいことに大変評判なようで、発売4日後に増刷が決まるなど売れ行きが好調のようです。 もともとこんな刺激的なタイトルの本を書いていいのか、という悩みもあったのですが、編集の方の強い熱意と最初のミーティングの段階で完璧に近いところまで揃えられた目次と企画書を見て、「これは時間を割いてでも書いてみたい」と思い、引き受けることにしました。 実際に世に出ても、「やっぱりこれは書きすぎなんじゃないか」「刺激が強すぎるんじゃないか」と危惧していたのですが、A
ディープラーニングを小学生でも使えるようにしてみる
ディープラーニングを小学生でも使えるようにしてみる Trial to make easy to use deep learned neural network 2015.06.30 Updated by Ryo Shimizu on June 30, 2015, 06:59 am JST この一ヶ月で、ディープラーニングが急激に使いやすくなってきています。 Google傘下のディープラーニング研究グループDeep Mindでインターンをしているスタンフォード大学の学生はこんな台詞をツイートしています。 「ディープラーニングに関して、新しくクールな論文が発表される速度は、それを読める速度より速い」 それこそ毎日のようにディープラーニングに関する何らかの新しい話題が出てきます。 それくらい、ディープラーニングは盛り上がっているのです。 「人工知能は人間を超えるか」を記した東京大学の松尾豊先生に
サラリーマンプログラマに向かない人の生きる道
サラリーマンプログラマに向かない人の生きる道 2015.03.31 Updated by Ryo Shimizu on March 31, 2015, 14:44 pm JST 元日立で現VA Linuxの社員プログラマーらしき人が日立を辞めた後の転職を猛烈に後悔していることが話題になりました。 「年功序列などで働きづらい」として転職した元日立社員、転職後「日立のほうが良かった」と後悔して話題に/Slashdot この騒動を受けた本人のブログエントリを拝見しましたが、個人的にはあまり同情できません。 騒動の内容と今後について 上記のエントリを読んでいただければ私の言いたいことはだいたい伝わると思います。 残念ながら、世の中には、どれだけそれが好きでも、また、それに関する才能があったとしても、会社員には向いていないタイプの人が居るのです。たぶん今回の騒動の主となる人は会社員としてプログラマを
日本でプログラマが少ない理由は正当な対価を支払わないからである - WirelessWire News（ワイヤレスワイヤーニュース）
「日本史なんかより、プログラミングを教えるべき」三木谷浩史氏と夏野剛氏が日本の技術者不足を嘆く この対談がテクノロジー界隈の怒りを買って大炎上しております。三木谷氏と夏野氏曰く、日本史なんか教えなくていいからプログラミングを教えろ、日本でプログラマが足りない理由は工学系とかプログラム系を学ぶ学生が少ないから、だそうであります。つまり、それらを学ばない若い人が悪い、ということの様です。 しかし日本と欧州や北米の現場をみて来た自分からすると、お前ら一体何言ってんだということを申し上げたい。 日本で通信系やIT系の技術者が増えない理由は、ずばり、それら業界がエンジニアを大事にしないからでしょう。 このブログでも再三書いていますが、欧州だと、弱小ベンダーだって日本の様なデスマーチとは無縁です。就労環境の良さは比較になりません。インフォメーションアーキテクトなら年収２千万を軽く越える人だっています。
AO入試偏重は技術立国の自殺であり階層を固定する - WirelessWire News（ワイヤレスワイヤーニュース）
２ちゃんねらーが揶揄するために作ったのかと思われた声に出して読みたい日本語「AO義塾」がバズっています。 声に出して読みたい日本語「AO義塾」は慶応大等のAO推薦入試専門塾であり、大変高い合格率を誇る事で有名です。そもそもこういう対策塾があった事も驚きですが、その合格率の高さは寡占状態のようにも見えます。 この塾に在籍する高校生の少なからぬ人々が、小４偽装疑惑で話題となったNPO「僕らの一歩が日本を変える」にも在籍しているからか何なのか知りませんが、なぜかこの塾の塾長氏がこの件で謝罪しております。 長渕剛に桜島の上で歌って爆発して欲しいわという感じのポエマー魂を発揮し、火の粉にウランを注ぎ込んでおり、AO推薦入試というのはポエムが得意な人を選抜する芸術性を重視する試験なのだなということを再認識した次第です。 青木大和と彼がご迷惑をおかけした全ての皆様へ さて、このAO推薦入試というのは、ワ
長岡花火に見るアドボカシーマーケティング - WirelessWire News（ワイヤレスワイヤーニュース）
先週末、地元の新潟県長岡市に戻って花火を見てきました。 生まれてからずっと見ていたのですが、今回は東京から何人か連れていくことにしたので初めてチケットを買ってみました。といっても、長岡花火は大部分の人は河川敷や近くで適当にレジャーシートを敷いて観覧しています。 この長岡花火、東京に来てから改めて見てみると凄まじく豪華です。 今年もわずか人口27万人の地方都市に100万人以上が集まり観覧しました。東京の隅田川花火大会が80万人ですから、その規模を想像していただけるのではないかと思います。 特に10年前、中越地震の復興を祈願して始まった全長二キロメートルの巨大さを誇るスターマイン「フェニックス」は平原綾香(震災時真っ先に駆けつけて避難所を慰問した)の「ジュピター」を、今年は5分に延長され、平原綾香本人が生で歌い、それにあわせて2000発の花火が打ち上げられました。感動と恐怖さえ覚えます。 し
日本でデスマーチが発生する理由とW杯コートジボアール戦のゴミ拾いの関係 - WirelessWire News（ワイヤレスワイヤーニュース）
先日のワールドカップの日本対コートジボアール戦で、日本のファンが、試合に負けたのにも関わらず、スタジアムのゴミを拾ったことが、様々な国のサッカーファンやメディアに驚かれました。 Japanese fans stayed behind after the game last night to clean their section of the stadium. Class act. pic.twitter.com/av1hzs4eXY— World Cup 2014 (@Brazil14WC) June 15, 2014 Japanese fans cleaning near the seats where they were sitting. Such an admirable civilisation. Massive respect. pic.twitter.com/leAYPuEK
日本の大学の国際化はどう考えても無理だと世界にバレている - WirelessWire News（ワイヤレスワイヤーニュース）
イギリスの高等教育専門雑誌である Times Higher Educationに、日本の私大で教えていたイギリス人学者の書いた記事が掲載されていました。この記事、日本の高等教育の実態を、外国人学者の視点で、身も蓋もない書かれ方をしており、大変興味深いといいますか、「日本の教育ヤバいんとちゃう？」とかなり心配になるのであります。 Beyond sushi: the attractions of lecturing in Japan （寿司の向こう側：日本で講義をやる魅力） と題された記事。一見「日本の大学は最高だ」という内容を期待しそうになりますが、そこはイギリス。記事を読み始めてすぐに「ああ、イギリス流の皮肉じゃないか。。。」とわかります。 イギリスの名門サセックス大学で歴史学の博士号を取得したスーザン•バートンさんは、博士号取得後、なかなか仕事がみつからず、本屋で最低賃金のアルバイトを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
