1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
なぜ、微積分は役に立つのか
なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計
知性の錯覚 ChatGPTの先にある「すべての人々が賢くなった世界」でおきること
知性の錯覚 ChatGPTの先にある「すべての人々が賢くなった世界」でおきること 2023.01.05 Updated by Ryo Shimizu on January 5, 2023, 16:02 pm JST 会話するように知識を引き出せるChatGPTと、言葉を支持するだけでプロ並みの絵を描くStableDiffusionは、これまでAIに直接触れることができなかった人たちも直接AIに触れることができ、その威力を実感できるというターニングポイントとなった。 筆者が長年追いかけてきた「コンシューマAI」の実現に端緒がつけられたわけである。 とはいえ、まだまだという部分もある。 先日、某大学院に通う知人が「ChatGPTで授業のレポートとか論文とか書けちゃいますね」とポロリとこぼした。 実際、筑波大学の落合陽一特任教授は、既に「ChatGPTが書いた文章か否か」を問うアンケートを配布し
自己増殖する機械とAI
自己増殖する機械とAI 2022.05.14 Updated by Ryo Shimizu on May 14, 2022, 07:00 am JST コンピュータの初期の動作原理をまとめたとされる人物の一人、フォン・ノイマンは数々の伝説を持っていて、スタンリー・キューブリックの映画「博士の異常な愛情 または私は如何にして心配するのを止めて水爆を愛するようになったか」に登場する主人公「ドクター・ストレンジラブ」のモデルにもなっている。 フォン・ノイマンの晩年の研究テーマの一つが人工生命についてのものだった。 その当時、計算というかなり複雑な知的処理を行えるようになった機械はやがて自ら意志を持ち、生き物と同じように自らの複製を作ることができるだろうか。 機械が自己を複製することができるということを数学的に証明しようとしてノイマンが用いたのが、格子状に配置された細胞(セル)が、一つ一つは単純な
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし
ニューラルネットワークは21世紀のトランジスタである
ニューラルネットワークは21世紀のトランジスタである 2019.05.12 Updated by Ryo Shimizu on May 12, 2019, 18:10 pm JST 過日、スコットランドのグラスゴーで開催された世界規模のコンピュータ・ヒューマン・インタラクション学会、CHI2019に参加してきた。 そこで目にしたものは、もはや当然のように受け入れられているニューラルネットワークの数々である。 CHIという学会においては、ニューラルネットワークがなんら特別なものと認識されていない。 それどころか、そもそも「当然のように使う道具」として捉えられているのが非常に印象的だった。 例えば、東京大学の暦本純一研究室では、口腔内を超音波エコーでスキャンして、口腔の断面図からニューラルネットワークによって発音を推定し、スピーカーで再現することで無声状態でAmazon Alexaを起動するS
かざして大容量データを転送、10Gbps超の無線通信方式「IEEE802.15.3e」が標準化
かざして大容量データを転送、10Gbps超の無線通信方式「IEEE802.15.3e」が標準化 2017.06.09 Updated by Naohisa Iwamoto on June 9, 2017, 10:07 am JST 「かざす」だけで瞬時に大容量データを転送できる超高速近接無線方式がIEEE（米国電気電子学会）で標準化された。標準化が完了したのは「IEEE802.15.3e」。60GHz帯を使い、10Gbpsを超える通信により4K解像度やVR（仮想現実）などの大容量データを瞬時に転送できる。 IEEE802.15.3eの国際標準規格化が完了したことをアナウンスしたのは、TransferJetコンソーシアム。そのプロモーター企業であるソニー、日本無線、NTT、東芝と協力して、IEEEでの規格化を完了した。TransferJetコンソーシアムは、近距離無線通信のTransferJ
AppleのAI技術 CoreMLの正体
AppleのAI技術 CoreMLの正体 2017.06.08 Updated by Ryo Shimizu on June 8, 2017, 12:08 pm JST マストドンで「今回発表されたCoreMLについてどう思うか」という質問を頂いたので整理しておきたいと思います。 ちなみにAIに関してAppleは完全に出遅れています。GoogleとFacebookが先頭で、Microsoftがかなり引き離されて三番手とすれば、Appleはそれよりさらに遅れています。 NDAに触れない範囲でAppleのCoreMLのページを見てみると、なるほどね、という感想でした。 AppleはCoreML(MLは機械学習;Machine Learningの略と思われる)で、画像認識と自然言語処理という２つの機能を提供する、とあります。 CoreMLをリリースしたということは、AppleはGoogleのTe
周回遅れのAppleはどう復権するか
周回遅れのAppleはどう復権するか 2017.06.08 Updated by Ryo Shimizu on June 8, 2017, 08:55 am JST AppleのWWDC2017のキーノートスピーチが終了して、いよいよAppleには伸びしろが少ない、と感じた人は業界の中にも少なくないのではないでしょうか。 筆者はもう10年以上Macを使っていますし、スマートフォンも全てiPhoneです。もちろん途中でAndroidを併用したりもしていたのですが、やはりiPhoneに戻ってきてしまうという程度には「信者」です。 しかし今回のWWDCはここ数年停滞していると言われていたAppleのいよいよ終わりの始まりを感じさせるものでした。 この状況は2005年頃のAppleに似ています。iPodが好調で、iMacもそこそこ売れていた頃のAppleです。 この頃はどこかでスティーブ・ジョブズ
更に激しい貧富格差の時代がやってくる
更に激しい貧富格差の時代がやってくる 人と技術と情報の境界面を探る #006 2017.05.29 Updated by Shinya Matsuura on May 29, 2017, 07:00 am JST ここまでの考察を、今風というかネット風にまとめてみよう。 1) 技術革新が情報と物流を効率化する。 2) その結果、経済のグローバリゼーションが急速に進行する 3) 結果、国内国外、域内域外を問わず貧富の格差が拡大する 4) 経済的に取り残された地域からグローバリゼーションの恩恵を受ける地域に、人が移動する 5) 経済は高速に変化するが、人の生活習慣はそれほどの速度で変化することはできない 6) それまで、接触することがなかった異なる文化圏に属する人々の接触が急増し、摩擦が発生する 7) グローバリゼーションの恩恵を受けることなく取り残された人々に、ポピュリズムが「悪いのはやって
電子頭脳と人工知能 AIという言葉の整理
電子頭脳と人工知能 AIという言葉の整理 Electrical brain vs Artificial intelligence 2017.05.12 Updated by Ryo Shimizu on May 12, 2017, 06:45 am JST 今年も東京ビッグサイトでJapan IT Weekが開催されています。 昨年もそうでしたが、ちらほら目立つのは「AI」とか「人工知能」というバスワードです。 実はAIという言葉が生まれたのは、1956年のダートマス会議です。LISP言語の開発者としても知られるジョン・マッカーシーによって「Artificial Intelligence(人工知能)」と名付けられました。 コンピュータの直接の先祖が生まれたといえるのはこの会議のわずか10年ほど前ですから、人工知能という言葉はコンピュータの誕生とほぼ同時にあったと考えることが出来ます。 では
明晰な知能の定義
明晰な知能の定義 The definition of bright intelligence 2017.03.31 Updated by Ryo Shimizu on March 31, 2017, 09:39 am JST AIと一口に言っても、大きく分けて深層学習以前と以後に分けられます。 深層学習以前のAIは、はっきり言って停滞していました。 停滞しつつも、手書き文字認識や音声認識といった分野で着々と実績を積み上げ、そしてそのどこかに「越えられない壁」のようなものを感じてまた停滞する、ということを繰り返してきました。 昨今注目されているAIは深層学習で、実は深層学習屋さんと、それ以前の機械学習または自然言語処理屋さんは仲が良くないのです。 深層学習以前の世界では、AIの研究というと、「情報をどう扱うか」「情報のどの部分に着目するか」ということ、専門的な言葉でいえば「情報の特徴量」をど
経営者がプログラマーである強み
経営者がプログラマーである強み CEO should be a programmer 2015.05.30 Updated by Ryo Shimizu on May 30, 2015, 10:50 am JST 最近、つくづく自分がプログラマーで良かったな、と思うことがよくありました。 経営者をしていると、自分がプログラマーであることがとても異質に感じられる時があります。 もちろん私自身は、もう製品にするためのプログラミングをすることはありません。 私が製品のプログラムを直接いじることになれば、それは私自身がプロジェクトのボトルネックになってしまうからです。 しかし、だからといってプログラミングを全くしないというわけではなく、私自身は会社の方針を決定するために常に簡単なプログラミングをしています。 意思決定のためにプログラミングをすることが必要なのです。 この業界は新しいことが次々に起き
もうすぐ絶滅するという開かれたウェブについて
もうすぐ絶滅するという開かれたウェブについて This is Not the End of the Open Web 2016.08.22 Updated by yomoyomo on August 22, 2016, 10:31 am JST すっかり旧聞に属しますが、Internet Archive が主催し、これからのウェブのあり方を議論するイベント Decentralized Web Summit が6月に開かれました。 このサミットには "Locking the Web Open" というサブタイトルが付いていますが、逆に言えば、主催者には現在のウェブはオープンではないという認識があるわけです。それにいたる流れを少し辿りたいと思います。 そもそも Open Web（オープンウェブ、開かれたウェブ）という言葉が特に言及されるようになったのは、2010年だったと記憶します。その背景の
誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法
誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法 The kings road to be a programming ninja 2016.04.27 Updated by Ryo Shimizu on April 27, 2016, 08:34 am JST 学問に王道なしと言いますが、プログラミングを上達するために最も効果的であるにも関わらず、いまや誰もその有効性を指摘しなくなってしまった方法がひとつだけあります。 それは「写経(しゃきょう)」です。 写経・・・文字通り、教科書に書いてあるプログラムリストをそのまま書き写すことです。 「そんなバカな。そんなことで上達が早まったら苦労しない」 と思うかもしれません。 しかし、実際には写経ほど効果的な学習法はないのです。 例を示しましょう。 たとえば、プログラミングの授業で、サンプルプログラムの半完成品がファイルで配られ
ディープラーニングを小学生でも使えるようにしてみる
ディープラーニングを小学生でも使えるようにしてみる Trial to make easy to use deep learned neural network 2015.06.30 Updated by Ryo Shimizu on June 30, 2015, 06:59 am JST この一ヶ月で、ディープラーニングが急激に使いやすくなってきています。 Google傘下のディープラーニング研究グループDeep Mindでインターンをしているスタンフォード大学の学生はこんな台詞をツイートしています。 「ディープラーニングに関して、新しくクールな論文が発表される速度は、それを読める速度より速い」 それこそ毎日のようにディープラーニングに関する何らかの新しい話題が出てきます。 それくらい、ディープラーニングは盛り上がっているのです。 「人工知能は人間を超えるか」を記した東京大学の松尾豊先生に
欧州の組織はなぜ従業員を丁重に扱うのか - WirelessWire News（ワイヤレスワイヤーニュース）
そろそろ年末年始の休暇の時期ですが、欧州においては労働時間が長い、と言われているイギリスでもこの時期は２−３週間の休暇を取るのが当たり前です。取引先も何処も休みですから、さっと休んでしまう人が多いのです。欧州大陸の方でも大体同じです。上役も経営者も「働け働け」と休暇取得を妨害したり、仕事を無理強いすることはマレであります。 欧州の組織は北米や日本に比べますと、産休や病欠なども授業員に恵まれた仕組みになっております。もちろん国による規制があるから、罰則が厳しいから、というのもありますが、抜け穴がないわけではありません。しかし、法令には従う組織の方が多く、また、法令以上の好条件を準備する組織もあります。 そういうことを書きますと「そうか、欧州は博愛主義で人間主義だから従業員を丁重に扱うに違いない」という意識の高い脳内お花畑様が湧いてきます。 確かにそういう一面もあるかもしれません。 しかしワタ
「ビッグデータ時代を見据えたパーソナルデータ法制の現状と課題（1）」 板倉陽一郎氏（弁護士・ひかり総合法律事務所） - WirelessWire News（ワイヤレスワイヤーニュース）
「ビッグデータ時代を見据えたパーソナルデータ法制の現状と課題（1）」 板倉陽一郎氏（弁護士・ひかり総合法律事務所） 2014.02.24 前回は高橋克巳氏に技術的な話を中心にパーソナルデータとは何か、匿名化とはどういった技術であったかを伺った。本稿では弁護士であり、消費者庁消費者制度課個人情報保護推進室への出向経験をお持ちの板倉陽一郎氏にこの分野の国際情勢、法改正の概要、事業者が受けるインパクトの3点を伺う。（聞き手:JIPDEC） プライバシー保護の面で日本は組みにくい国だと思われてしまっている ──パーソナルデータに関する法制度の現状について、日本は世界の中でどのような位置づけにあるのでしょうか。 板倉氏（以下敬称略） 22003年に日本の個人情報保護法を含む関連五法が成立し、2005年4月に全面施行されました。その後はそのまま運用しているというのが実態で、主務大臣制による27分野40
美女と高級車、デザインという仕事 - WirelessWire News（ワイヤレスワイヤーニュース）
iPodとiPhoneのデザインで知られる、Appleで唯一、スティーブ・ジョブズ以外の誰も指示も受けない特権を持つ男、ジョナサン・アイブの伝記が出版されました。 非常に示唆に富む内容で、全ページ赤線を引きたくなるような傑作です。 林信行氏の手による序文も、序文の範囲を越えた力作になっており、本当にオススメです。個人ブログでも詳しく書きましたが。 そしてこの本を読むと、本書で度々言及されている「アップルデザイン」という本も読みたくなります。早速昨日購入し、今朝読んだところです。 この本も本当に面白いのでオススメです。 そして改めて「デザイン」という仕事について考えてしまいました。 昨日は、幕張メッセで開催された東京オートサロンに行ってきました。 東京オートサロンは、改造車のショウです。 アフターパーツメーカーやチューナーが一同に会し、さまざまなカスタムカーを展示しています。 私自身も改造車
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
特集：日本のIoTを変える99人 - WirelessWire News（ワイヤレスワイヤーニュース）