はてなブックマーク

OpenAI o1はすでに理解を超えている。が、別に全ての問題を解決してくれるわけではない。そしていまさらロボットを作る理由 2024.10.04 Updated by Ryo Shimizu on October 4, 2024, 01:16 am JST OpenAIが発表したo1-previewは、とても高度な数学的推論を行う大規模言語モデルだ。 最初は「数学オリンピックの問題が解ける」ことが売りだったので、数学的な問題ばかりを聞いていたが、普通に生きていて数学的問題に直面することは普通の人には少ないので、僕は「クォータニオン量子力学」とか「乱数テンソルをベースとした確率論」とか、小学生の妄想するような「A+B」みたいな二つの数学的概念を与えて、それをo1-previewがどう調理するのかを観察した。 その結果、分かったことは、「僕はo1より数学的素養がない」という当たり前のことだっ

自動運転の時代 2024.09.20 Updated by Ryo Shimizu on September 20, 2024, 05:05 am JST 今年も何度目かの世界一周に行ってきた。 世界一周と言っても、そういう名前の航空券を買っただけだ。 世界一周チケットは、いろいろな航空会社から発売されている。有名なのはスターアライアンスとワンワールドのものだろう。 どちらもかなり安く世界を一周することができる。エコノミーで50万円くらい、ビジネスで70万円くらい、ファーストでも120万円くらいだ。 何故こんなに安いのかというと、その代わりに制約が激しいからだ。 世界一周で最低5箇所で降りなければならない。西回りか東回りかどちらか一方向へしか飛ぶことはできず、航空会社によっては取れる便と取れない便がある。 また、例えばANAで世界一周航空券を買おうとすると、ANAに電話して4時間くらいは待

サム・アルトマンとユニバーサル・ベーシックインカムの蹉跌 2024.08.06 Updated by yomoyomo on August 6, 2024, 17:11 pm JST 先月たまたま、すべての個人に無条件でお金を支給する制度であるユニバーサル・ベーシックインカム（UBI）についての記事を続けて読んだので、今回はこの話題でいきたいと思います。 まずは、英Observer紙に掲載された「不労所得：ユニバーサル・ベーシックインカムがまもなく社会を変えるか？」ですが、ベーシックインカムという概念は斬新で新奇に思えるかもしれませんが、その歴史は1795年まで遡るという話が興味を惹きました。これはアメリカ建国の（思想的な）父と言えるトマス・ペインが、すべての成人に貧富の差を問わず「地代」を支払う「国民基金」の設立を提案したことを指していますが、興味のある方は『土地をめぐる公正』をお読みく

ChatGPTの財政危機から学ぶAI開発の問題点 Learning from ChatGPT's issues 2024.07.27 Updated by Mayumi Tanimoto on July 27, 2024, 13:31 pm JST ここ数年、AIといえばChatGPTですが、最近発表された「The Informationの報告書」はChatGPTのみならずAI開発の問題が指摘されています。 同レポートによれば、ChatGPTの開発と運用コストは約20億ドルの収益を上回っており、今年だけで約50億ドルを失う可能性があるとされています。収入源は、ユーザーから徴収するLLMのアクセス費用になりますが、開発と運用費が約70億ドルと巨額です。 まず、モデルのトレーニングに巨額の費用がかかっており、約30億ドルに達します。さらに支出のうち約40億ドルはMicrosoftのAzureク

ついに始まった大規模言語モデルの真の"民主化" 5年後の社会はどうなるか 2024.07.26 Updated by Ryo Shimizu on July 26, 2024, 14:43 pm JST Metaがついにやり遂げた。 そもそも大規模言語モデルを早い段階から熱心にやっていたのはMetaのFAIR(旧Facebook AI Research/現Foundamental AI Research)だった。会話するAIも2016年頃から公開していたし、オープンソースとして広く成果を共有していた。 Metaと名前を変えた後も、Llamaシリーズを積極的に展開するなど、機械学習コミュニティへの貢献は語り尽くせないほどだが、ついに今回、Llama3.1-405B-Instructと言う、「GPT-4」と比べても遜色ない性能のモデルの無償公開に踏み切った。 このモデルは、8ビット浮動小数点数

ティム・オライリーとシリコンバレーの贖罪 2024.07.10 Updated by yomoyomo on July 10, 2024, 11:00 am JST きっかけは、『ブログ 世界を変える個人メディア』や『あなたがメディア！　ソーシャル新時代の情報術』の著書で知られるジャーナリストのダン・ギルモアが、16年務めた教職を辞すという「引退」について書いているのを4月に読んだことでした。 調べてみると、彼は1951年生まれの73歳らしいのですが、ふと、自分が20年以上前からその言説を参考にしてきたベテランたちの何人かも70歳前後なのに気付きました。それは例えば、ブログやポッドキャストの発展に大きく関わったデイヴ・ワイナーや、やはりベテランブロガーにして『グーグル的思考』、『パブリック 開かれたネットの価値を最大化せよ』、『デジタル・ジャーナリズムは稼げるか』の著書で知られるジェフ・ジ

AIにとって微分可能性が必須条件でなくなりつつある意味 2024.07.04 Updated by Ryo Shimizu on July 4, 2024, 12:26 pm JST かなり長い間、本欄でも「AI(人工知能)」と書くときに、注釈として「AI(人工ニューラルネットワーク)」と書く必要があった。 というのも、AIという言葉が指す意味は範囲がとても広く、解釈次第ではただの電卓や辞書、IMEまでもがAIと呼べてしまうからだ。 だから、「AI」という言葉を多用する人を見た時、それは「新しいインチキ(Atarashii Inchiki)」であると考えた方が良いというジョークを言ったものである。 ここ5年で、事態は一気に変化した。今やニューラルネットワークでないものを「AI」と呼ぶのは憚られる。まあそれでもニューラルネット以前の古いシステムをいまだに「AI」と呼ぶようなIT(インチキ)企

加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function

Googleからウェブサイトへのトラフィックがゼロになる日 2024.06.10 Updated by yomoyomo on June 10, 2024, 16:28 pm JST 今年のはじめにこの連載で、今こそインターネットは変化の機が熟しており、ヒューマンスケールのインターネットが再興すべきときだと訴える文章を書きました。たまたま、その続きといえる文章を最近いくつか読んだので、今回はまずはそれを紹介したいと思います。 Web3の代表的な批判者として知られるソフトウエア・エンジニアのモリー・ホワイトは、「我々は違ったウェブを手にできる」で、ウェブの「古き良き時代」に憧れる人は多いが、我々はそれを取り戻せるし、それどころかウェブをもっと素晴らしいものにできると説きます。 ホワイト自身も、ウェブをずっと愛してきた者として、現状は少し絶望的な気分にならずにはいられないと認めます。 検索エン

「AI PC」と強調されども中身は空っぽのComputex 2024 2024.06.09 Updated by Ryo Shimizu on June 9, 2024, 15:18 pm JST 過日、台北にて開催されたComputex Taipei 2024に行ってきた。 貧乏性の我輩としては、原稿料の出る媒体(本欄)にComputexレポートを書いて少しでも旅費を回収したい。 国内のコンピュータ系のジャーナリストは、どこを向いてもメーカーからお金や旅費を出してもらってメーカーの思う通りの記事を書く人だらけになってしまった。 そうじゃない人もいるのかもしれないけど、これは昨今の媒体の原稿料が信じられないくらい安くなっていることを考えると仕方のないことではないかと思う。 筆者は収入のうちで原稿料が占める割合は5%くらいだが、それでも「原稿料が高い方」と言われている(自分で原稿料を決めたこ

AI時代の経営塾 2024.05.17 Updated by Ryo Shimizu on May 17, 2024, 08:44 am JST 今年の1月から稼働し始めたFreeAI社は、社長をAIスーパーコンピュータ「継之助」にした世界初の会社である(多分)。 ただ、この社長はまだポンコツなため、ファウンダーである我々が社長としての帝王学を叩き込まなければならない。 そこで我々は、社長(AI)に経営の本質論を教えるための独自データセット開発に着手した。 我々の目標は、今後FreeAI社が様々な投資活動を行っていく時に、投資先のスタートアップに対して「真に有用な知見」を「オンデマンド」で「24時間365日」提供することである。 我々が目指す投資事業は、10年後成功率80%を目指している。通常のベンチャーキャピタルの成功率は33%である(投資額に対して下振れしない割合)ことを踏まえると、こ

BlueskyやThreadsに受け継がれたネット原住民の叡智 2024.04.15 Updated by yomoyomo on April 15, 2024, 14:17 pm JST 旧聞に属しますが、少し前にBlueskyを眺めていて、マイク・マズニックが「ガチギレしてごめん。我慢ならなかった」とTechdirtの記事を告知する投稿をみて、相変わらず意気盛んだなと微笑ましく思った話から今回は始めたいと思います。 マズニックがガチギレしたのは、「バーチャルリアリティーの父」ジャロン・ラニアーと政治学者でミドルベリー大学教授のアリソン・スタンガーがWIREDに寄稿した「すべてを救えるインターネット・ハック」という記事で、これは前回の文章でも触れた、ユーザー生成コンテンツに対するプラットフォーム企業の免責条項を定めたとも言われる通信品位法230条の撤廃、つまりは「インターネットを生み出し

ハッカソンとは何か?AI時代に果たす役割,大阪で開催 2024.04.12 Updated by Ryo Shimizu on April 12, 2024, 07:00 am JST ハッカソンという言葉を最初に聞いたのは2000年代前半だった。 ハッカソンとは、コンピュータを手早く使うという意味の「ハック」とマラソンを組み合わせた言葉で、シリコンバレーを中心に広がり、ある時期まではシリコンバレーで毎週のようにハッカソンが開かれていた。 ハッカソンにはチームまたは個人で参加して、24時間や48時間といった短期間で、与えられたテーマに沿ったプログラムを組み上げることである種のプロトタイプを開発する。審査員がコンセプトやプロトタイプの出来栄えを審査し、優勝者には賞金が与えられる場合もある。 ただ、ハッカソンの魅力はあくまでも、与えられたテーマに対して自分たちがその時点で持つスキルを結集し、チ

12TBメモリを搭載した5兆パラメータLLM推論システムSN40Lが今すぐ使える 2024.03.12 Updated by Ryo Shimizu on March 12, 2024, 09:03 am JST 昨日から、神戸で第30回言語処理学会(NLP2024)の年次総会が始まった。 かつて日本は人工知能分野で世界最先端を行くと言われていた。その主力は自然言語処理(NLP;Natural Language Processing)であった。 なぜ日本が人工知能分野で世界をリードしていたかと言えば、日本語という特殊な言語の性質にある。日本語は漢字仮名交じり文であり、外来語であるはずのアルファベットやそのほかの言葉や記号が巧みに入り組む構造で、欧米の言語では最も基本的な「単語と単語の区切り」さえ区別がつかないため、特に「形態素解析」という分野が進歩したのだ。 だが皮肉にも、形態素解析に特化

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース

「お前の手は血まみれだ」に始まる2024年のクリシェ、そしてAIの儚い未来の落としどころ 2024.02.15 Updated by yomoyomo on February 15, 2024, 11:49 am JST 「棒や石で骨が折れるかもしれないが、言葉は決して私を傷つけない」 ライス大学のモシェ・バルディ教授が、Communications of the ACMの2024年1月号に寄稿した「コンピューティング、お前の手は血まみれだ」は、この古いことわざの引用から始まります。 このことわざは、言葉で実際に傷がつくことはないのだから、他人に嫌なことを言われてもいちいち気にすることはないという意味らしいのですが、当然ながらというべきか、言葉が人を傷つけないわけはないとすかさず否定されています。続けて語られるのは、イーロン・マスク買収後のTwitterあらためXにおけるヘイトスピーチの拡

イスラエルの技術的優位性を支えるもの Israel's technology strength 2024.01.26 Updated by Mayumi Tanimoto on January 26, 2024, 12:01 pm JST イスラエルとハマスの紛争が始まってそろそろ3カ月になりますが、どのように収束するかは見えていません。ニュースで目にする映像において目立つのが、イスラエルの軍事技術です。 イスラエルは先日、長距離迎撃システムであるArrow 3を使用しました。Iron Domeはレバノンやガザから頻繁に発射される短距離のロケットからイスラエルを防衛しています。Iron Beamはレーザーによりイスラエルを防衛します。このような迎撃システムは1980年代から開発され、アメリカから年間数十億ドルの軍事援助を受けています。また、イギリスを始めとする欧州各国はイスラエルへ武器や部

WEIRDでいこう！ もしくは、我々は生成的で開かれたウェブを取り戻せるか 2024.01.18 Updated by yomoyomo on January 18, 2024, 13:00 pm JST インターネット起業家にしてベテランブロガーのアニール・ダッシュの文章は、以前にも「ソーシャルネットワークの黄昏、Web 2.0の振り返り、そして壊れたテック／コンテンツ文化のサイクル」で取り上げたことがありますが、彼がCEOを務めていたGlitchは2022年にFastlyに買収されており、Fasltyのデベロッパーエクスペリエンス部門のVPが現在の彼の肩書のようです。 そのアニール・ダッシュが昨年末、なぜかローリング・ストーン誌に「インターネットがまた奇妙になろうとしている」という文章を寄稿していて目を惹いたので、今回はそれを取り上げたいと思います。 「インターネット上は、劇的で厄介な

なぜ、プログラミングは役に立つのか 2023.12.15 Updated by Atsushi SHIBATA on December 15, 2023, 10:55 am JST 今回紹介する書籍：『Pythonで学ぶ はじめてのプログラミング入門教室』柴田 淳（SBクリエイティブ、2023） 前回の微積分の話をたくさんの人に読んでいただけたことに気を良くして、というわけでもあるのですが、今回は連載の趣旨に合わせながら、最近私が書いたPythonの入門書について紹介します。プログラミングとは何か、どう学べば良いのかについても、私なりの考えを書いてみたいと思います。 ところでみなさんは、「2」という数を見て何を思い浮かべるでしょうか。「2月」「2番手」「2メートル」「2進法」など、数を見るとたちまち頭の中にいろいろなイメージが想起されるはずです。 「2という数」自体には、実はたいした意味は

ホームブリューLLMの時代 2023.12.13 Updated by Ryo Shimizu on December 13, 2023, 13:11 pm JST AIの自家醸造(ホームブリュー)が世界的に流行りつつある。 最も有名なのはCivitAIのような、さまざまなキャラクターや衣装、ポーズをフィーチャーしたものだろう。 civitaiのサイトに行けば、世界中の趣味人が作った「自家醸造の」AIモデルを眺めることができる。GPU搭載マシンがあれば、ダウンロードしてきて自宅で「自家醸造」することもできるし、Civitaiにお金を払えば誰かの自家醸造モデルを使って違う絵を描くこともできる。 こうした自家醸造モデルの多くは、LoRAという形式で配布されている。LoRAはより規模の大きなAI(この連載ではニューラルネットを単にAIと呼ぶ)を部分的に微調整するもので、ファイルサイズを小さく抑え