朝起きたら函館だった。 ホテルで朝食を食べていたら、「あらまあ、おはようございます」と聞き覚えのある声がした。 そこに立っていたのは、僕がよく行く東十条のやきとん屋の女将だった。 「なんでこんなところに」 「連休だから。飛行機で来て、今日の夜に新幹線で東京に帰るところなの」 「それはそれは、実に奇遇ですね」 このやきとん屋さんは、僕にとって、ジェダイ神殿のようなものだ。 無宗教である僕にも、心理的な拠り所が必要になる時がある。 その時、いつもここの大将のことを思い出す。 僕は一時期、この店に毎週、4時間並んだ。 この店では最初の客を「トップ」と呼ぶ。 トップには、あらゆる料理を注文する権利が得られる。 「教養とは暇つぶしの方法である」と言ったのは中嶋らもだったか。 僕は四時間並びながら、5冊の本を書いた。 そのうちの一冊、特に読みやすい薄い一冊を、大将にプレゼントした。 すると大将は、「清

qwqが凄すぎる。 ローカルで動くモデルで、ChatGPTのo1-miniを上回り、o1-previewと張り合う性能だという。 嘘だろと思ってollamaでおれのMacBookPro M4 Max(128GB)でローカル実行してみた。 $ ollama run qwq以下、線の下はqwqに聞いた回答 >>> 量子生物学における光合成を数式で説明して 量子生物学における光合成の数式的解説は、かなり複雑な領域に属します。光合成プロセスでは、植物や一部の細菌が太陽光を捕獲し、化学的能量を生成するメカニズムが働いています。最近の研究では、この過程において量子力学的な効果が重要な役割を果たしていることが示唆されています。 まず、光合成プロセスの基礎となるのは、励起エネルギー伝達（Energy Transfer）と電荷分離（Charge Separation）の二つの主要ステップです。励起エネルギー

母校での講演が終わったあと、俺はしばらく放心状態だった。 いや、我ながら頭おかしいとしか言いようがないが、これ以外に母校で話したいことは特になかった。特に、俺の母校、新潟大学教育学部附属長岡中学校は、教員から校長から全員新潟大学の人なので、新潟大学こそが至高の学校であり、新潟大学を愛する愛大学教育みたいなのを受ける。だから俺だって「新潟大学ってまあまあイケてる大学なのかな」と思って育ったのだが、俺より成績がいい奴らがどんどこ新潟大学にブラックホールのように吸い込まれていって、その後どうなったかわからなくなってしまう。というか、全く中央で活躍しない。 俺が、せいいっぱいの覚悟で、故郷の後輩たちガキどもに言えることが、俺の考える、俺の同級生がもっと輝けたはずの事実を指摘することだった。それが (附属長岡の生徒は)新潟大学に行ってはいけない。 (附属長岡の生徒は)教育学部に行ってはいけない。 と

生成AIといえば、拡散モデルである。 そもそも、最初にブレイクした画像生成AIは、StableDiffusiionだ。そしてこれはもちろん名前の通り「拡散モデル」である。 拡散モデルは、ノイズの入った情報からプロンプトを手掛かりにノイズを除去していく過程を学習して、転じてプロンプトから画像を生成できるようになる。しかし、この学習過程は、実は遺伝的アルゴリズムのような進化計算と同じであるという衝撃的な論文が発表された。 拡散モデルの学習過程は進化計算と同じである 機械学習と生物学の融合により、拡散モデルは進化アルゴリズムであることが分かりました。進化をノイズ除去プロセス、逆進化を拡散とみなすことで、拡散モデルは本質的に進化アルゴリズムを実行し、自然に選択、突然変異、生殖隔離を包含することを数学的に実証しました。この等価性を基に、拡散進化法を提案します。これは、拡散モデルのコンテキストで最初に

我々が単に「言語モデル」といった場合、それはTransformerモデルを指す。Transformerモデルは、ChatGPTやGemini、Claude-3、Command-R+などで使われている。 最近はMambaのような状態ステートマシンの言語モデルも出てきた。そしてもしかしたら今後はここに、拡散ディフュージョンモデルが加わるのかもしれない。 拡散モデルで有名なのは、StableDiffusionで、主に画像生成に使う。 実は画像生成は最初はTransformerだった。OpenAIのDALL-Eは、Transformerとして画像生成を行なった。しかしTransformerには明らかな欠点があり、それはあまりにも膨大な計算量が必要なことだ。 Transformerの事前学習プリトレーニングには、今でも天文学的な計算資源が必要だし、微調整ファインチューニングにも今なお膨大な計算機が必

新潟県長岡市で三度目の当選を果たした磯田市長にプログラミングを教えてみて、吾輩はある確信に達した。 もはやプログラミングは英語より数学より身近なものであり、真の意味で誰でもプログラミングをスキルとして身につけることができる、一億総プログラマー国家が出現しようとしているということを。 吾輩がこの構想を夢見たのは10年前。 時のIT担当大臣、山本一太に招聘されてプログラミング教育を義務教育に組み込むよう進言したことから始まる。 山本一太氏は、「日本が世界最先端のIT国家になるためにはどうすればいいのか」と聞いてきた。それはもちろん、全員がプログラミングができるようになることであると答えた。 ただ、吾輩にはその具体的な方法論がなかった。それに答えるために始めたのがenchant.jsでありその後の秋葉原プログラミング教室、そして今はシラスの「教養としてのAI講座」に至るプログラミング教育活動であ

世は大容量GPU時代。 吾輩も、秋葉原で大容量VRAM搭載GPUの中古が出たときけばすぐに飛んでいき買ってくるということを繰り返している。ちなみに最近、秋葉原の大容量中古GPUは飛ぶように売れているので、見つけたら即買いしないとすぐに無くなる。 なぜ大容量GPUが欲しいかと言えば、それがAIの全ての力の源だからである。 しかし、これは我々のようなガチ研究勢の話であって、ビジネスパースン的には「いやあこれからはローカルLLMでセキュリティバッチリでしょう」みたいな話をしても、「んで、おいくら万円ですか?」と聞かれて、「えーと、GPU単体で500万円くらいでやす」とか言うと客も裸足で逃げていく。そもそもそれだけの価格を払っても、買えるかどうかわからない。 こないだデンバーの学会で、NVIDIAのジェンスン・ファンとMetaのマーク・ザッカーバーグが対談した時に、マークはずっと「とにかくGPUを

科学の世界では、それまでの常識が覆ることを俗に「パラダイムシフト」と呼ぶ。 しかし、もしもAIの世界にパラダイムシフトという言葉があるとしたら、今週の人類は一体何度のパラダイムシフトを経験しただろうか。 そのトドメの一撃とも言えるのが、BitNetのLlama8B版だ。 Lllama-8B構造で学習された最初のBitNetであり、全てを変えてしまうゲームチェンジャーでもある。CPUのみで秒間5-20トークンを出力する。超強力なLLM推論エンジンの出現だ。 BitNetとは、そもそも1.58ビットに相当する情報量で、本来は4ビット以上必要な大規模言語モデルの計算を劇的に高速化する技術である。 LLMの推論には通常は巨大な浮動小数点数(8ビットから16ビット)の、大量の乗算(掛け算)が必要なため、GPUなどの特殊な半導体を必要としていた。特にNVIDIAのGPUがこの目的にマッチしていたので今

物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く 物理学者たちがノーベル物理学賞をホップフィールドとヒントンが受賞すると知った時、まあまあ微妙な気持ちになったことは想像に難くない。 我々コンピュータ科学者にとっては、ノーベル賞は全く無縁なものだった。むしろ「ノーベル賞をコンピュータ科学者が取ることは永久にない」と言い訳することさえできた。コンピュータ科学の世界にはチューリング賞という立派な賞があるし、ノーベル賞よりも賞金が高かった京都賞は、アラン・ケイやアイヴァン・サザーランド、ドナルド・クヌースなど、コンピュータ科学者たちが堂々と受賞している。その割には本来マイクロチップの最初の設計者である嶋正利などが京都賞にノミネートされていなかったり、サザーランドの弟子であるアラン・ケイの

こういうのが欲しかったんだよ。マジで。 コマンドラインからLLMを呼び出せるgptmeというツールがアツい これは、gptmeコマンドを追加するというもの。 環境変数としてOPENAI_API_KEYとかAnthropicのキーとかを設定しておくと勝手にAPIを呼び出してくれる。もちろん、クラウドに送信するとかけしからんという勢にはローカルLLMでも対応できる。 こいつはコマンドライン版ChatGPTのようなものなので、コマンドラインで動くのだが、その真価は例えばパイプで繋いだ時とかに発揮される。 $ du -d 1|gptme "一番容量を食ってるフォル ダは何Gバイト使ってんの?" Found OpenAI API key, using OpenAI provider [10:13:32] No model specified, using recommended model for

前回までのあらすじ 佐渡市長たっての願いで、本来はカルテット構成くらいで行う予定だったサテライト公演が25人のオーケストラ編成に。東京から楽器と奏者を25人連れてくるというキチ○イ沙汰に。さらにクラウドファンディングに参加した我々取材班(違う)はコンサートのプログラムを見た時、驚愕した。 「東京公演と全然違う」 だが実際にコンサートが始まると、取材班に衝撃が走った。 「新作、全部新作カットじゃん!!どうなってんの?いつ作ったの?っつーか一番奥に座ってるの落合陽一じゃん」 これまで東京公演ではあくまでもプロデューサー、映像演出という名目で裏方に徹していた落合陽一先生が、ステージの一番奥でVJブースみたいなのを拵えてVJプレイをしているのである。 しかも画面はこれまでで一番でかい超ウルトラ大画面。 オーケストラに負けないド迫力の大画面である。 超巨大スクリーン　ゲネプロ時の写真(写真提供:日本

誰だ。AIが進化すると仕事が楽になると言ったやつは。 AIが勝手に金を稼いでくれて本人は遊んで暮らせるようになるはずとか言ってたやつは。もしくは全ての仕事をAIが奪ってしまって、人間はやることがなくなってしまうとか言ってたやつもいたな。 面白い。お前らが言ったことは実は全部間違ってるAmazong, Every words what you said were wrong。まあ俺も言ってた気がするが。 AIが進歩すればするほど、これまで諦めていたことや、一生縁がないだろうと思っていたことを「やってみようかな」と思う機会が増えてしまう。ちょっと前までは絵を描く練習をしていた。 OpenAIのChatGPT-o1は、「数学をもっと勉強しないとAIとの会話についていけない」という絶望的な体験を提供する。大半の人に必要なさそうな体験だが、ある種の人には「もう一度頑張って勉強しようかな」という動機を

プログラミングの勉強方法で最も効果がない方法は「写経」です。コードを記憶しても無駄です。実際のプログラミングでは記憶にないコードを作り出さなければいけないからです 「写経」はタイピング速度の向上やキーワードを覚える効果はあるかもしれませんが、肝心のプログラミングには役に立ちません — Koichi Nakashima (@ko1nksm) September 3, 2024 こういうエントリを見かけたので。 僕は1990年代からプログラミングを人に教える仕事をしています。最初は中学の時に技術家庭科の授業を先生から任されて同級生にプログラミングを教えることから始まりました。その後、色々な方法を試しましたが、結論としてプログラミング初心者は写経した方が結局は上達が速いと今は考えています。 それが特に強く感じられたのは2015年頃から色々な人にAI関連のプログラミングを教え始めた頃です。 AI関

SakanaAIがまた面白い研究を発表した。その名も「AI Scientist(AI科学者)」 AIの研究をする科学者ではなく、科学者をやるAIである。 しかもすごいのは、基本的に難しいAIはすべてクラウド上で動作する(GPT-4oやOpenRouter対応LLMなど)ので、ご家庭で手軽に遊ぶことができる。AIの実験をする場合はGPUくらいは欲しいところだが、AIじゃないものを研究する場合はGPUすら不要だ。 実際に動かしてみると様々な罠があるぞ(まだ) AI-Scientistの使い方は簡単・・・とまではいかないが、templateを書いて「こういう仮説があるんだよね」というアイデアをいくつかseed_ideas.jsonに書いてあとは電子レンジでチンするが如く実行するだけだ。 ただ、記事執筆時点(2024/8/13 18:50 JST)では、リポジトリが不完全なのか書かれた通りにコマン

IHGのホテルの朝食に飽き飽きした俺は、今、近くのレストランまで足を伸ばしている。 うまそうな名前の店普段、アメリカ出張でよく使うiHopなどのチェーン店は、ホテルから最寄りでも車で一時間かかる。ホテルはダウンタウンのど真ん中にあるから、良くも悪くもローカルのお店が栄えた田舎町ということなんだろう。 ふと、昔愛用していた吉田カバンの縦長のバッグにHHKB Studioを突っ込んでみたら意外とイケる。まあ完全にチャック閉まらないけど。 なんとか持ち歩けるサブポケットにiPad miniも収納できたので、これでブログとか原稿とか書けるじゃん、と思って持ち出してみた。 一生に一度くらいしか来ないであろうコロラド州のど真ん中で、ブログを更新するのも乙なものだ。 エッグベネディクトが名物だというのでそれと、ホテルのインスタントではどうしても消化不良だったパンケーキを頼む。 でももう少し考えてもよかっ

Claude-3 Sonnetがだいぶ良いので、前々から考えていた、「Lispっぽい記法で書けるけど他の言語に慣れた人にも使える言語」の処理系を作ってみた。仮にEasyLispという名前にした。 この言語ではこんな感じでプログラムが書ける (define person (object)) (set! person.name "Alice") (set! person.age 30) (print person.name)personというオブジェクトのプロパティをnameやageがあって、これをドット記法で指定するとpersonオブジェクトのプロパティにアクセスできる。 同じことをCommon-Lispでやろうとするとこうなる (defun example () (let ((person (make-object :name "Alice" :age 30))) (format t "N

あまりに良かったので即課金した。俺のデイリーAIニュースで活躍しまくり・・・なの、だが、あまりにも便利なのであっという間にポイントを使い果たしてしまった。 また、動画なのだが動画の画像自体にあまり意味がないので本当は音声だけ聞き流しながらじっくりと論文本体を目で追いかけたい。 そう、まるで優秀でやる気満々の大学生インターンが、隣で興奮気味に「これすごいんですよ」とギャーギャー騒いでるかのような反応を聞き流しながら「ふーん」と眺めたいのだが、NoLangだとそういう目的とはちょっと異なる。 そこで、Claude3を使ってChrome拡張を作ることにした。ちなみにChrome拡張を作るのは生まれて初めてではないが人生で二回目くらいだし前に作ったのは10年前くらいだからもはやChrome拡張素人と言える。 Chrome拡張には三つのファイルが必要だ。 まず、適当なディレクトリを作る。 そこに、以

ドリ山田金之助がCursorというAI搭載テキストエディターを使って独自のビデオ編集をやってるという話を風の噂で聞いた。 ドリ山田くーん、遅い、遅いよー　とか煽るのも可哀想だったので放置していたのだが、昨日(!!)もっとゴイスーなAIソフト開発環境を触って元に戻れなくなってしまったのでご紹介しておく。 その最新の開発環境とは、人呼んでAIder(エイダー) こいつの何がすごいかというと、gitをcloneしてくると、ソースコード読ませて「これにこういう機能を追加しろ」と言うと勝手に追加してgit commitしてしまう。良きところで/git push origin mainとやればやってくれる。 まあAI開発ものにありがちな、「自信満々で提出されたけどいざ動かすとポンコツ」なケースが多くて、使うには忍耐が必要だが、頭は使わなくていい。たまに頭を使ったふりをして「もしかしてこの関数がやばいん

前回、絶望的な画力のなさでAIといえど俺の伝えたいことが伝えられなくて非常に困ったので、もうここは諦めて絵を勉強することにした。人間、何歳になっても勉強できる! 職業柄、「図」はよく描くのだが、「絵」特に、メカではないキャラクターは苦手だった。 学生時代、「漫画アニメーション研究会(まに研)」の幽霊部員だった時も、キャラクターが描けなかったので馴染めなった苦い記憶を持つ。 しかし、時は大AI時代。 AIさんに思い通りの絵を描いてもらうには、俺だって最低限の画力が必要だということを前回痛感したため、このクソ忙しいのに半日だけ絵を練習した、という話。 色々な本をKindleで買ってみたが、良かったのはこれ。 Kindleで買って感動して、DVD付きの書籍をわざわざもう一冊買い直すくらいハマった。 これは、自主制作のアニメ制作から初めて絵を修行し、最終的にはスタジオジブリの入社試験に合格できるほ

1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、このHuggingFaceリポジトリを丸ごとgit cloneする $ git lfs install $ git clone https://huggingface.co/1bitLLM/bitnet_b1_58-3B $ cd bitnet_b1_58-3Bこれをやらずにいつもの凡例みたいにいきなりpipelineに読み込もうとすると謎のエラーが出て悩まされることになる。海外でも悩んでる人が何人もいるみたいだ。まあ個人的には「こんな説明で誰がわかる?」と思