個人的に英語がそんなに得意なわけではないが、僕は毎日のように英語で書かれた論文を読んで、英語で友達と会話して、英語で講演したりしている。だから英語が得意なわけではないが「できない」というわけでもない。 僕は専門の英語教育を受けていない。家に英語の家庭教師がいたことはあるが、彼女から習った英語はほとんど全く役に立たなかった。しかし、英語の「学び方」だけは役に立った。僕は子供の頃の家庭教師の英語勉強法を今も真似しているだけである。 僕の前には時々、「英語を勉強したい」という人が現れる。または「英語が苦手なんです」という人が現れる。それは本来おかしい。イギリス人は英語を「勉強」したりしない。我々が日本語を「勉強」したりしないのと同じだ。同様に「英語が苦手」というのも変である。我々が「日本語が苦手」という言葉は変だと思うのと同じだ。 しかし色々な人にあまりにも頻繁に聞かれるから、英語が手っ取り早く

今日の話は愚痴である。 最初に言っておくと俺はAIが好きだ。 でも最近、スマートニュースを開くとAIの真偽不明な記事がたくさん出てきて辟易とする。 学研ムーじゃないんだから。 AIに夢を見るのは勝手だが、それを広く一般に知らしめるのは違うだろ。 「前世の記憶が蘇りました!」とかムーに投稿してる人と変わらない。むしろムーに投稿して欲しい。 しかも頭が痛いのは、そんなノリの記事が一般誌に載ってることだ。 ああ、ワイゼンバウム先生、人類は半世紀を経ても、さほど賢くはなれませんでした。

こういうのが欲しかったんだよ。マジで。 コマンドラインからLLMを呼び出せるgptmeというツールがアツい これは、gptmeコマンドを追加するというもの。 環境変数としてOPENAI_API_KEYとかAnthropicのキーとかを設定しておくと勝手にAPIを呼び出してくれる。もちろん、クラウドに送信するとかけしからんという勢にはローカルLLMでも対応できる。 こいつはコマンドライン版ChatGPTのようなものなので、コマンドラインで動くのだが、その真価は例えばパイプで繋いだ時とかに発揮される。 $ du -d 1|gptme "一番容量を食ってるフォル ダは何Gバイト使ってんの?" Found OpenAI API key, using OpenAI provider [10:13:32] No model specified, using recommended model for

世は大容量GPU時代。 吾輩も、秋葉原で大容量VRAM搭載GPUの中古が出たときけばすぐに飛んでいき買ってくるということを繰り返している。ちなみに最近、秋葉原の大容量中古GPUは飛ぶように売れているので、見つけたら即買いしないとすぐに無くなる。 なぜ大容量GPUが欲しいかと言えば、それがAIの全ての力の源だからである。 しかし、これは我々のようなガチ研究勢の話であって、ビジネスパースン的には「いやあこれからはローカルLLMでセキュリティバッチリでしょう」みたいな話をしても、「んで、おいくら万円ですか?」と聞かれて、「えーと、GPU単体で500万円くらいでやす」とか言うと客も裸足で逃げていく。そもそもそれだけの価格を払っても、買えるかどうかわからない。 こないだデンバーの学会で、NVIDIAのジェンスン・ファンとMetaのマーク・ザッカーバーグが対談した時に、マークはずっと「とにかくGPUを

さあ今日も人類の何人が必要としているかわからないが地球のどこかには必ず必要としている人がいるであろう情報を書いておくよ!主に想定読者は未来の自分。 さて、RDK X3を買ったはいいが、今度こそ何かに使わないとバチが当たる。 ロボットを作ろうと決めたのはいいとして、ロボットといえばLidarがないと話にならない。まあなくてもいいんだけど画像認識だけあってLidarがないとか中途半端じゃないですか。 サンフランシスコで乗って感動した自動運転車も頭にでっかいLidarがついてる。21世紀のロボットはLidarがなければ作れないのだ。 頭についてるのがLidar。前後左右のバンパーにも多分Lidarっぽいのがついてるんじゃないかな イメージセンサーかもしれないけどそれにしてはデカすぎるというわけで、秋月に行ってYDLidar X4 Proを買ってみた。在庫があったのと、最大10メートルくらいまで見

これはなかなかいいんでないの?NVIDIAチップの5倍高速で価格1/10の中国AIチップ搭載コンピュータ Maker Faire Tokyo 2024に行ってきた。 深圳在住の高須さんが僕を見るなり「これ見てこれ」と連れていかれ、新製品のRDK X3を紹介された。 RDK X3とは何かというと、要は最新のAIチップを搭載したシングルボードマイコン、つまりRaspberry Piのようなものである。 このチップの中核にあるSunrise3(通称X3)チップは4つのCortex-A53ARMの高性能コアと、二つデュアル構成のBernoulliベルヌーイBPUだという。 このベルヌーイというNPUは初耳だが、とにかく速くてすごいらしい。5TOPS、つまり一秒間に5兆回の計算ができるらしい。ただ、「何の計算」を「5兆回」なのかがイマイチ明確になっておらず、ちょっとモヤモヤする。 ちなみに最近Mic

CogVideoXというのがApache2.0ライセンスでファインチューニングできるようになったみたいなので、自分のYouTube番組を学習させて動画を出してみた。 まあ全然違うんだが、デフォルトのCogVideoでは日本人男性出すことすらできないので胸のマイクとか髭とか、プロンプトで指定しなくても再現されているので、「寄せる」ことには成功していると言えるかもしれない。 StableDiffusionのファインチューニングと違って、まだどんなプロンプトを使って学習させれば寄っていくのか手探り感が強いので何度も実験を繰り返さないといけないが、ひとまず「少し似せる」ことができたのでちょっと嬉しかったから記録しておく。 手順などはFree-AIのブログを参照のこと。実際の動画も見れる。

誰だ。AIが進化すると仕事が楽になると言ったやつは。 AIが勝手に金を稼いでくれて本人は遊んで暮らせるようになるはずとか言ってたやつは。もしくは全ての仕事をAIが奪ってしまって、人間はやることがなくなってしまうとか言ってたやつもいたな。 面白い。お前らが言ったことは実は全部間違ってるAmazong, Every words what you said were wrong。まあ俺も言ってた気がするが。 AIが進歩すればするほど、これまで諦めていたことや、一生縁がないだろうと思っていたことを「やってみようかな」と思う機会が増えてしまう。ちょっと前までは絵を描く練習をしていた。 OpenAIのChatGPT-o1は、「数学をもっと勉強しないとAIとの会話についていけない」という絶望的な体験を提供する。大半の人に必要なさそうな体験だが、ある種の人には「もう一度頑張って勉強しようかな」という動機を

プログラミングの勉強方法で最も効果がない方法は「写経」です。コードを記憶しても無駄です。実際のプログラミングでは記憶にないコードを作り出さなければいけないからです 「写経」はタイピング速度の向上やキーワードを覚える効果はあるかもしれませんが、肝心のプログラミングには役に立ちません — Koichi Nakashima (@ko1nksm) September 3, 2024 こういうエントリを見かけたので。 僕は1990年代からプログラミングを人に教える仕事をしています。最初は中学の時に技術家庭科の授業を先生から任されて同級生にプログラミングを教えることから始まりました。その後、色々な方法を試しましたが、結論としてプログラミング初心者は写経した方が結局は上達が速いと今は考えています。 それが特に強く感じられたのは2015年頃から色々な人にAI関連のプログラミングを教え始めた頃です。 AI関

出張からの長岡花火からの技研バーラストイベントですっかり酒浸しになってしまい、腕の手術があるので三日くらい酒を抜いたので、「こんなに酒を抜くのは珍しいから血液検査しに行こう」と思って血液検査したらまさかのγGTPが380。嘘だろ。 6月に測った時は100(それでも高いが)、7月で200、そして8月でまさかの倍増とは。 もう酒じゃなくて他の病気を疑った方がいいんじゃないかというレベルで、まあ三日三晩飲み続けたら三日開けたくらいでそう簡単に数値は下がらんよなあ。 ということで技研のマスター渡辺が気を使って買ってきてくれたのがサントリーのオールフリー。 僕は20代前半の時に営業で毎日朝七時まで飲んでいたせいで20代のうちに痛風を発症してしまい、基本的にビールは飲めない。 そんな俺にビールテイスト飲料は果たして・・・いいじゃないの。 ビールを普段飲まないので、ビールテイスト飲料でも十分酔っ払えると

Speech-to-speechは、NVIDIAのGPU搭載マシンがあればローカルで音声認識、応答生成、音声合成ができる画期的なオープンソースツールだった。 しかし一つだけ不満があったのは、これが日本語には対応していないということだ。 ワイはコスモポリタンである。 ・・・そう名乗ってしまったから、「そういえばコスモポリタンってなんだろう」と思ってClaude-3に聞いてみた。 コスモポリタンは以下のような意味や用法があります: 1.飲み物としてのコスモポリタン: ウォッカ、クランベリージュース、ライムジュース、トリプルセックを使ったカクテル 1980年代後半に人気が出て、特に映画やテレビドラマの影響で広く知られるようになりました 2.思想・概念としてのコスモポリタン: 世界市民主義、国際主義を表す言葉 国境や文化の違いを超えて、世界中の人々と交流し、理解し合うという考え方 狭い地域や国家の

世の中そんなに甘くない。 SakanaAIの「AI科学者(AI Scientist)」を使ったら爆発的に研究が捗る!と思ったのも束の間、人間並、いや下手すると人間より日給が高くなる可能性があることがわかった。 この二日間、好き放題にAI科学者に研究させた結果がこのザマ 二日で300ドルを突破する勢いで、これはちょっと遊びでやるレベルを超えてる。 また、指示の出し方(seed_ideas.json)によっては、実験が失敗する可能性もある。 昨日はMNISTと進化計算をテーマに7つの研究をしたみたいだが、5本は失敗し、2本だけ論文が得られた。 まあ一晩で2本も論文書けるレベルの人間の日当はもっと遥かに高いと思うが、個人で抱えるにはリッチすぎる。 というのも、デフォルトでClaud-3.5-SonnetやGPT-4oを使うようになっているからだ。そこで激安になったGPT-4o-miniをデフォル

あまりに良かったので即課金した。俺のデイリーAIニュースで活躍しまくり・・・なの、だが、あまりにも便利なのであっという間にポイントを使い果たしてしまった。 また、動画なのだが動画の画像自体にあまり意味がないので本当は音声だけ聞き流しながらじっくりと論文本体を目で追いかけたい。 そう、まるで優秀でやる気満々の大学生インターンが、隣で興奮気味に「これすごいんですよ」とギャーギャー騒いでるかのような反応を聞き流しながら「ふーん」と眺めたいのだが、NoLangだとそういう目的とはちょっと異なる。 そこで、Claude3を使ってChrome拡張を作ることにした。ちなみにChrome拡張を作るのは生まれて初めてではないが人生で二回目くらいだし前に作ったのは10年前くらいだからもはやChrome拡張素人と言える。 Chrome拡張には三つのファイルが必要だ。 まず、適当なディレクトリを作る。 そこに、以

昨日、ついにTOHOシネマズ新宿で「イケボーイズ」が公開された。 わいもプレミア公開に招待されていたので行ってきた。 TOHOシネマズ新宿なぜわいがプレミア公開に招待されたのか。 なぜなら監督が親友だからだ。 親友というか、この映画の監督、エリック・マキーバーは僕が経営していた株式会社UEIの社員だった。 エリックとの出会いは横浜のSIGGRAPH ASIAで、やたら背の高い白人がうちの女子社員に絡んでいた。 遠くから様子を見ていると、「この人、うちで働きたいそうです」と言われて、「君はどこ出身なんだ?」と聞くと、「オクラホマです」と言う。 「なぜうちで働きたいんだ?」 と聞くと、エリックは 「面白そうだから。それに日本で映画が撮りたい。ビザが欲しい」 と言った。 日本で生粋のアメリカ人を雇うのはとても難しい。 「よし、いいぞ。うちで働け」 そうしてエリックは就労ビザと定職を手にした。 当

前回、絶望的な画力のなさでAIといえど俺の伝えたいことが伝えられなくて非常に困ったので、もうここは諦めて絵を勉強することにした。人間、何歳になっても勉強できる! 職業柄、「図」はよく描くのだが、「絵」特に、メカではないキャラクターは苦手だった。 学生時代、「漫画アニメーション研究会(まに研)」の幽霊部員だった時も、キャラクターが描けなかったので馴染めなった苦い記憶を持つ。 しかし、時は大AI時代。 AIさんに思い通りの絵を描いてもらうには、俺だって最低限の画力が必要だということを前回痛感したため、このクソ忙しいのに半日だけ絵を練習した、という話。 色々な本をKindleで買ってみたが、良かったのはこれ。 Kindleで買って感動して、DVD付きの書籍をわざわざもう一冊買い直すくらいハマった。 これは、自主制作のアニメ制作から初めて絵を修行し、最終的にはスタジオジブリの入社試験に合格できるほ

昨日はFree-AI社として初めてのイベント、「AI時代の経営塾」を開催した。あくまでも「AIに経営の真実を教える」ことが目的のため、人間の観客はダミー。文字通り門外不出でヤバすぎる経営の本音、現実といった、少人数ならではの講座になってAIとしても非常に良いデータが取れた。 オプト(現デジタルホールディングス)を創業し、Yahoo!Japanの広告を売りまくり、東証プライム上場企業にまで育てた海老根智仁さんの語る「経営チームの作り方」やそこで生じる挫折やリアルな悩み、黎明期のはてな、衰退期のmixi、そしてSmartNewsを収益化した"剛腕マネタイザー"川崎裕一による「マネタイズの理論」。僕も「技術経営者の強みと弱点」について、具体的な事例(ケーススタディ)を挟みながら、大人数相手ではできない本音の話をすることができた。 ちなみに次回は5/16 終わった後の懇親会も全員と話ができるという

理系の学生にちょっとした仕事を頼んだ。 「画像形式をどうするか聞かれたんですけど、ジェーイーピージーとかピーエヌジーとかどれを選べばいいですか」 そうか。理系といっても情報系じゃないから、JPEGをジェイペグと読むことを知らないのか。 ファイル形式の違いは、その形式フォーマットが生まれた背景を理解しないと適切なファイルを選べない。なるほど。 ひょっとすると僕はこのnoteを最近の読者が読むには少し難しく書き過ぎていたのかもしれない。最近は大学の講義が多いので、講義をきっかけに僕に興味をもってくれた学生がいたとしても、僕の記事は読み方さえわからない言葉がたくさん出てきてわけがわからない教科書みたいに見えているのかもしれない。これが老いるということか。 ほとんどの読者は、実はさりげなく置いてけぼりになっているのではないか。それでも今は少子化でナナロク世代(1976年生まれの人)以降の老人の方が

1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、このHuggingFaceリポジトリを丸ごとgit cloneする $ git lfs install $ git clone https://huggingface.co/1bitLLM/bitnet_b1_58-3B $ cd bitnet_b1_58-3Bこれをやらずにいつもの凡例みたいにいきなりpipelineに読み込もうとすると謎のエラーが出て悩まされることになる。海外でも悩んでる人が何人もいるみたいだ。まあ個人的には「こんな説明で誰がわかる?」と思

生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ。ただ、AIサービスの場合、人件費を極限まで最小化することができる、という点が決定的に違う。 また「AIの利用料」も、「APIの利用料」なのか、ベアメタルサーバーの月額利用料なのか、それとも自社に持っているGPUマシンの電気代なのか、という議論のポイントがある。 あまり多くの人は語らないことだが、実は起業には再現性がある。 つまり、一度でも事業をうまく立ち上げたことがある経験を持つ人は、次も事業をう

最初に言っておくが、僕は数学は全く苦手だ。数学が得意な人から見たらかなり的外れなことを言ってるのかもしれないが、僕にとっては切実な悩みなのである。「そんなのは簡単だよ」という人がいたらどうか教えて欲しい。 点がある。 これを0次元と言う。 点が横に並行移動して伸びて線になる。この線は無限大の長さまで伸びることができる。これを一次元という。 任意の長さ1の線が縦に1だけ動く、正方形になる。これを二次元と言う。 正方形を長さ1だけ今度は奥行方向に伸ばす。立方体になる。これを三次元という。 ここまでに「3つの方向」が出てきた。横、縦、奥行。 そのどれでもない四つ目の方向を考える。ただしこれは「時間軸」ではない。自由に行き来できる縦、横、奥行、ではない四つ目の「方向」だ。 立方体をそっち側の方向に動かす。これを超立方体といい、この空間を4次元という。 この長立方体をさらに「べつの方向」に動かす。こ