昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装

VScodeよりもさらに過激にAIを取り入れたコードエディタであるCursorが面白そうだったので試してみたところ、もうSublime Textちゃんに戻れない体になってしまったかもしれない。 VScodeの場合は、あくまでもコードは補完されるもの。 それに対して、Cursorは、VScodeのコード補完的な機能に加えて、コードについて相談できる。 日本語で語りかけることも可能。返事が英語になっちゃうこともあるけどご愛嬌。シェルも内蔵されているのでアプリを切り替えることなくコードを実行できる ディレクトリ内の複数のファイルを見てくれるのでもっと高度なことも頼めるのかもしれない。スネークゲームを作ってくれと言ったらPythonでうごくテキストベースのスネークゲームを作ってくれた 個人的にはHHKB Studioとの相性がとてもいい気がする。全てホームポジションから全く手を離さずに操作できる。

最近、「AIを理解したくて代数幾何の教科書を勉強しているんですよ」という人によく会う。 五年前くらい前に、note株式会社の加藤社長も「社内で代数幾何学の勉強会を開いてるんですよ」と言っていた。僕はその都度「それは全く遠回りどころか明後日の方向に向かってますよ」と言うのだがなかなか聞き入れてもらえない。 確かに、AI、特にディープラーニングに出てくる用語には、ベクトルやテンソルなど、代数幾何学で使う言葉が多い。が、敢えて言おう。 代数幾何学とAIはほとんど全く全然何も関係していないと。 なぜこのような不幸な誤解が生まれてしまうかの説明は後回しにして、意地悪をしても仕方ないので、AIを理解するために最低限知っておかなければならない用語を5つだけ紹介する。 テンソル(スカラー、ベクトル、行列など)おそらく、「テンソル」という言葉が人々を全ての混乱に向かわせている。 Wikipediaの説明は忘

深層学習をまじめにやるなら、どう考えても専用のPCが必要になる。 僕は現在、Memeplexというサービスを運営していて、これはさくらインターネットさんから大量のGPUを借りている。借りたGPUは、さくらインターネットの石狩データセンターで動いている。 さらに、ABCIは企画の段階から立ち会って、実際に仕事ではよく使っている。ABCIは5000以上のGPUを擁するGPUクラウド基盤で、その実態はスーパーコンピュータである。 ABCIを使えば、ほとんどの難しいタスクを恐ろしく安い料金で行うことができる。GoogleやAmazon AWSのようなサービスを展開することができない本邦においては、国家が設立し、民間利用可能なABCIは国民にとっての天叢雲剣あめのむらくものつるぎである。 それでもなお、手元には深層学習用のPCが必要だ。しかも一台では足りない。 ABCIがいかに安くても、PCほどの利

お知らせ（8/27 08:08）新サービスに移行しました。より便利に使いやすくなっています。そしてずっと無料です 開発の経緯はこちら https://note.com/shi3zblog/n/n8a3c75574053 夜更かしをしていたらすごい勢いでStable Diffusionが落ちてきて、あまりにうれしいのでこの喜びを皆様と分かち合いたく、無償で公開します。 使い方低コスト運用ですので、テキストボックスに文字を入力したあと、Requestボタンを押して、しばらくしたらリロードしてみるとどこかに自分の入れたものが表示されているはずです。といっても、今回のStableDiffusionはめちゃくちゃ速いので運が悪いと無視されます(そうしないと無限に電気代とサーバー代がかかってしまうので無料故の措置だと思ってください)。 注意事項Requestを連打しないでください。 腕に覚えのある方h

StableDiffusionが発表された衝撃で、二時間でワッと作ったGakyoですが、ワッと作っただけあってまあものすごく雑だったわけです。 でも、作画サービスって、実はここ1年くらいずっとやっていて、まあアクセス数とかも知れたものだったので、そんなに来ないだろうなと思っていたのですが、ここのところのMidjourney / DreamStudioそしてStableDiffusionの話題性を舐めてました。 最速で作ったWebサービスですが、雑に作ったために、覚悟してはいたものの、最速で回線費用がやばいことに。 ほんの２日で10万円近い出費です。本業がUberEats配達員である吾輩には厳しい。 これ、何かというと、Cloud Firestoreなので連打ですね。連打されると厳しい。 それで連打対策とかもやったのですが、根本的にキューがないと成立しないだろうなと思ってWebサービスをゼロ