昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装

Copilot StudioはMicrosoft 365 E5というお高いパッケージに入らないとプレビュー版すら使えないらしい。 仕方ないので会社で入りましたよ。会社に所属してるのは3人だけど、E5だと25人分のアカウントがついてくる。 しかし!!! 金さえ払えば使えるというほどイージーなものではなかったので皆さんにお伝えします。ちなみにE5に入っただけで月額45000円(1800円x25で)になりました(ただし七日間の試用期間中にキャンセルすれば無料に)。 まずMicrosoft365で企業アカウントを作り、会社のメンバー的な人に個人アカウントを発行します(この時点でかなりハードルが高い)。 そしてCopilot Studioのページからリンクに飛べば、企業の個人アカウントでログインできた。やったぜ! しかしログインしても、様子がおかしい。 なんかフローチャートが出てきて、フローチャート

昨日は新潟県長岡市に行って、市役所の職員向けと、一般向けに二回の講演を行った。 市役所の職員からの質問事項をよく読むと、ChatGPTを闇雲に何にでも使おうとして苦戦している姿が見てとれた。 たとえばこんな感じだ。 ⚪︎時に東京駅につく新幹線を予約したいとChatGPTに言ったが、公式サイトをチェックしろと言われた 我々からすればその回答は当たり前なのだが、闇雲になんでもChatGPTでやろうとするとこうなってしまうという典型的な例だった。当たり前だが、その目的ならえきねっと一択だ。 ChatGPTには限界がある。しかも低い。 だから通常はPluginと組み合わせたり、プログラムから呼び出したりするという「工夫」が必要になる。 GPTを使うプログラムを書くのはものすごく簡単だ。 たぶんプログラムの世界でも最も簡単な部類だろう。 たとえば僕がプログラムでGPTを使おうかなと思った時、こんなふ

今日のウィークリーAIニュースではnpaka大先生と一週間のニュースを振り返った。今週もいろいろあったが、なんといってもダークフォース、GPT-4越えと言われるXwin-LMである。中国製。 大先生もまだ試してないというので番組内で一緒に試してみた。 もちろんドスパラ製Memeplexマシン(A6000x2)を使用。 >>> from transformers import AutoTokenizer, AutoModelForCausalLM >>> model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1") Downloading (…)lve/main/config.json: 100%|██████████████████| 626/626 [00:00<00:00, 56.2kB/s] [2023

僕の20年来の親友にnpakaというプログラマーがいるんだけど、彼はもう超凄い。何でもすごい。何でも書けるし何でも早い。本を書くのもプログラムを書くのも、新しいわけわかんない説明書がバグだらけの環境に慣れるのも早い。 んで、これまではちょっとしたことも難しいことも全部npaka(布留川君)に頼んでたんだけど、最近二人とも独立したからつまんないこと頼むのは悪いなと思って「あれはできるんだっけ」くらいのことは自分で何とかしようかなと思った。 それでChatGPTに「Swiftで⚪︎⚪︎やるにはどうすんの?」と聞いたら、Swiftについてほとんど何も勉強してないのに作りたいものが何となくすぐにできてきちゃって、でもまあやっぱりChatGPTだと知識が古いので詰まったらネットで検索すると、だいたい結局npaka(布留川君)のページが出てきてやはり信頼と実績の大先生(仲間内ではそう呼ばれている)です

凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i

毎日AIニュースを追いかけていると、当然、波がある。 「今週は落ち着いてるな」とか「今日はやばいな」とか。 今日は、久々に「やばいな」という日だった。 まず、一日のうちにSOTA(State Of The Art)超えしたという大規模言語モデルを三つくらい見た。明らかにおかしい。 さらに、AttentionとMLPを使わない大規模言語モデルの実装も見た。世界を三次元的に解釈して合理的な質問と答えを行う大規模言語モデルもあれば、4ビット量子化した60モデルは8ビット量子化した30Bモデルよりも高性能という主張がなされたり、Googleは論理回路の設計を強化学習で行なっているという。どれもこれもにわかには信じ難いが、今目の前で起きていることだ。 「シンギュラリティ」の定義には、「AIがAIを設計し、改良し続ける」という部分があるが、今のAIは人間も考えているが、実はAIがAIを設計している部分

AI動画生成が結構いいところまできた。 Runway-MLのGen2も素晴らしいのだが、オープンソースのZeroscope-v2-xlがすごい 音楽もmusicgenで大体作れる これまで音楽生成には否定的だったが、ここまで作れるなら、DJ機材用のループ素材として十分使える気がする。というか30秒も作れるのでループでは勿体無いというか。「久石譲っぽく」とか「ジョン・ウィリアムズ風」とかでそれっぽいものが出てくる。

やっぱあれですな。 一度動いちゃうと後はもう雪崩のようですな。 そしてこっち側も新鮮味を感じなくなってしまうというか。 んで、ものすごくアッサリとうちのMacBookProで動きました。 量子化済みのモデルをダウンロードしてスクリプト動かすだけ! 工夫なし! Windowsでもいけると書いてある。しかもめちゃくちゃ高速 % ./gpt4all-lora-quantized-OSX-m1 main: seed = 1680064969 llama_model_load: loading model from 'gpt4all-lora-quantized.bin' - please wait ... llama_model_load: failed to open 'gpt4all-lora-quantized.bin' main: failed to load model from 'gp

意外とあっさり公開されたGPT-4。 ChatGPT Plus(月額20ドル)に課金すると使えるらしいので早速使ってみた。 動画は以下 動画を聞き流しながら本文を読むのを推奨します まず物語を考えさせてみる。 プロンプト Aという主人公がなんらかの出来事を経験して、自分の能力を使ってA’という状態になった　　というのが物語である UberEats配達員を主人公とした物語のあらすじをひとつ考えてみてください これに対する回答 物語のタイトル: 『配達の軌跡：A'への変容』 あらすじ: Aは、ごく普通のUberEats配達員として日々働いていた。ある日、彼が配達をしている途中で、謎の小包が彼のバッグに入っていることに気付く。好奇心に駆られたAは、その小包を開けてしまう。中から現れたのは、謎の古びた護符だった。 その護符を手にした瞬間、Aは突如として特別な能力を手に入れる。彼は時間を操作できるよ

深層学習をまじめにやるなら、どう考えても専用のPCが必要になる。 僕は現在、Memeplexというサービスを運営していて、これはさくらインターネットさんから大量のGPUを借りている。借りたGPUは、さくらインターネットの石狩データセンターで動いている。 さらに、ABCIは企画の段階から立ち会って、実際に仕事ではよく使っている。ABCIは5000以上のGPUを擁するGPUクラウド基盤で、その実態はスーパーコンピュータである。 ABCIを使えば、ほとんどの難しいタスクを恐ろしく安い料金で行うことができる。GoogleやAmazon AWSのようなサービスを展開することができない本邦においては、国家が設立し、民間利用可能なABCIは国民にとっての天叢雲剣あめのむらくものつるぎである。 それでもなお、手元には深層学習用のPCが必要だ。しかも一台では足りない。 ABCIがいかに安くても、PCほどの利

StableDiffusionが発表された衝撃で、二時間でワッと作ったGakyoですが、ワッと作っただけあってまあものすごく雑だったわけです。 でも、作画サービスって、実はここ1年くらいずっとやっていて、まあアクセス数とかも知れたものだったので、そんなに来ないだろうなと思っていたのですが、ここのところのMidjourney / DreamStudioそしてStableDiffusionの話題性を舐めてました。 最速で作ったWebサービスですが、雑に作ったために、覚悟してはいたものの、最速で回線費用がやばいことに。 ほんの２日で10万円近い出費です。本業がUberEats配達員である吾輩には厳しい。 これ、何かというと、Cloud Firestoreなので連打ですね。連打されると厳しい。 それで連打対策とかもやったのですが、根本的にキューがないと成立しないだろうなと思ってWebサービスをゼロ

お知らせ（8/27 08:08）新サービスに移行しました。より便利に使いやすくなっています。そしてずっと無料です 開発の経緯はこちら https://note.com/shi3zblog/n/n8a3c75574053 夜更かしをしていたらすごい勢いでStable Diffusionが落ちてきて、あまりにうれしいのでこの喜びを皆様と分かち合いたく、無償で公開します。 使い方低コスト運用ですので、テキストボックスに文字を入力したあと、Requestボタンを押して、しばらくしたらリロードしてみるとどこかに自分の入れたものが表示されているはずです。といっても、今回のStableDiffusionはめちゃくちゃ速いので運が悪いと無視されます(そうしないと無限に電気代とサーバー代がかかってしまうので無料故の措置だと思ってください)。 注意事項Requestを連打しないでください。 腕に覚えのある方h

このnoteの収益を使ってStable Diffusionを使ったWebサービス https://memeplex.appを公開しました。誰でも無料で何枚でもAI作画をすることができます(そのかわり、混み合ってる時は時間がかかると思います)。 このnoteで学んだことをぜひ活用して、AIによる新しい時代の風を感じてください。 また、本文中にMidjourney、StableDiffusion、DreamStudio、Memeplexなどの言葉が頻出するため、全面的な修正を行うことにしました。StableDiffusionに統一しておきたいと思います。 現状(2022/8/28)は、StableDiffusion=DreamStudio/Memeplexと考えて構いません。Memeplexは将来的にStableDiffusion以外のアルゴリズムもサポートする予定だからです。

最近流行ってるAIといえばMidjourney。 吾輩は自宅の電気代が5万円を超えてしまったのでgakyoをお休み中。 というか最近はgakyoでなくてもrepica.comとかいろいろあるのでそっちでいいのではないかと思っている。 そこでMidjourneyですよ。 開発リーダーはLeapMotionの人。 何より安い。だって今まで月に5万かかってた電気代が$30でいいわけですからね。 でもチキンな吾輩はとりあえずお試し→終了→$10プラン→終了と繰り返して、$30/月プランに入りました。だから$40課金勢。 Discordで簡単に使えるのでGakyoよりワンクッションくらいは面倒なんだけど無いよりマシ。 Midjourneyは人間とかの描写に「あまり」制限がない。DALL-Eとかの公開版だと人間の描写に制限があったりするので使うのが難しいが、Midjourneyはハリウッド俳優の名前と