驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
Apple Vision ProはHoloLensの完成形。現時点での限界値｜shi3z
昔は海外の電波を発する新製品は国内で使用できなかったが、今は総務省の技適の特例制度を利用することでいち早く試すことができる。 「海外法令」云々のところで多少つまづいたが、これはFCC IDを検索すれば解決した。 https://fccid.io/BCGA2117 VisionProのFCC IDはBCGA2117だった。 これで準備完了。 吾輩は、かつては1990年代にキヤノンのMR(混合現実感)システムや理化学研究所のSR(代替現実感)システムを試し、大学院の履修生をやっていた頃はVR特講を受講し、学生対抗国際VR(人工現実感)コンテストに参加したこともある。htc Viveでいくつかのデモを作り(ほとんどは非公開)、Oculusもほとんど持ってるくらいはHMD好きである。片目リトラクタブルHMDで自転車の走行を支援するシステムのデモも2008年頃に作った。 2017年には機械学習したM
無料でGPT4越え!?ついに来たXwin-LM｜shi3z
今日のウィークリーAIニュースではnpaka大先生と一週間のニュースを振り返った。今週もいろいろあったが、なんといってもダークフォース、GPT-4越えと言われるXwin-LMである。中国製。 大先生もまだ試してないというので番組内で一緒に試してみた。 もちろんドスパラ製Memeplexマシン(A6000x2)を使用。 >>> from transformers import AutoTokenizer, AutoModelForCausalLM >>> model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1") Downloading (…)lve/main/config.json: 100%|██████████████████| 626/626 [00:00<00:00, 56.2kB/s] [2023
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
ELYZAの商用利用可能な最新7B LLMを試す(本日のSOTA)｜shi3z
ELYZAの曾根岡さんが「ELYZAでも商用利用可能な大規模言語モデルを作ったので使ってみてください」というので、使ってみた。 最大の特徴は、他の言語モデルと違い、Llama2をベースとしながらも、Llama2のトークナイザーに日本語がほとんど含まれていないという欠点を解消するために独自にトークナイザーを拡張したこと。これによりトークン数を節約できるようになり、2倍近くスピードが上がったとのこと。これはファインプレー。このトークナイザーだけでも使える。 そして日本語能力テストでぶっちぎりの性能 古巣の松尾研Weblabに対しても容赦ないベンチマーク。いいぞもっとやれというわけでワクワクしながら試してみた。 マシンはもちろんドスパラ製Memeplexマシン(A6000x2)を使用。だが7Bなので普通のご家庭の12GBくらいのGPUでも動くかも? こんな感じで下準備した。 import tor
AI Bunchoモデルで何か物語めいたものを生成する｜shi3z
もともと小説を書くためのAIなので物語には強いだろう。しかも日本製だし。 ということで大先生が早速試していた。 僕も真似をしてさっそく使ってみたのだが、そのままだとかなり短い文章しか出てこない。使い方に工夫が必要そうである。 そこでこんなコードを書いた。 def b(prompt): input_ids = tokenizer.encode( prompt, add_special_tokens=False, return_tensors="pt" ).cuda() tokens = model.generate( input_ids.to(device=model.device), max_new_tokens=320, temperature=0.6, top_p=0.9, repetition_penalty=1.2, do_sample=True, pad_token_id=tok
AGIまでの道のりはまだまだ長い｜shi3z
最近「やったぜこれでAGIだ」という言説を国内外でよく見かけるので私見を述べておく AGIとは、人工一般知能(Artificial General Intelligence)で、要は人間と同等の思考能力を持つ人工知能のこと。汎用人工知能とも言う。 この先にはASI、つまり人工超知能(Artificial Super Intelligence)がある。ASIの成立がいわゆる「シンギュラリティ」の到達条件と考えられていて、世の中は「シンギュラリティ」の実現を目指す、碇ゲンドウのようなヤバい連中で溢れている。 AGIが作れればAGIは人間と同等の知能を持っているため、あとは人間が努力しなくても自動的にASIを作ることができると考えられている。 したがって、ASIを作るためにまずAGIを作ろうじゃないか、というのがロングスパンの議論なのだが、今の大規模言語モデルしか持たない野蛮な人類が、それをもっ
コンピュータは難しすぎる｜shi3z｜note
コンピュータは非常に便利なのだが、ほとんどのコンピュータユーザーがその能力の1%も使えてないのではないか。そんな気がするのだ。 というか、コンピュータの能力が人類の進歩に比べて上がり過ぎてる。 おかげでゲームもAIもビデオ編集も手軽になった。 MacBookの新しいCPUが発表されたのだが、40%高速化したというニューラルエンジンを一体全体何に使えばいいのか、人工知能の研究者である吾輩にもわからないので、これを使いこなすことができる人は将来登場するのだろうか。 コンピュータの能力を真に最大限引き出すには、残念ながらプログラマーになるしかない。しかも、マシン語レベルの最適化ができるプログラマーである。 プログラムさえ丁寧につくればコンピュータの持つ潜在能力は圧倒的に高い。だがコンピュータに比べて人間は頭が悪すぎる。 結局のところ、道具がどれだけ進歩しても使う側の人間の想像力が追いつかないと全
10年ぶりに一人でWebサービスを作って思ったこと(エンジニア老人会)｜shi3z
StableDiffusionに対応したGakyoを雑な設計のためわずか数日で10万円くらいのクラウド利用料がかかってしまった。
StableDiffusionを使った新しいAI作画サービスを作りました。日本語でOK。無料です｜shi3z
StableDiffusionが発表された衝撃で、二時間でワッと作ったGakyoですが、ワッと作っただけあってまあものすごく雑だったわけです。 でも、作画サービスって、実はここ1年くらいずっとやっていて、まあアクセス数とかも知れたものだったので、そんなに来ないだろうなと思っていたのですが、ここのところのMidjourney / DreamStudioそしてStableDiffusionの話題性を舐めてました。 最速で作ったWebサービスですが、雑に作ったために、覚悟してはいたものの、最速で回線費用がやばいことに。 ほんの２日で10万円近い出費です。本業がUberEats配達員である吾輩には厳しい。 これ、何かというと、Cloud Firestoreなので連打ですね。連打されると厳しい。 それで連打対策とかもやったのですが、根本的にキューがないと成立しないだろうなと思ってWebサービスをゼロ
Midjourney/Memeplex(StableDiffusion)などの画像生成AIで思い通りの画像を出すヒント｜shi3z
このnoteの収益を使ってStable Diffusionを使ったWebサービス https://memeplex.appを公開しました。誰でも無料で何枚でもAI作画をすることができます(そのかわり、混み合ってる時は時間がかかると思います)。 このnoteで学んだことをぜひ活用して、AIによる新しい時代の風を感じてください。 また、本文中にMidjourney、StableDiffusion、DreamStudio、Memeplexなどの言葉が頻出するため、全面的な修正を行うことにしました。StableDiffusionに統一しておきたいと思います。 現状(2022/8/28)は、StableDiffusion=DreamStudio/Memeplexと考えて構いません。Memeplexは将来的にStableDiffusion以外のアルゴリズムもサポートする予定だからです。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
