思ったとおりだ｜shi3z
やっぱりVisionProとHHKB Studioが両方あるとほぼ自室にいるのと変わらない。 このままDiscordもできるし継之助やABCIにもアクセスできる。これで飛行機の中のWiFiがまともに使えるなら完璧なんだが スターリンクで繋がらないものか まああんまり高速で移動してるとドップラー効果とかあるから上手くいかないのかもしれんが 驚くほど自然そうかあ これが空間コンピューティングってやつかあ。 なんか初めてモバイルPCを持った時の感覚っていうか。 むかしVAIO C1を持って飛行機に乗ったら、外資系航空会社のCAさんが「あなたのビデオデッキ、とてもクールね!」と話しかけられたことを思い出す。VAIO SRを持ってタクシーに乗ったら「今すぐそれを俺に売ってくれないか」と言われたこともある。それくらい、むかしのソニーのパソコンはクールだった。 VisionProはつけてる感じは外から見
これは捗る! WebページをGPT-4で日本語で要約して読み上げてくれるChrome拡張｜shi3z
あまりに良かったので即課金した。俺のデイリーAIニュースで活躍しまくり・・・なの、だが、あまりにも便利なのであっという間にポイントを使い果たしてしまった。 また、動画なのだが動画の画像自体にあまり意味がないので本当は音声だけ聞き流しながらじっくりと論文本体を目で追いかけたい。 そう、まるで優秀でやる気満々の大学生インターンが、隣で興奮気味に「これすごいんですよ」とギャーギャー騒いでるかのような反応を聞き流しながら「ふーん」と眺めたいのだが、NoLangだとそういう目的とはちょっと異なる。 そこで、Claude3を使ってChrome拡張を作ることにした。ちなみにChrome拡張を作るのは生まれて初めてではないが人生で二回目くらいだし前に作ったのは10年前くらいだからもはやChrome拡張素人と言える。 Chrome拡張には三つのファイルが必要だ。 まず、適当なディレクトリを作る。 そこに、以
AI時代に起業するということ｜shi3z
生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ。ただ、AIサービスの場合、人件費を極限まで最小化することができる、という点が決定的に違う。 また「AIの利用料」も、「APIの利用料」なのか、ベアメタルサーバーの月額利用料なのか、それとも自社に持っているGPUマシンの電気代なのか、という議論のポイントがある。 あまり多くの人は語らないことだが、実は起業には再現性がある。 つまり、一度でも事業をうまく立ち上げたことがある経験を持つ人は、次も事業をう
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れということが多かった。 ところがCommand-R+は、その性能は桁違いである。というか、もはや僕という人間如きがちょっと触ったくらいでは「GPT-4よりいいね」とか「ここら辺甘いね」とか判断がつかなくなってきてる。しか
VisionPro以後｜shi3z
ピピピッ・・・ピピピッ 電子音がする。アラームだ。寝ぼけ眼を擦りながらメガネを見る。 メガネの表面には、現在時刻が表示されている。 「げ、もう七時半!?」 布団から飛び起きてパジャマを脱ぐ。メガネをかけると、今日の最初の会議まで残り28分と表示される。 歯磨きをして、朝風呂に入りながら今日のニュースをチェックする。 寝てる間に何があっただろう? 「アイナー、AI関連のニュースは?」 メガネに映る画面の片隅に女性の形をしたエージェントアプリを呼び出す。 アイナー・・・AINaAは、Augmented Intuisive Navigator and Automatorの頭字語だ。 自作のもので、24時間新しいAIニュースやReplicateで公開されたAIをチェックし、評価し、報告する価値があると判断したものだけを選別する。 <<一時間ほど前に、10テラトークン長のペンタモーダルモデルが公開さ
LLaMA2にQLoRAで日本語を教える｜shi3z
LLaMA2祭りだ!ワッショイ! というわけでいてもたってもいられずなんかやってみたい。 ひとまずQLoRA(4bitLoRA)を試してみる 以下のページを参考にしました。 使用したコマンド python qlora.py \ --model_name meta-llama/Llama-2-70b-hf \ --output_dir ./output/test_peft \ --dataset_name shi3z/anthropic_hh_rlhf_japanese\ --max_steps 1000 \ --use_auth \ --logging_steps 10 \ --save_strategy steps \ --data_seed 42 \ --save_steps 50 \ --save_total_limit 40 \ --max_new_tokens 32 \ --da
GPT-3.5-Turbo / GPT-4-Turbo 1106のJSONモードの使い方｜shi3z
日本時間未明(午前三時)ものすごいスピードで語られたOpenAI初の開発者向けイベントDevDayで発表されたGPT-4-TurboとGPT-3.5-TurboによるJSONモード。 これはものすごく強力なんだけど、Python APIによる使い方がどこにも描いてないので試行錯誤の末見つけましたので共有いたします。 from openai import OpenAI import openai import os openai.api_key = "<APIキー>" client = OpenAI() def gpt(utterance): #response = openai.chat( response = client.chat.completions.create( #model="gpt-4-1106-preview", model="gpt-3.5-turbo-1106", r
Mistral-7Bを日本語で試す｜shi3z
フランスのスタートアップが公開したMistral-7Bが、Llama2 13B超えだと言うので日本語で試してみました。 試す前の注意事項としては、transformersがpipにない超最新版じゃないと動かない。 $ pip install git+https://github.com/huggingface/transformers.gitそんで試す。 ちなみに今アメリカにいるのだが、ngrok使うと自宅にあるドスパラ製Memeplexマシンに直接アクセスできるので死ぬほど便利である。これでもう日本に帰る必要がなくなった。 from transformers import AutoModelForCausalLM, AutoTokenizer device = "cuda" # the device to load the model onto model = AutoModelForC
ChatGPT/Co-Pilotで改めてわかる「プログラミング」とはどんな作業だったのか｜shi3z
最初にプログラミングを始めた時は、学校にリファレンスマニュアルを持って行って全てのページを丸暗記した。丸暗記が目的だったわけではなく、読んで知識を吸収していくのが楽しくてしょうがなかった。 PC-9801のN88-BASICリファレンスマニュアルは、読み物としてとても良くできていた。各ステートメントの紹介があり、パラメータの説明があり、ごく簡単なサンプルコードも書いてあった。大体見開き一ページで一つのステートメントの説明なので読みやすかったし、ベーマガかなんかで読む呪文のようなコマンドの意味を詳細まで知れて楽しかった。 だがこれを「楽しい」と思う人は少数派のようだった。 僕のクラスメートのうち、相当数の人が親にパソコンを買ってもらい、BASICに挑戦したが、全くその世界に馴染めず結局ゲーム機になって行った。僕も親父がゲームなんかを買ってきたら話は変わっていたかもしれないが、親父の教育方針で
プレ・シンギュラリティ、もう始まってない?｜shi3z
毎日AIニュースを追いかけていると、当然、波がある。 「今週は落ち着いてるな」とか「今日はやばいな」とか。 今日は、久々に「やばいな」という日だった。 まず、一日のうちにSOTA(State Of The Art)超えしたという大規模言語モデルを三つくらい見た。明らかにおかしい。 さらに、AttentionとMLPを使わない大規模言語モデルの実装も見た。世界を三次元的に解釈して合理的な質問と答えを行う大規模言語モデルもあれば、4ビット量子化した60モデルは8ビット量子化した30Bモデルよりも高性能という主張がなされたり、Googleは論理回路の設計を強化学習で行なっているという。どれもこれもにわかには信じ難いが、今目の前で起きていることだ。 「シンギュラリティ」の定義には、「AIがAIを設計し、改良し続ける」という部分があるが、今のAIは人間も考えているが、実はAIがAIを設計している部分
これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場(7/18追記あり)｜shi3z
導入 本当に革命的な技術なのか? 「君たちはどう生きるか」で驚いている間にすごい論文が世界の話題を掻っ攫っていた。 その名も「ReLORA」簡単に言えば、「事前学習にLoRAを使う」というものである。 これは本当に革命的な発見かもしれないので、僕の仮説も含めて丁寧に説明する。 まず、大前提として、「LoRA」という技術について LoRAは、「Low Rank Adaptation(日本語で言うとすれば低階適応)」という技術で、これまでは主にファインチューニングに使われてきた。 ファインチューニングとは、あらかじめ学習されたニューラルネットワークに対して追加で学習させ、概念を強調させたり新しく覚えさせたりする。 たとえば、僕の顔でStableDiffusionをファインチューニングすれば、僕みたいな顔の絵がどんどん出てくる。 言語モデルにおけるLoRAも同様で、新しい概念や「こういうやりとり
これぞ10万トークン!Anthropicの最新LLM「Claude2」を早速試す!｜shi3z
持つべきものはアメリカ在住の友達! OpenAIを抜けた人たちが作ったAnthropic社が、ChatGPTに対抗しうる強力なAIをリリースした Anthropicの最新LLMであるClaude2は、ベンチマークでGPT-3以上GPT-4未満と言われている。しかしその特徴は、10万トークンという長大なトークンを扱えると主張されていることにある。 ちなみに大規模言語モデルでトークン数を沢山扱えるという主張には注意すべきという意見もあるのでご注意。 I'm calling the Myth of Context Length: Don't get too excited by claims of 1M or even 1B context tokens. You know what, LSTMs already achieve infinite context length 25 yrs ag
AIを学ぶのに必要な最低限の数学の知識は5つだけ!｜shi3z
最近、「AIを理解したくて代数幾何の教科書を勉強しているんですよ」という人によく会う。 五年前くらい前に、note株式会社の加藤社長も「社内で代数幾何学の勉強会を開いてるんですよ」と言っていた。僕はその都度「それは全く遠回りどころか明後日の方向に向かってますよ」と言うのだがなかなか聞き入れてもらえない。 確かに、AI、特にディープラーニングに出てくる用語には、ベクトルやテンソルなど、代数幾何学で使う言葉が多い。が、敢えて言おう。 代数幾何学とAIはほとんど全く全然何も関係していないと。 なぜこのような不幸な誤解が生まれてしまうかの説明は後回しにして、意地悪をしても仕方ないので、AIを理解するために最低限知っておかなければならない用語を5つだけ紹介する。 テンソル(スカラー、ベクトル、行列など)おそらく、「テンソル」という言葉が人々を全ての混乱に向かわせている。 Wikipediaの説明は忘
GPTのモデル構造を可視化した｜shi3z
GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from transformers import pipeline, set_seed generator = pipeline('text-generation', model='gpt2') m= generator.model x= m.generate() y= m.forward(x) image = make_dot(y.logits, params=dict(
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
