もうでかいVRAMに高い金を払う必要は無くなるかもしれないのか?超分散LLM推論環境が爆誕 ｜shi3z
世は大容量GPU時代。 吾輩も、秋葉原で大容量VRAM搭載GPUの中古が出たときけばすぐに飛んでいき買ってくるということを繰り返している。ちなみに最近、秋葉原の大容量中古GPUは飛ぶように売れているので、見つけたら即買いしないとすぐに無くなる。 なぜ大容量GPUが欲しいかと言えば、それがAIの全ての力の源だからである。 しかし、これは我々のようなガチ研究勢の話であって、ビジネスパースン的には「いやあこれからはローカルLLMでセキュリティバッチリでしょう」みたいな話をしても、「んで、おいくら万円ですか?」と聞かれて、「えーと、GPU単体で500万円くらいでやす」とか言うと客も裸足で逃げていく。そもそもそれだけの価格を払っても、買えるかどうかわからない。 こないだデンバーの学会で、NVIDIAのジェンスン・ファンとMetaのマーク・ザッカーバーグが対談した時に、マークはずっと「とにかくGPUを
俺に起業の相談をするな｜shi3z
最近よく聞かれるので改めて言っておく。俺に起業の相談をするな。一切受けつけていない。突然事業のアイデアを言われても俺は助けないし助けられない。 俺が相手にするのはUberEatsのユーザーと、昔から一緒に仕事をしている人の紹介だけだ。もうすぐ五十路が見えているというのに新たな人間関係を構築しようとするほど俺は暇でも気長でもない。 相談されるとそれだけで僕の頭脳が無駄に消費される。俺に相談するというのは基本的に泥棒である。俺は何か聞いたら自分でも意識しないうちに気の利いた解決策を考えてしまう。俺にとって俺の頭脳は商売道具だから、俺に起業の相談をするというのはタダでイラストレーターに絵を描けと言ってるのと同じだ。 相談を受けなくていいようにたくさん記事を書いてるし本も書いている。俺の情報を一方的に発信するのは構わないのだが、誰かのへんな考えを聞いて時間を浪費したくない。時間は限られているのだ。
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z
LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i
高次元ベクトルを「矢印」とイメージするのがちょっとしっくりこない理由｜shi3z
なぜAIを考える時にベクトルを「矢印」と捉えるべきではないのか。 実際には矢印として考えたほうがいい例外もあります。 たとえば、特徴空間の任意の２点の引き算や足し算をするとき。 矢印のメタファーが使えます。 あるベクトルAから別のベクトルBを引いたベクトルCは、BからAへ伸びる矢印としてイメージするのは大丈夫です。 この性質を利用して、プロンプト芸が成り立つケースもあります。 たとえば画像生成系AIで使われるネガティブプロンプトはそういう性質を使っています。 しかし、根本的に、我々が普段イメージする二次元の矢印で示されるベクトルと、十次元以上の高次空間のベクトルは、全く異なる性質をもっていると考えるべきです。低次のベクトルと、高次のベクトルでは、共通する要素はあるけれども、それはごく一部に過ぎないということです。 例を挙げましょう。 1次元のベクトルは、正負の向きと大きさを持ちます。 数直
今日から俺は、｜shi3z｜note
私、社長ではなくなりました。 思えば、会社を飛び出して19年、海外に行ったり、個人事業主になったり、結局会社を作ったり、ゲームを作ったり、CMSを作ったり、ハードを作ったり、やりたい放題やってきて、つくづく思っていたのは、「俺は社長には向いてない」ということでした。 過去のブログでも度々言及していたように、社長ほど割りに合わない仕事はありません。 給料が高くていいなあと思うかもしれませんが、中小企業の社長なんて、少しお金が貯まれば、すぐに自社株買いに回さなくてはなりません。結局、形を変えて会社にお金を戻していたわけです。 川上量生さんも以前言っていたように社長になるというのは、社長を辞めるゲームの始まりです。いかにいい形で社長を辞めることが出来るか。会社が軌道に乗り、自分が一から百までやらなくても、社員が自律的に行動し判断し、会社が持続的に成長出来るようになること、そのために必要な幹部社員
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
