噂のノーコードAIシステム開発環境Difyを使ってツールを作ってみた。使った感想｜shi3z
最近にわかに話題のLLMツール「Dify」を僕も使ってみた。 いいところと「?」となったところがあったので纏めておく Difyとは、GUIでワークフローを組むことができるLLM-OPSツールだ。 ComfyUIのようにワークフローが組めたり、GPTsのように自分専用のアシスタントを作れたりできる。 特に、OpenAIのGPTシリーズとAnthropicのClaude-3、そしてCohereのCommand-R+なんかを組み合わせて色々できるところは良いところだと思う。また、ローカルLLMにも対応しているので、企業内でのチャットボットを作るんだったらGPTsよりこっちの方がいいだろう。 元々色々なテンプレートが用意されているが、テンプレだけ使うとGPTsっぽいものを作れる(それだってすごいことだが)。テンプレを改造するだけでも欲しいものが作れる人はいるし、ここはノーコード環境と言える テンプ
AI時代に起業するということ｜shi3z
生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ。ただ、AIサービスの場合、人件費を極限まで最小化することができる、という点が決定的に違う。 また「AIの利用料」も、「APIの利用料」なのか、ベアメタルサーバーの月額利用料なのか、それとも自社に持っているGPUマシンの電気代なのか、という議論のポイントがある。 あまり多くの人は語らないことだが、実は起業には再現性がある。 つまり、一度でも事業をうまく立ち上げたことがある経験を持つ人は、次も事業をう
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れということが多かった。 ところがCommand-R+は、その性能は桁違いである。というか、もはや僕という人間如きがちょっと触ったくらいでは「GPT-4よりいいね」とか「ここら辺甘いね」とか判断がつかなくなってきてる。しか
AI搭載コードエディタCursorが快適すぎる｜shi3z
VScodeよりもさらに過激にAIを取り入れたコードエディタであるCursorが面白そうだったので試してみたところ、もうSublime Textちゃんに戻れない体になってしまったかもしれない。 VScodeの場合は、あくまでもコードは補完されるもの。 それに対して、Cursorは、VScodeのコード補完的な機能に加えて、コードについて相談できる。 日本語で語りかけることも可能。返事が英語になっちゃうこともあるけどご愛嬌。シェルも内蔵されているのでアプリを切り替えることなくコードを実行できる ディレクトリ内の複数のファイルを見てくれるのでもっと高度なことも頼めるのかもしれない。スネークゲームを作ってくれと言ったらPythonでうごくテキストベースのスネークゲームを作ってくれた 個人的にはHHKB Studioとの相性がとてもいい気がする。全てホームポジションから全く手を離さずに操作できる。
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z
LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i
AIで人類が滅ぶとか冗談だろと思っていたのだが｜shi3z
昨日、ひょんなことからピープロ作品のフィルムをデジタルアーカイブにして保存するプロジェクトを見に行くことになった。 ちなみに僕はピープロ作品はマグマ大使以外見たことがない。 ライオン丸やザボーガーは生まれる前に終わっていた。 今、ピープロ作品はなぜか株式会社カラーが権利を持っているらしく、冒険王という雑誌のために撮影された当時の作品の6x6判のカラーポジフィルムが発掘されたので、そのデジタルアーカイブを残したいというプロジェクトをクラウドファンディングしているのだという。ちなみにオール・オア・ナッシング方式なので、現在300万円近くまで来ているが、目標の500万円に達しなければ不成立。なんでこんなに高いハードルが課されているのかは不明。 僕は全く見たこともないピープロ作品なのだが、ライオン丸とタイガーセブンといえば、トチオンガーセブンのパクリ元強烈なリスペクト先であるため、頼まれもしないの
GPTのモデル構造を可視化した｜shi3z
GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from transformers import pipeline, set_seed generator = pipeline('text-generation', model='gpt2') m= generator.model x= m.generate() y= m.forward(x) image = make_dot(y.logits, params=dict(
Pomera+iPad Proで最強モバイル環境｜shi3z
メインのマシンをM2のMacBook Proに変えたのだが、16インチもあるので結構でかい。これから夏に入ろうというのに、こんなデカブツを背負ってウロウロ歩き回るなんてまっぴらごめんである。 どうしたもんかなあ、と思ってとりあえずポメラを買った。今頃ではあるが、昨年6年ぶりにリニューアルを果たしたキーボード入力専用マシンである。 ポメラのキーボードは定評があるし、今後、原稿のようなものはGPTのようなものに頼らず書く場面も増えていくはずである。 また、最近はAIの学習用データをテキストでしたためているため、電池が長持ちしてどこにでも持ち歩けて、それでいてネットにつながらないので余計なニュースが入ってきて気が散る、という状態から解放されるのがいいところだ。 ポメラと、どうしても外せないのがiPad Proである。僕はもう四六時中本を読んでないと落ち着かない人間なので、どんな場合でもiPad
ご家庭のパソコンでLLMが動く!・・・またかよ｜shi3z
やっぱあれですな。 一度動いちゃうと後はもう雪崩のようですな。 そしてこっち側も新鮮味を感じなくなってしまうというか。 んで、ものすごくアッサリとうちのMacBookProで動きました。 量子化済みのモデルをダウンロードしてスクリプト動かすだけ! 工夫なし! Windowsでもいけると書いてある。しかもめちゃくちゃ高速 % ./gpt4all-lora-quantized-OSX-m1 main: seed = 1680064969 llama_model_load: loading model from 'gpt4all-lora-quantized.bin' - please wait ... llama_model_load: failed to open 'gpt4all-lora-quantized.bin' main: failed to load model from 'gp
10年ぶりに一人でWebサービスを作って思ったこと(エンジニア老人会)｜shi3z
StableDiffusionに対応したGakyoを雑な設計のためわずか数日で10万円くらいのクラウド利用料がかかってしまった。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
