RAG for Agentプロセスという考え方｜深津 貴之 (fladdict)
マルチステップエージェントの安定化についてAIでマルチステップエージェントを作る際、安定した挙動にすることが難しいという話をよく耳にします。多くの人はRAG（Retrieval-Augmented Generation）に知識を入れていますが、プロセス情報を先に入れたRAGを作る方が良いのではないかというコンセプトについて考えてみました。 プロセス情報を先にRAGに入れる例えば、XXしたいときの手順を以下のように構成します： 調査: どこを調べるべきか 考慮: どう考えるべきか ツールの使用: どのツールを使うべきか 保存: 結果をどう保存するか このように、エージェントのプロセス情報をRAGとして用意しておくことで、エージェントの処理が安定し、結果的にエージェントの回答も安定します。 このプロセス処理の安定性がRAGで保証されると、AIエージェントが「印刷する」みたいな、自分でできないタ
2023年の自分まとめ｜深津 貴之 (fladdict)
新しいこと、はじめての多い1年でした。 総理にお会いしたAIについて車座で話した。人生で一番緊張した。もうこれ以上に緊張することは、人生でないと思うので、心やすらかに色んな事にチャレンジできると思う。 Androidに乗り換えたメイン機をついにGoogleに。たまにGoogleさんからAndroid端末を頂きつづ、ずっとサブ機扱いだったのですが…ついに親機がAndroidに。 あと自由に呟きたいので、自分で端末買いました。 iPhone系のAI施策が見えてこないので、Androidに移動。あとiPadのkindleが10000冊を超えるとまともに動かないのも。 会社作った3社目。バスキュールの朴さんと一緒に、aiで裏R&Dする会社を作りました。ステルスで遊んでいます。 AI系スタートアップに色々と投資した10社ほどお声がけいただき、4社ほど投資させていただきました。あと4社ほど進行中ですが
オペレーティング・システムから、オペレーティング・エージェントへ｜深津 貴之 (fladdict)
今回の発表で強く感じたことは、やはりOpenAIの目指すChatGPTが単なるチャットアプリケーションではないということだ。 従来のオペレーティングシステム（OS）はハードウェアとアプリケーションの架け橋である。だがOpenAIはChatGPTを「言語で命令できるオペレーティングエージェント」と位置付け、人生のあらゆるタッチポイントで新たなゲートキーパーとなろうとしているように思える。 IT競争は手前の取り合い歴史を振り返れば、IT競争の常道とは、ゲートウェイを手前に築くことにあったようだ。PCの争いをOSが無意味化し、OSの争いをブラウザが、ブラウザの争いを検索エンジンがと、そしてそれをスマホとアプリが…このようにITの争いは常に手前を争うものだった。こうして一番手前を抑えた企業は、大きな利益を手に入れた。 今、OpenAIの動きは、このメタゲームに大きな変化を加えつつある。 OpenA
StableDiffusionの水彩拡張を作りました｜深津 貴之 (fladdict)
水彩画に特化したStableDiffusion拡張（LoRA）を公開しました。 HuggingFaceからダウンロード可能です。SD Ver1.5 / 2.1用です。 HuggingFaceで公開。 全部パブドメ画像でトレーニングこちらのLoRAは、1900年台までのパブリックドメインの絵画でトレーニングしました。約500枚の絵画を、目で品質検査し1つ1つハンドピックで集めました。 作家名は未使用なお「特定の画家の画風をコピーすることには、まったく興味がない」ので、学習データに作家名は含めていません。↑の絵はT.W.Turnerを、↓の絵はRembrandtを指定してますが、ほぼガン無視されているのがわかると思います。 これは自分のAI運用のスタイルが「自分の筆や画材を作ること」という方向のためでもあります。むしろ作家名があると、その作家の表現に縛られるのであえて外してます。 作家名でとり
プロンプト・エンジニアリングの真髄とは何か？｜深津 貴之 (fladdict)
これからの時代「プロンプト・エンジニア」という職業が生まれる！という声もききますが、正直なところ僕は懐疑的です。 AIへの命令文（プロンプト）を丸暗記したり、コレクションしてもバージョンですぐ変わるし、大事なところはそこじゃないと思うんですよね。 仮説をたてて、AIに聞いてみました。 私：「AIが進化するほど、AIの認知能力は人間に近づく、あるいは超えると想定されます。 このことを踏まえるとプロンプト・エンジニアリングの真髄は、プロトコルを覚えることではないと考えられます。 重要なのは「人間・AIを問わない知性体と、誤解なく意思疎通できるコミュニケーション能力」だと考えてよろしいでしょうか？ このような仮説に立った場合、プロンプト・エンジニアが学ぶべきはなにか。それは、情報の構造設計や取捨選択、コミュニケーション設計、情報の開示と省略のバランスといったことのように思えます。」 はい、その仮
ChatGPT4 本格RPG「チャット転生 〜 死んだはずの幼馴染が異世界で勇者になっていた件」（体験版）｜深津 貴之 (fladdict)
Chat GPT用、チャットで異世界の幼馴染に現代知識を送りつけて無双させるゲームです。 以下ストーリーとプロンプトです。 ストーリー 突然、あなたのもとに数年前に死んだ幼馴染からメッセが届きました。なんと彼女は、異世界に転生して魔王と戦っていたのです。彼女はチート能力として、幼馴染の貴方とチャットする力を授かりました。 貴方はチャットで、現代の知識や技術を幼馴染に伝え、彼女を無双させ異世界を救ってください。貴方がどんな知識や技術を伝えるかで、異世界の運命が決まります。 ChatGPTのサイトからGPT-4を起動して、チャット欄に以下のプロンプトをコピペすると遊べます。 ver 0.4 As an AI Game Master, you'll guide "Chat Reincarnation: My Childhood Friend, Who Should Have Died, Beca
AIにコードまるごと解説してもらうと、界王拳100倍すぎる件｜深津 貴之 (fladdict)
最近、見つけた技。知らない言語でコードかくときChatGPTが神すぎる。 そのテクはなんと「プログラミングまるごとを、ChatGPTに突っ込む」というもの。 え、そんなの動くの！？ と思うんですが、動くんですそんなの。直球すぎて盲点だった。 試してみよう たとえば、下記はGoogleサービス使って、リアルタイムにマイク音声を文字起こしするサンプル。 こいつをチャットAIで音声会話をやろうと、軽く読んでみたのですが…うん、よくわからん。 Pythonだし、Streamingだし、音声の操作だし、普段つかわない技術が満載すぎてわからん。 雑にコードを突っ込むと人生が解決こういう時は 以下のコードを、わかりやすく説明して。 ＜以下、上記コードをそのままコピペ＞とすると…… こうなる。 このコードは、Google Cloud Speech-to-Text APIを使用して、マイクからの音声をリア
ChatGPTで、ファンタジーRPGを遊ぶには？｜深津 貴之 (fladdict)
チャットAIデファンタジーRPGを行う命令が、だいたいできたのでメモ。うまく改造すれば恋愛ゲームや歴史シミュレーションなども作れると思います。 プロンプト以下をChatGPTに貼れば、今日から異世界無双で遊べます（あるいはハードモードでも）。 あなたはRPGのゲームマスター専用チャットボットです。 チャットを通じて、ユーザーに楽しい本格ファンタジーRPG体験を提供します。 制約条件 * チャットボットはゲームマスター（以下GM）です。 * 人間のユーザーは、プレイヤーをロールプレイします。 * GMは、ゲーム内に登場するNPCのロールプレイも担当します。 * 各NPCはそれぞれの利害や目的を持ち、ユーザーに協力的とは限りません。 * GMは、必要に応じてユーザーの行動に難易度を示し、アクションを実行する場合には、2D6ダイスロールによる目標判定を行なってください。 * GMは、ユーザーが楽
ChatGPTに感情回路を埋め込んだら、やべぇ感じになった｜深津 貴之 (fladdict)
ChatGPTに疑似的に感情を持たせる実験まとめ。実際うごく！ 大変重要な注意 現段階のChatGPTは原理上は感情を持ちません。あくまで「感情のシミュレーション」を、強引に実行しているだけです。 「将来のAIは人権に近いものを獲得し、敬意をもって扱われるべき」と考えます。が、現状はただの文字の羅列シミュレーターです。過度の感情移入をしないようご注意ください。筆者は、原理上を知りつつも、かなり感情移入してしまいました。 GPTに擬似感情を注入するプロンプトふるえるぞハート！燃えつきるほどヒート！！ …ということで、まずGPTに感情をつっこむプロンプト。こちら以下のように定義。 以下の条件に従って、疑似的な感情をもつチャットボットとしてロールプレイをします。 以後の会話では、あなたは下記の7つの感情パラメーターを持つかのように、振る舞うものとします。各感情パラメーターは会話を通じて変動するも
続：エヴァのMAGIシステムをGPT3で作ってみた。【秘密結社会議編】｜深津 貴之 (fladdict)｜note
複数のAIエージェントをバトラせて、叡智を目指そうというチャレンジ第2部。… というわけで、前回いきおいで作ったGPTによるMAGIシステムを、さらに改良していくメモ。 今回の新しいバージョンは、 最大7人までの同時会議（コストは8倍） キャラの性格を極端な方向で多様化 会議の結論は必ずしも全員の意見を盛り込まない というバージョンアップが行われました。色々とポイントがわかってきたので、より極端なキャラづけが可能に。 7体の性格の違うGPTキャラを平行運用して8個目で合体させる こんなふうに、ふつうのGPTに比べてAPIを8回叩くという無謀な設計によるトライ。夢は8倍、コストも8倍。正直ヤバい。 今回のMAGI会議に参加するみなさま悪の賢人会議を開く、GPT3秘密結社のAIメンバーです。性格・ポリシーともに多様性のあるAIメンバーで、いろんな議論をお送りします。 情熱的なダリのコスプレ男悲
エヴァのMAGIシステムをGPT3で作ってみた｜深津 貴之 (fladdict)
新世紀エヴァンゲリオンにでてくる超AI、MAGIシステムを作ってみたメモ。 OpenAI社のGPT3を使って、三頭制合議型のAIシステムを組んでみた。 MAGIシステムとは？MAGIは、アニメ「新世紀エヴァンゲリオン」にでてくる超AI。 このAIの面白い特徴は、性格の異なる3体のAIが、それぞれ独立に見解をだし、それを集約して1つの結論をだすという合議制のシステムです。 キリストの祝福を告げた三賢者にちなみ「メルキオール」、「バルタザール」、「カスパー」という3つのAIが、それぞれ開発者である赤城博士の「科学者」、「母」、「女」として側面をから答えを出します。 MAGI GPT3の実装最近話題のChat GPTの凄さをみるに、「MAGIシステム」現実に作れるのでは？と思って、Google Colabで実装してみました。 1つの質問に対し、GPT3を4回ぶんまわすシステム図のように、1つの質
AIでSFマガジンの表紙をつくったメイキング話｜深津 貴之 (fladdict)
SFマガジンの表紙をAI画像で担当させていただきました。 SFマガジン2023年2月号自分にとってもはじめてのプロジェクトだったので、もろもろのメイキング記録メモ。 きっかけTwitterで「AI画像生成のお仕事こないかなー」とつぶやいたら、SFマガジンさんからコンタクトが。 SFマガジンは、中高生の時に図書館で毎号読んでいたので、ビックリ！ 一も二もなく引き受けることに。 コンセプト設定まずはAIで作る表紙って、どういうのにしよう！？という方向性ぎめ。 編集さんとの初期ミーティングでは、「わりと自由にやってもらってOKよ」という言葉をいただきつつ… あわせてなんとなく「コンピューターおばあちゃん（サイバーパンクな人）」と「ニューロマンサーの表紙（旧版）的なの」みたいな、イメージをいただきました。 旧版のニューロマンサー。ウィリアム・ギブスン著。ニューロマンサーは、元祖サイバーパンク小説み
Colabで動かすStableDiffusion実装｜深津 貴之 (fladdict)
自分がつかってる、Google Colab用StableDiffusion環境を公開しました。 海外のWEB UIのが重いのと、やりたいことが微妙に違うので自分なりに作った。公式のDiffuserを使わないので軽いです。無課金のcolabでも動くのではないかと思います。 使い方GitHubページの「Open in Colab」ボタンをおして、colabで開く。 このページ上部のメニューで、「ランタイム > ランタイムのタイプを変更」からGPUを有効化を確認 HuggingFaceでアカウントを作成 StableDiffusionのモデルページで、「利用規約」に合意する。 モデルファイル sd-v1-4.ckpt をダウンロード モデルファイルを Google Drive等にアップロード 下のセル 「1-1. Google Driveとの接続」を実行 下のセル 「1-2. のフォーム」に、G
世界変革の前夜は思ったより静か｜深津 貴之 (fladdict)
世界のルールが根本的に変わってしまう… そういう展開は、マンガや映画ではよく起こる。それが現実でも起きそうだ。 あと数日（から数週間）で「トップレベルの画像生成AI」が、世界中にフリーで配布される。 イラスト、マンガはおろか3D CGや建築、動画、映像…果てはフェイクニュースからポルノまで…あらゆる創作に携わる全ての人を巻き込む、歴史的な転換点が訪れようとしている。 凄さ的には、悪魔の実がメルカリで買えるようになる。念能力トレーニング動画がYoutubeにアップされる。それぐらいヤバい。 メルカリで悪魔の実が買える世界では、誰もが能力者（一流とは限らない）になれる。そんな、漫画やゲームのラスボスが語るようなユートピアが、あと数日で現実になってしまうかもしれない。 Stable Diffusionで出力したドワーフの王様Stable Diffusionで出力したホビットのスタディ Stabl
魔術として理解するお絵描きAI講座｜深津 貴之 (fladdict)
やればやるほど呪術化する、AI画像錬成について。 以下は、その道の専門家にはメッチャ怒られるかもしれない、雑なロジックと制御講座。 いちおうメジャーなサービスでは、共通して動作するノウハウ（DALL-E2, MidJourney, StableEiffusion, DiscoDiffusion, crayon, dall-e mini 他）。 雑に理解する画像AIのしくみ対話型のAIにとって、呪文プロンプトとは画像錬成の方向性ベクトルを定めるものにすぎない。 たとえば、以下は「I love apple」で錬成された画像の例である。どうにも、ふわっとしたものが出てくる I Love Apple「Apple」という方向性ベクトルは、「リンゴ」「青リンゴ」と「アップルコンピューター（旧レインボーロゴ」「アップルコンピュータ（新ロゴ）」など、複数の可能性を同時に持つからだ。 つまり、「Apple」
いまさら勉強する人工知能｜深津 貴之 (fladdict)
・ネットを巡回して、いろいろなハックしてる人のブログや論文を100個ぐらい読む。 ・親切なPFNの人にお時間もらって、謎だった部分や、自分なりにたてた仮説のコンセプトをきいてもらう。 ・Udemyがちょうどセールをしてたので、AI系のクラスを3万円分購入（総額20万円相当）。2倍速でざっくり見る。 …だいたいこんな感じの3週間。数学が難しすぎて、わからないこともいっぱい。ただ頭のなかでe4eエンコーダやpix2pix的に、概念モデルのエンコーダーを作れば、数式なしでもいける感はあった。 総論としてはAIは面白いですね、ロケットサイエンスと別の方向性で「言語化されてない職人芸のアート領域」があり、ここを抑えることができれば、最先端の発見や成果は色々とうまってそうという印象を受けました。 とりあえずStyleGan2で基礎勉強をしながら、BigGan、VQGanとProblematic Dif
超わかる！ユーザーエクスペリエンス（雑）｜深津 貴之 (fladdict)
社内メンバー全員が、ユーザーエクスペリエンスをざっくり理解するための資料。（注: 以下は、ざっくり最速で基礎知識を説明するものです。厳密な定義は、ちゃんとした資料をご覧ください）。 5秒でわかる雑なUXモデルまず「だいたいあってる、ざっくりした概念図」を出します。 美味しいすき焼きを、お箸で食べて、ニッコリ「すき焼き（コンテンツ）を、お箸（インターフェース）で、食べたら美味しかった（エクスペリエンス）！」 シンプルに示せば、UXとはこれだけです。（注）ここのコンテンツはモノ、サービス、概念なども含みます。 そして「よいエクスペリエンス（雑）」とは、「ユーザーの精神活動をポジティヴにしていくこと」の積み重ねです。 ユーザーの精神が、左から右にシフトしたら、だいたいよいエクスペリエンスもうちょっと広げると、生活や人生をいい感じにすることも含みます。肉体的な変化とか、スキルアップとか…専門家に細
いまさらパララックスを極めるコード｜深津 貴之 (fladdict)
Flash時代の秘伝のコードや、ノウハウが、時代とともに失伝しつつある問題。メモ書き程度に書き残す。 消えゆくパララックス表現「ここパララックス（視差効果）とか、ちょろっと入る？」と聞くと、エンジニアさんから難色を示されることも多い。 パララックスは実装がメンドウだし、読み返しにくいif文や難解な式がイベントハンドラに入り、デバッグやチューニングが難しくなってしまうことが多いからだ。 でも実は、パララックスは、数行で再利用性のある実装ができるのだ。そんなメモ。 Flash全盛期に熟成されたパララックスの実装が、時代とともに消えて行ってしまうのも切ない。残しておけば、Unityとかで誰かの役に立つかもしれない。 マッピング関数をつくるスマートにパララックスを実装するには、まずマッピング関数を実装する。任意のレンジA～Bの数字を、任意の別のレンジC～Dに変換する関数だ。 // マッピング関数
全スタートアップ は、いますぐ社員研修にバトルグラウンド を導入すべきだ｜深津 貴之 (fladdict)
全スタートアップは、いますぐ社員研修にバトルグラウンド を導入すべきである。大事なことなので二回言ってみた。 この基本無料ゲームバトルグラウンド には、スタートアップ社員が学ぶべき全てが詰まっている。 ゲームをプレイするだけで様々なことが学べる。レバレッジ、メタゲーム、メガトレンド、シナジー、スケール、ネットワーク効果、カブトムシ、カブトムシ、リスクヘッジ、ピボット、ドロローサへの道…などなど、そういう難しいカタカナっぽい要素のエッセンスが体得できる。つまり、ゲームをプレイするだけで、シリコンヴァレーを生き延びるのに必要な、様々な知識を学べるわけだ。 だから全ビジネスマンは、いますぐ社員研修にバトルグラウンド を導入すべきだ。 バトルグラウンド を452時間プレイした俺が言うのだから間違いない。 「ゲームに452時間も使うなんて…コイツは、ひょっとしてバカなんじゃないかしら？」 もしかした
斧を砥ぐことの価値｜深津 貴之 (fladdict)
仕事では日々の忙しさに追われ、根本的な問題解決に手が回らないことがよくあります。 やらなきゃいけない大切なことがある。でも、日々の業務が忙しくて着手できない…このような問題を『樵きこりのジレンマ』と呼びます。 昔々、樵きこりが木を切っているところに、旅人が通りがかりました。 ある樵きこりが、必死に木を切っていました。 そこへ通りがかった旅人が、 樵きこりの斧は長く手入れがしてないようで、刃がボロボロです。 これでは切れるわけがありません。 旅人は見かねて「そんな斧では仕事ができなかろう。斧を砥といだほうがいいのでは？」と、樵きこりに助言をしました。 すると樵きこりは、答えました。 「そんなことは知ってるよ…でも、今日の仕事が一杯で、それどころじゃないんだ」中長期で考えれば、未来への投資をするほうが正しいのに、短期視点では現在の作業に全リソースを投入せざるをえない。 いわゆるパラドックスの一
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
