この文章はプログラマじゃない人向けに JSON を知ってもらうメリット、とくにAIとの効率的な対話方法を説明し、そしてあわよくばプログラマとも JSON の水準で会話してもらえたら嬉しい…というものです。 あなたは誰 UI を作るのが専門のエンジニアです。 エンジニア以外が使うノーコードのエディタを作ったりしてました プログラマじゃない人が JSON を知る利点 プログラマとして、プログラマじゃない人向けのノーコードなどを作っていたんですが、わかったことがあります。それは、「抽象的なロジックを記述するには訓練が必要だが、眼の前のデータとUIに対応したものは簡単に変更・記述できる」ということです。 自分の考える、もっとも成功したノーコードエディタこと Google Form JSON はよく知られているデータを記述する方法の一つです。特定の言語などとは関係ありません。 で、今現在 JSON

はじめに 自分がIT業界に携わって5年ほどが経過しました。 この5年間、SIerからフリーランスエンジニアに転身し、様々なプロジェクトに参加する中で、数々の失敗と成功を経験しました。特に心構えやマインドの部分で多くを学ぶことができました。 未熟だった自分を振り返って、今では改善できた点が多くあると思います。同じ失敗を繰り返さないように、自分の経験が少しでも役立てば幸いです。 また、気付きを与えてくれた方々にこの場を借りて感謝します。 感謝を忘れない 進捗報告やコードレビュー、質問対応など、感謝の気持ちを忘れないようにしています。感謝は、コミュニケーションを円滑にし、相手の意欲を引き出す力があると思います。 たとえば、昔の自分はバグ報告を受けるとろくに文章も読まず「影響範囲は？ 再現する条件は？ 原因は？ 解決策は？」などと質問攻めにしてしまっていました。 報告しただけなのに色んなことを聞か

はじめに この記事で想定している読者の方: Difyの使い方にまだ馴染めていない方 ワークフローで何か作ってみたい方 簡単にPythonが書ける方 LLMを用いたアプリケーションをノーコード・ローコードで作成できるサービスである「Dify」がその使いやすさと拡張性の高さから最近注目を集めています。しかし, 「Difyを知っているけどまだ使って何かのアプリケーションを作ったことはない...」という方も多いのではないでしょうか。特に, 自由度が高い様々な機能を持ったノードを組み合わせることでLLMを自在に組み込んだシステムを作成できる「ワークフロー」機能は公式でも「経験豊富なユーザ向け」と紹介されている通り少し難易度が高いですが是非使ってみたい機能です。 そこでこの記事では, Dify初心者の方向けに, Dify初心者だった自分が「ワークフロー」機能を用いてシステムを作ってみて詰まった部分とそ

この記事の目的 Dataikuを利用すると、ノーコードでRAGアプリケーションを開発できます。一方で、回答精度や安定性を高めるためには、開発時の工夫やコードを利用した拡張が必要な場合もあります。 そこで、この記事では、RAGアプリケーション構築において「Dataikuの標準ビジュアル機能で、どこまでできるのか」「拡張が必要な場合、どのように対応すれば良いのか」について説明します。 前提知識・前提情報について 「Dataikuを利用してノーコードでRAGアプリケーションを開発する手順」については、以下のブログやドキュメント等を参考にしていただけます。当記事では、読者の方がこのような内容を実際に試したことがある、もしくは理解していることを前提に、もう一歩踏み込んだ情報を提供します。 Dataikuを使って完全ノーコードで、1時間でRAG作成→AIチャットボットを作ってみた （中村 祐樹さん Q

はじめに こんにちは。宿泊プロダクト開発部の宮崎です。 みなさん、生成 AI 使ってますか？ 近年、AI の進歩はめざましく、文章生成や画像生成はもちろん、動画生成も実用的なレベルで出来るようになっています。 ChatGPT が話題になったのが 2022 年の 11 月なので、たった 2 年足らずでここまで来ているという事実に少し恐ろしくもありますね。AGI(汎用人工知能)の実現もそう遠くないのかもしれません。 一休でも AI 技術は注目していて今年の 6 月に、まさに生成 AI を使ってホテル検索システムの改善を行いました。 この記事では、その時に学んだプロンプトエンジニアリングの重要性について書いていこうと思います。 生成 AI を使ったホテル検索システム 今回我々が実装したのはフリーワード・文章でもホテルを検索できるシステムです。 以下のようなユーザーの自由な入力に対して、適切なホテ

15時間で学べるAI学習決定版。グーグルが提供する無料の機械学習集中講座が大幅刷新され、LLMもカバー Googleが提供する無料の機械学習の集中講座はご存知でしょうか? 機械学習に関する幅広いテーマを座学・動画・実験・コーディングといった様々なアプローチで15時間で学べます。しかも無料です。 このコンテンツはもともとは2018年に公開されたものであり、多くのエンジニアに活用されました。 とはいえ、2017年のTransformerの論文、大規模言語モデルの発展、2022年のChatGPTリリースなど、AIは急速に発展し、より広い職種に身近なものになっています。 この流れを受けて、入門講座は2024年8月に大幅に刷新されました。 ※冒頭で登場するResearch DirectorのPeter NorvigはAIの世界的な教科書"Artificial Intelligence: A Mode

以下の記事などで既にかなり話題になっていますが、ぼくも触ってみました(使い方などの詳細はこちらの記事を参照してください)。 結論としては、マジすごくてかなり衝撃的です。すべてのホワイトカラーワーカーにとって、かなりディスラプティブなツールになるのではないでしょうか。 自分はコンサルタントでして、これまでにたくさんの資料を作ってきてスキルを磨いてきたつもりだったので、AIポン出しでここまでのものが出てきてしまうと、正直、人生について考えさせられちゃいますね。 この記事では、Napkinを使ってどういう資料ができたのか共有したいと思います。 ポストモーテムの勉強会をしたいなと思っていたので、まずはChatGPTで資料の骨子を出力し、それをNapkinに入力してみました。それで得られたのが、以下の資料です。 スライド1: タイトルスライド タイトル: ポストモーテムの教科書 副題: SREにおけ

こんにちは、Browncatです。 Googleは8月28日、画像生成AIの最新バージョン「Imagen3」をリリースしました。 Imagen3の画像を生成するための同社の画像生成AIサービスが「ImageFX」ですが、このImageFXをしばらく試用しましたので報告します。 Imagen3概要　Imagen3の概要は、Googleの以下のサイト によれば、 以前のモデルに比べプロンプト理解力が大幅に向上。自然な日常言語で書かれたプロンプトも理解するため、複雑なプロンプト・エンジニアリングを行わなくても、必要な出力を簡単に得ることができる 照明と構成が適切で、視覚的に豊かで高品質の画像を生成 テキストレンダリング機能の大幅な改善 データセット内の有害なコンテンツを最小限に抑え、有害な出力の可能性を減らすために、広範なフィルタリングとデータラベル付けを使用 Gemini app and we

https://yans.anlp.jp/entry/yans2024 での講演スライドです。

はじめに こんにちは！ AI エンジニアのヤマゾーです。 近年、生成 AI の進化が目覚ましく、生成 AI を活用したシステムの開発が盛んに行われています。その中で最も有名なテクニックが RAG です。RAG というのは検索拡張生成 (Retrieval Augmented Generation) の略で、質問の関連情報を検索し、質問と関連情報をセットで入力して回答させる技術のことです。 各企業ではこの RAG システムを積極的に導入していますが、ほぼ確実に課題になるのが検索部分の精度です。そして検索精度を上げるためには検索エンジンの知識が必要不可欠です。 本記事では検索エンジンの筆頭サービスである Azure AI Search を題材に、検索エンジンの基本的な仕組みや検索クエリの書き方について初学者向けに解説します。 RAG の検索部分を "Retriever" と呼びますが、この語源

8月6日、OpenAI 社は新機能 Structured Outputs を公開しました。これにより Function calling 等でも確実に出力を構造化できるようになり、プログラムとの連携をより確実に行えます。今回、Pydantic モデルも直接入出力できるようになり可読性、型安全性の向上やバリデーションの自動化等のメリットが得られます。さらに生成テキストのフォーマットを指定するためのプロンプトを減らせるという効果もあります。 chat.completions での利用 from pydantic import BaseModel class CalendarEvent(BaseModel): name: str date: str participants: list[str] completion = client.beta.chat.completions.parse( mo

頼展韜氏プロフィール 會田翔氏プロフィール バンダイナムコ研究所は、バンダイナムコエンターテインメントと協力して配信AIキャラクタープロジェクトを実施しており、「ゴー・ラウンド・ゲーム（ごらんげ）」という企画を進行している。その裏側で、あるいはゲームテキスト素材生成ツールを作る際において、どのようにAIテキスト生成を利用していたか解説が行われた。 ゲーム開発環境においてもAI生成は当たり前に 近年、LLMは目まぐるしい発展をしており、さまざまな領域を含む問題で構成されるベンチマーク「MMLU」において、人間の専門家を超えるスコアを達成しているという。 しかもこれは商用モデルのみならず、MetaのLlamaをはじめとするオープンモデルも性能差が縮まってきているという。ゆえに、ゲーム開発においても応用が効くわけだ。 ゲーム内のテキスト生成という分野においては、 『ダンジョンズ＆ドラゴンズ』のゲ

ITエンジニアがLLMベースの生成AIを使いこなせるようになることを目指した本です。 まずはLLMの仕組みの理解してメンタルモデルを構築し、次に代表的なプロンプトエンジニアリング手法を学ぶことで基礎を固めます。 最後に、ITエンジニアならではのプロンプトテクニックを紹介しますので、応用力を身につけましょう。

自分が思う最強の(かつ貧者の)構成を目指したログ。流行りの技術選定ってやつしたかった。 結論だけ言うと、まだ綺麗ではないが現実的に動く。動かし方を理解してないと事故る、かも。 この記事は自分がたどり着いた結論を順を追って記述するが、自分にとって自明な場所の差分を記録してないので、コードをなぞるより変更意図を追って各々自分で組み立てる、ということを推奨する。 動いてるリポジトリはここ。ただこの記事の説明を読まないと、その意図が伝わらない。 追記 20240829: DATABASE_URL で Connection Pool を有効にするのに ?pgbouncer=true を追加 https://supabase.com/partners/integrations/prisma このスタックの意図 Remix on cloudflare-pages コストとパフォーマンスを両立できる、20

はじめに 背景と課題 システム概要 ワークフローの詳細 動画文字起こし (Gemini, GPT-4o) 文字起こしの議題単位の分割 (Claude 3.5 Sonnet) 議題単位での要約作成 (Claude 3.5 Sonnet, GPT-4o) 出力 実装上の工夫と課題 結果と今後の展望 おわりに はじめに こんにちは。enechainで統計・機械学習モデルの構築やLLM（大規模言語モデル）の活用推進を担当している@udon_tempuraです。 近年、GoogleのGeminiなど生成AIの発展が目覚ましく、多くの企業がこれらの技術を業務に取り入れようとしています。 私たちenechainも例外ではなく、積極的にLLMの活用を進めています。 今回はその活用例の1つとして、複数のLLMを使い分けて構築した「会議動画の要約作成ワークフロー」についてご紹介します。 このワークフローでは会

Connected Papers is a visual tool to help researchers and applied scientists find academic papers relevant to their field of work.

こんにちは。PharmaXの上野（@ueeeeniki）です。 PharmaXでは、YOJOというサービスで複数のLLMエージェントを組み合わせたマルチエージェントの構成でチャットボットシステムを構築しています。 本日は、そんなPharmaXのLLMプロダクト開発で学んだエージェント設計の原則をまとめてみたいと思います。 これまでLLMプロダクト開発に関する知見を様々なところで公開してきました。 YOJOのマルチエージェントの仕組みは下記の記事をご覧いただければと思います。 LLMアプリケーションのアーキテクチャについてまとめた資料もあります。 このあたりで、エージェントの設計のコツを一度まとめて置こうという意図です。 LLMエージェント設計原則まとめ PharmaXで培ったLLMエージェントの設計原則をまとめると以下のようになります。 RAGは本当に必要な時のみ使う エージェントがこなす

突然ですが、みなさんLLMのファインチューニングしていますか？ 個人的な感想かもしれませんが、ファインチューニングは、幻滅期に入っているように感じています。 GPT-3.5 Turboのファインチューニングが発表されて以降、ファインチューニングしても思ったような出力をしてくれないので、ファインチューニングに期待しないという意見がちらほら聞こえてきました。 ファインチューニングするぐらいなら、Few-shotなどのプロンプトエンジニアリング技法を駆使した方が、結果的には求めている出力をしてくれると考えている方も多かったのではないでしょうか。 正直、私自身もそうでした。 ファインチューニングは、データセットを準備するのも大変ですし、正直コスパがよくないなと感じていました。 実際、プロンプトのチューニングは高速でPDCAを回せるので、ファインチューニングを反復するよりも遥かに高速なフェードバック

０：ControlNetとは　ControlNet(コントロールネット)とは画像などを下地にしてポーズや構図、画像の雰囲気を抽出し、画像の生成時に参照する仕組みです。この時利用する仕組みのことをプリプロセッサ(preprocessor)といいます。 下の画像は人間を棒人間のような線で抽出するopenposeの例です。このようにポーズをまねたりすることができます。 コントロールネットopenposeの例１：コントロールネットの導入　まずは、SDWebUIから「拡張機能」を選択して「URLからインストール」を選択してください。「拡張機能のリポジトリのURL」に以下のURLをコピー＆ペーストしてください。あとはインストールを押すだけです。 https://github.com/Mikubill/sd-webui-controlnet インストールが完了したら「インストール済み」タブに戻って「適用