Google AI Studioでモデルをチューニングしてみる - Qiita
はじめに 企業での生成AI活用では、GPT-4などのLLMをそのまま利用するのみではなく、企業内の様々なナレッジや特定ドメインの追加情報を活用したいという要望がほとんどです。その場合の方法として、RAG(Retrieval-Augmented Generation) とファインチューニングという選択肢があると思いますが、ファインチューニングに関しては機械学習やプロンプトエンジニアリングに関する専門知識が無いと太刀打ちできない、ということでまずはRAGに取り組んでいる事例が多いと思います。 一方、RAGの精度に関しては課題も多く、Vector検索のみではなくハイブリッド検索を試す、ナレッジグラフを使う、クエリ拡張を行う、など様々な手法で精度向上に取り組んでいることかと思います。 ファインチューニングに関しても、今やる必要は無いと思っていたところ、各社機械学習の専門家でなくてもノーコードでモデ
【AWS】Difyっぽい？Bedrockの新機能を試してみた【Prompt flows】｜カズヤ弟＠ゲーム実況＆生成AI
■記事の対象ユーザ １．AWSアカウントを持っている人 ２．Bedrockで使えるようになったDifyみたいなツール（Prompt flows）が気になる人 ３．AWSの課金に抵抗がない人 ４．Pythonの環境がすぐ用意できる人（API叩く検証で使うので） なんちゃってAWSアーキテクトアソシエイトの■ようするに？ 2024年7月11日に発表されたBedrockの新機能「Prompt flows」を使ってフローを作り、ローカルPC上からPythonでAPI使ってアクセスするところまでを試していくよ。 ０．はじめにBedrockに新機能！Difyみたいなノーコードアプリ開発ツールが付いてきた！ 早い方は発表その日のうち（！？）に記事を書かれていて私も参考にさせて貰っていたんですが、AWSビギナーすぎてちょっと試すのにも時間がかかってしまったので今回は備忘も兼ねて少し詳しめに手順を残しておこ
OpenAIがJSON出力の際に100％の精度で特定のスキーマに従わせる機能をリリース
AIにデータを構造化させる際に、指定したスキーマに確実に従わせることが可能なモードをOpenAIがリリースしました。 Introducing Structured Outputs in the API | OpenAI https://openai.com/index/introducing-structured-outputs-in-the-api/ 構造化されていないデータを読み取り、構造化されたデータを出力するのはAIの主要なユースケースの一つです。これまでもOpenAIのAPIでは「JSONモード」という設定が存在しており、指定した構造を持つJSONをAIに出力させることが可能でしたが、必ずしも指定した構造通りのデータが出力されるとは限りませんでした。 今回リリースされた「gpt-4o-2024-08-06」モデルでは、strictを「true」に設定することで100％の精度で指定
“新卒エンジニア向け”生成AI研修の教材、KDDI子会社が無償公開中 計2時間の体験型学習向け
KDDIグループでアジャイル開発事業を行うKDDIアジャイル開発センター（東京都港区、以下KAG）は7月23日、同社の新卒エンジニア向けに実施した生成AI研修の教材を無償公開した。体験型学習として、プロンプトエンジニアリングやRAG、API利用などの項目の研修メニューを紹介。計2時間程度の研修として想定した内容だという。 全研修メニューは「プロンプトエンジニアリング」（20分）、「いろいろな生成AIアプリを試す」（20分）、「API利用」（20分）、「RAG」（30分）、「AIエージェント」（30分）の5項目。エンジニアとデザイナー共通の体験型新卒研修として実施した。KAGでは事前に講義も実施し、実際の研修では受講者にペアを組ませ、相互フォローさせる形で行ったという。 プロンプトエンジニアリングでは「ChatGPT」を使用。いろいろな生成AIを試す際には、「Claude.ai」や「Perp
[ChatGPT] APIドキュメントを学習させたAIでkintone開発効率⇧⇧⇧｜M橋D輔
こんにちは、キン担ラボの本橋です。 あおり気味のタイトルです最近お気に入りの開発環境、cursorについて紹介します。kintoneカスタマイズ開発にも大活躍してくれます。 学習させたAIという言い方ですが、学習というよりは「文書検索+AI回答」ですね。kintone hackではcursorと似たような…は言いすぎなのでトバグチくらいのことをやってました。 さて、cursorを使うとkintoneカスタマイズ開発でこんなコトをしてくれますという事例から入ってみたいと思います。 手順だけ知りたい方は『APIドキュメントをcursorに登録する手順』まで飛んでください。 『フィールドの表示非表示を切り替えたい』と質問するとサンプルコード付きで教えてくれるcursorで開発をしていたあなたはAPIの呼び出し方を調べたくなり、CTRL+Lでチャットを開きました。そして以下のような質問をします。（
![[ChatGPT] APIドキュメントを学習させたAIでkintone開発効率⇧⇧⇧｜M橋D輔](https://cdn-ak-scissors.b.st-hatena.com/image/square/b549c1e766571e8f1f12ddf8f4cc2a40bd9beb57/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F132100307%2Frectangle_large_type_2_513d9afde3d25f7e2b9a048df887e0ff.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
AWS Summit New York 2024での生成AI関連の新発表まとめメモ - Qiita
はじめに 現地時間 2024/7/10 に開催されている AWS Summit New York 2024 で多くの生成 AI 関連のアップデートが発表されました。 以下の公式ブログに随時発表が更新されていくようですが、本記事では基調講演などでの発表も踏まえて日本語で概要をまとめています。 Amazon Bedrock 関連 Claude 3 Haiku のファインチューニングが可能に (Preview) これまで Bedrock でファインチューニング可能なモデルは Titan や Cohere Command、Llama 2 のみだったが、Claude 3 Haiku が対象に追加された プレビュー時点ではオレゴンリージョンのみをサポート プレビュー利用を開始するにはアカウントチームまたは AWS サポートにコンタクトする必要がある ナレッジベースが追加のデータソースをサポート (pr
RAG vs ファインチューニング（コーディング性能で比較）
はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、「RAG vs ファインチューニング」について、DSL（ドメイン固有言語）をコーディングする性能という観点から比較した論文を、ざっくりまとめます。 この記事は何 この記事は、RAG vs ファインチューニングに関する論文[1]を、日本語で簡単にまとめたものです。 「RAG vs ファインチューニング」の論文は、他にもあります。例えば、時事問題などのシンプルな知識の質疑応答であれば、RAGの方が優れています。[2] 今回の論文では、「ドメイン固有言語（DSL）をコーディングする性能」をに焦点を当てて比較しています。一見するとファインチューニングの方が有利そうなタスクについて比較しているのが面白い点です。 本題 ざっくりサマリー この論文では、RAGとファインチューニングの性能比較を
Google AI Studioを使ってみる
こんにちわ。 GMO NIKKOのT.Mです。 Google AI Studioとは Google AI Studioは、GoogleのAIモデルであるGeminiを使ってプロンプトの検証やモデルのチューニングなどが行える開発ツールです。Gemini APIのAPIキーの取得もできます。 Google AI Studioの始め方 Googleアカウントがあれば始められます。 企業などでGoogle Workspaceを使っている場合は、「早期アクセスアプリ」を有効にする必要がありました。システム管理者に相談してみましょう。 Google AI Studioの起動 Google AI Studioの公式ページから「Google AI Studioにログイン」ボタンを押せば、画面が開きます。 ログインするとGoogle AI Studioが開きます。 クイックスタート クイックスタートのドキュ
自分好みのAIチャット相手を簡単に作れる「Dify」が面白い (1/4)
生成AI界隈で話題になっているAIサービス「Dify.AI」がなかなか面白いですよ。Dify.AIは、スタートアップの米LangGeniusが用意している大規模言語モデル（LLM）用のWebUI環境を利用して、いろいろなシステムを組み込むことで、プログラムを書くことなく簡単にチャットbotなどのネイティブAIアプリを開発できるサービスです。 Difyは大きく「チャットボット」、「エージェント」、「ワークフロー」の３つの機能に分かれており、簡単なチャットボットから、複数のLLMを組み合わせた複雑な動作をさせるように設計するものまで、多様なアプリを開発することが可能です。ChatGPTから、Claude 3、Geminiなどの主要なLLMをAPIから呼び出すことができるので、それらを組み合わせてサービスを作ることも可能です。例えばOpenAIのAPIキーを生成してDifyに入力すると「GPT-
「Amazon Q Business」正式リリース。MS365やS3などの社内の情報源と接続、会社の経営情報から有給休暇の残りまでチャットAIが答えてくれる
「Amazon Q Business」正式リリース。MS365やS3などの社内の情報源と接続、会社の経営情報から有給休暇の残りまでチャットAIが答えてくれる Amazon Web Servicesは、新たなAIサービス「Amazon Q Business」の正式リリースを発表しました。 Amazon Q Businessは企業向けのAIサービスで、Amazon S3やAmazon RDS、Amazon Auroraを始めとするAWSのサービスやMicrosoft 365、Salesforce、Dropbox、Google Drive、Gmailなどのさまざまな社内の情報源と接続可能です。 サードパーティのアプリケーションにAPI経由で接続するカスタムプラグインの構築が可能になります。これにより、ユーザーは自然言語のプロンプトを使用して、Amazon Q BusinessからAPIを通じてサ
ChatGPTの Assistants API でPDFを要約 - Taste of Tech Topics
こんにちは、安部です。 最近急に、暖かさを通り越して暑いぐらいになってきましたが、皆さまいかがお過ごしでしょうか。 季節外れかなとも思いつつ、もう半袖で過ごしたいくらいの気候ですね。 さて、今回は、OpenAIのAssistants APIの使い方を紹介していきます。 題材は「PDFを和訳して要約してもらう」としました。 これはWeb版のChatGPTでも単にPDFファイルを添付して依頼すればできますが、APIの使い方を示すサンプルとしてはちょうどよいと思います。 最新情報については以下の公式ドキュメントをご覧ください。 https://platform.openai.com/docs/assistants/overview https://platform.openai.com/docs/api-reference/assistants それでは早速、Assistants APIの使い方
GPT-4レベルの衝撃 PC内で使えるオープンLLM「Command R+」
カナダのAIスタートアップCohereは4月4日（現地時間）、ビジネス向けに最適化された最新の大規模言語モデル（LLM）「Command R+」を発表した。 高度なRAG技術を採用 Cohereは、AI業界に変革をもたらしたTransformerモデルを提唱した論文「Attention is All You Need」の共同執筆者として知られるトロント大学の研究者Aidan Gomez氏らによって2019年に設立されたカナダのAIスタートアップ。 OpenAIと同様、LLMの開発に特化しており、企業向けにチャットボット、検索エンジンの最適化、要約サービス、自社AIモデルのAPIなどを提供している。 Command R+は、同社が3月に発表した「Command R」の後継となるモデルであり、Cohereが得意とする高い効率性と精度のバランスを重視したRシリーズの一部となる。 128K（12万
Numpyが18年ぶりのメジャーアップデート！ 改善点、変更点まとめ - Qiita
NumPy 2.0.0の主要な変更点 皆さんもお世話になっているであろう科学計算ライブラリNumPyが、2006年以降初めてのメジャーアップデートを発表しました。そこで、変更点をざっくりとまとめてみました。以下は変更点の一部であり、それ以外については実際のドキュメントを参照してください。 免責事項：この記事は、NumPy 2.0.0の変更点について個人的な見解を述べたものであり、NumPyの開発チームや関係者の公式な見解を代表するものではありません。変更点の影響や対応方法については、必ず公式のリリースノートと移行ガイドを参照してください。また、この記事には不正確な情報が含まれている可能性があります。記事の内容を実際のプロジェクトに適用する前に、必ず公式ドキュメントで情報を確認してください。 概要 2006年以来の最初のメジャーリリース 破壊的な変更あり 多くの新機能とPython/C AP
【GPT-4の全てを凌駕】SNSでも超絶話題の最強のAI『Claude 3』を徹底解説《使い方＋プロンプト付き活用事例10選》※実務で使えるプロンプト集63選も紹介｜チャエン | 重要AIニュースを毎日発信⚡️
「Claude」シリーズの最新進化版である「Claude 3」は、異なる特性を持つ3つのモデルファミリーで構成されています。企業のユースケースに最適なスピードとパフォーマンスの組み合わせを、市場に出回っている他のモデルよりも低価格で提供しているのが特徴の一つです。 OpusとSonnetは現在、claude.aiと159カ国で一般利用可能なClaude APIで利用可能です。Haikuは近日中に利用可能になる予定です。 また、GPT-4Vのような画像認識能力も新たに搭載されました。 Claudeの4つの能力高度な推論：単純なパターン認識やテキスト生成を超えた複雑な認知タスクを実行できる。 視覚分析：手書きのメモやグラフから写真まで、ほとんどすべての静止画像を書き写し、分析する。 コード生成：HTMLとCSSでウェブサイトを作成したり、画像を構造化されたJSONデータに変換したり、複雑なコー
AWS、API経由で生成AIを利用する「Amazon Bedrock」正式リリース。コード生成AIのCodeWhispererのカスタマイズも可能に
AWS、API経由で生成AIを利用する「Amazon Bedrock」正式リリース。コード生成AIのCodeWhispererのカスタマイズも可能に Amazon Web Services（AWS）は、API経由で生成AIなどの基盤モデルが提供される新サービス「Amazon Bedrock」の正式リリースを発表しました。 生成AIなどを実現する基盤モデルをマネージドサービスとして提供する機能は、Microsoft Azureが「Azure OpenAI」で、Google Cloudが「Vertex AI」で提供しています。Amazon Bedrockはこれら生成AIの本格的な競合サービスといえるでしょう。 Amazon Bedrockが提供する基盤モデルを利用することで、生成AIを用いたテキストの生成やテキストの要約、チャットボット、画像生成、検索、パーソナライズなどの機能を構築できます。
#Slack から #ChatGPT を使うためのアプリを作り込んで公開してみた Party on Slack - Qiita
そういえばQiitaに書いてないなと思いたち、この一ヶ月くらいの取り組みについて紹介します。 何を作ったのか Slackから OpenAI APIを通して ChatGPTを使うためのアプリ 誰でもインストールできるようにしてあります アプリ詳細 GPT Party DeepL Translator TimeLine 以上の3つです。TimeLineだけ、すべての公開チャンネルにjoinする機能と、特定のチャンネルに投稿を転送する機能を有していますが、基本的に全部同じアプリです。 複数アプリをリリースしている理由は後述しますが、アプリ同士で会話を進めるために必要だからです。enjoy! Slackにアプリをインストールする アプリのインストールは以下のURLからどうぞ。 https://lne.st/pt 利用した技術等 API： OpenAI, DeepL, Pinecone の設定が可能
OpenAIが「GPT-4」を一般公開し誰でも利用可能に、ChatGPT内でコードを実行する機能も正式リリース
OpenAIが高性能モデル「GPT-4」のAPIを一般公開しました。また、ChatGPT Plusの会員向けにコード実行プラグイン「Code Interpreter」の一般公開も予告されています。 GPT-4 API general availability and deprecation of older models in the Completions API https://openai.com/blog/gpt-4-api-general-availability GPT-4 API is now available to all paying OpenAI API customers. GPT-3.5 Turbo, DALL·E, and Whisper APIs are also now generally available, and we’re announcing a
OpenAI APIを利用してTerraformから構成図っぽいMermaidを出力してくれるコマンドを作った話
前段 ※社内ブログの内容を個人発信する許可をいただいたためzennでも公開しています。 ChatGPTで話題のOpenAIのモデルは、現在画像の取り扱いはまだ発展途上です。文章から画像を作るAPIや画像入力が検討されていますが、システム運用にクリティカルに使えそうになるのはもう少し待つ必要がありそうです。 そこで現状魅力的に映るのがMermaidです[1]。 Mermaid（マーメイド）は、テキストベースの記述によってフローチャート、シーケンス図、ガントチャートなどの図を生成するためのツールです。Mermaidは、Markdownやプレーンテキストなどのテキスト形式で図を記述し、それを自動的にグラフィカルな図に変換します。(by Chat-GPT) 画像化はJavascriptで実装されており、現在はgithubのmarkdownプレビューやNotionの専用ブロックなどで利用可能です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Reader API
AWSで生成AI入門！LLMの基本からRAG、Agentまで | ドクセル
