はてなブックマーク

ターミナルに langfuse-server-1 | ✓ Ready in XXXXms といった表示がされたら無事に起動しています。ChromeなどのWebブラウザを立ち上げて、localhost:3000 にHTTPでアクセスしてみましょう。 最初に自分用のユーザー、Organization（組織）、Projectを作成しましょう。名前は好きな文字列で大丈夫です。 RAGアプリをLangfuseで監視してみる シンプルなRAGアプリをLangChainで記述し、実行結果をLangfuseに表示してみましょう。 先ほどのLangfuseとは全く別の場所で大丈夫なので、以下のPythonファイルを作成してみます。 # 必要なライブラリのインポート import os from dotenv import load_dotenv from langchain_core.prompts imp

RAG評価の定番ツール「Ragas」とは？ みなさん、生成AIでアプリ作ってますか？ そろそろRAGを使ったチャットボットみたいなPoCはやり飽きてきた方も多いのではないでしょうか。 PoCから本番運用へ移行するためには、RAGを使ったテキスト生成結果がユーザーにとって価値ある品質になっているか、「評価」をうまく行う必要があります。 様々な生成結果を実際のユーザーに評価してもらえるなら最高ですが、膨大なパターンを検証したり、アプリや参照データの日々の変化に追従して試験し続けるのは人力だと辛いものがあります。そこで有用なツールが「Ragas」です。 Ragasは簡単に言うと、Python言語用のライブラリです。GitHub上でコードが公開されており、誰でも無料で試すことができます。 Ragasの思想とできること Ragasでは「メトリクス駆動開発」というコンセプトのもと、LLMアプリの性能評

GraphRAGとは？ Microsoft社が、以前から提唱していたRAGの新しいアプローチ「GraphRAG」のサンプル実装を7月にGitHubで公開したことから、LLM界隈で一気に話題となりました。 従来のRAGは、検索対象のドキュメントを埋め込み（ベクトル）に変換しておくことで、検索クエリーと意味的に近いかたまり（チャンク）を数学的な計算によって探し当てて持ってくる手法でした。 これに対してGraphRAGでは、検索対象のドキュメントを埋め込みではなく「グラフ」として保存する手法です。これによって、従来のRAGでは検索精度がイマイチだったユースケースでも精度が改善することがあります。 グラフとは？ グラフといえば、Excelなどでデータを可視化するアレを思い浮かべる方も多いでしょう。GraphRAGで扱うのはそれではなく、数学の世界でいう「グラフ理論」のグラフです。ノード（節点）とエ

TeamsやSlackから簡単にBedrockを呼べるように！ 今週9/17のAWSアップデートで、AWS ChatbotというサービスからAmazon Bedrockのエージェントを簡単に呼び出せるようになりました。 公式ドキュメントはこちらです。 今回は多くの会社員が利用しているであろうMicrosoft Teamsから使える、Bedrockの生成AIチャットボットをノーコードで開発する手順を紹介します。 30分もあれば簡単にできます！ ※Teamsではなく、Slackから使いたい方は以下の森田さん記事を参照ください！ 1. Teams環境の準備 Teamsには家庭用と法人用の2種類あり、ややこしいですが別サービスとなっています。 今回は会社用Teamsを想定した検証のため、Teams Essentialsを無料試用してみました。 この記事は会社でTeamsを利用されている読者を想定し

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ついに「生成AIコーディング」の本が出た！ 今週9/17(木)、技術評論社より以下の書籍が発売予定です。 コード×AI ーソフトウェア開発者のための生成AI実践入門 服部佑樹 著 大変ありがたいことに、こちらの書籍を発売前にご恵贈（献本）いただきましたので、簡単ですが宇宙最速で書評をアウトプットさせていただきます！ この本について 最近はGitHub Copilotをはじめ、プログラミングを支援する生成AIサービスが普及してきました。 本書はGitHub JapanにてCustomer Success Architectとして活躍されて

11/3更新：ここ1ヶ月ほど、DuckDuckGo APIの不具合？によりレートリミットエラーが発生していましたが、当該ライブラリを最新化することで解消されることが確認できました。 この事象に該当する方は、エラー発生時にWeb検索LambdaのCloudWatchログを見ると、202エラーが発生しているはずです。その場合、Lambdaレイヤーをもう一度作成すれば、最新のDuckDuckGoライブラリが取得されるため、それをWeb検索Lambdaに設定しなおせばOKです。これからハンズオンを新たに実施される方は問題ありません。 この記事は何？ 先日公開した以下ハンズオンが大変好評だったので、今回はバリエーション版を作成しました。 GoogleスライドではなくPowerPoint資料を作成するようにアレンジしています。 MS Officeを普段使いしている会社で、より実務に活かしやすくなります

この記事は何？ 生成AIブームは終わりが見えませんが、そろそろRAGは十分試したよという方も多いのではないでしょうか。次のトレンドと目されているのが、人間の代わりに自動で仕事してくれる「AIエージェント」です。 AWSクラウドの生成AIサービス「Amazon Bedrock」には、そんなエージェントを簡単に作れるマネージドサービス 「Agents for Amazon Bedrock」 という機能があります。 これを使えば、難しいPythonのコードをたくさん書かなくても、AWSのマネジメントコンソールでGUIをポチポチやるだけで賢いエージェントが作れてしまいます。 今回作るアプリ ユーザーが「xxxについて資料にまとめて」と依頼すると、 Web検索して情報を集める Googleスライドで資料を作成する 作成したスライドURLをユーザーにメールで送る という流れを自動でやってくれます。 不

LangGraphとは？ LLMで「AIエージェント」を開発するための便利なライブラリがLangGraphです。 LLMアプリ開発のフレームワークで有名なLangChain社が開発しています。 LangChainだけを使ってAIエージェントを作ることももちろんできますが、LLMの推論に基づいて行動を計画させる場合、なかなか思いどおりに動いてくれない場合は多々あります。 これを解決するのがLangGraphで、エージェントの動作をグラフ（点と線の組み合わせ）で定義することができます。 グラフって何？ 「グラフ理論」のグラフです。クラスメソッドさんの以下記事が概要を掴みやすいです。 公式ハンズオンをAWSでやってみよう LangGraphの公式ページにサンプルコードやチュートリアルがいくつも掲載されているのですが、OpenAIやAnthropicのAPIをそのまま使う例となっています。 日本の

この記事は何？ 最近、生成AIブームで「Pythonの簡単なチャットアプリを作ってみる」機会が増えたのではないでしょうか。 特に、Streamlitという便利なライブラリを使えば、Reactなどが書けなくても簡単にフロントエンドをPythonで作ることができます。 開発端末のローカルやCloud9などでこれを動かすのは簡単なのですが、いざ他の人にも使ってもらおうとするとクラウド上にデプロイする必要があります。 しかし、アプリをコンテナに固めてAWSにデプロイ！ といった王道の作業をGUIで分かりやすく解説する記事が意外と少なかったので、初心者向けハンズオンとしてまとめてみます。 ハンズオンの概要 作成するアーキテクチャ 作業環境 端末：Macbook（Appleシリコン） ブラウザ：Google Chrome コードエディター：VS Code Python：3.9以降のバージョン 注意事項

ついに最新のClaudeが東京リージョンに来た！ Amazon Bedrockの生成AIモデルの一つ「Claude」シリーズの最新バージョンが、AWS東京リージョンで提供開始されました 🎉 先月のAWS Summit Japanで7月のローンチが予告されて以来、首を長くして待っていた方も多いのではないでしょうか。無事に7月37日に来ましたね！ 上記アナウンスではClaude 3という言及のみでしたが、実際には以下のモデルが利用可能となりました。 Claude 3.5 Sonnet Claude 3 Haiku 東京リージョンと併せて、以下の3リージョンでもリリースされています。 オレゴン（Claude 3.5追加） フランクフルト（Claude 3.5追加） シンガポール（Claude 3.5、Claude 3 Haiku追加） ※Gated（特別な利用申請が必要なリージョン） そもそも

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景 2024年7月29日、日本時間20時ごろからAWS Cloud9の新規利用に制限がかかるようになりました。 新規作成したAWSアカウントや、これまでCloud9を利用していなかったAWSアカウントで、Cloud9コンソールにアクセスできなくなっている模様 AWS Organizations配下に作成した新規AWSアカウントも同様の状況 当初、本件に関するAWSからの公式アナウンスはなく、数日前から「Cloud9から類似環境への移行方法」を紹介する意味深なブログが投稿されていたのみでした。 そして7/31にようやく、AWSのチーフエ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ついにGenAI on AWSの日本語版が！ IT技術書で有名なオライリー社より、新刊「AWSではじめる生成AI」が来週8/2に出版されます。すでに予約可能。 AWSではじめる生成AI Chris Fregly、Antje Barth、Shelbee Eigenbrode　著、久富木 隆一　訳、本橋 和貴、久保 隆宏　技術監修 これは昨年11月に刊行された同社の洋書「Generative AI on AWS」の日本語版となります。 原著はAWSの米国拠点で生成AIを担当する3名のエキスパートによる書籍です。AntjeさんはAmazon

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Cohereの最新リランク用モデルが登場！ 生成AIで有名なCohere社から、リランク用途の最新モデル「Rerank 3 Nimble」がリリースされました。英語版と多言語版が用意されています。 ※ちなみにNimbleは「機敏な」という意味で、Turbo的な命名と捉えておけばよさそうです。 クラウドではAWSのみ対応。SageMaker JumpStartから利用可能です。 リランクって何だっけ？ 生成AIでよく行われる「社内文書検索」などのユースケースを実現するRAG（Retrieval-Augmented Generation）ア

日本時間のけさ7/24未明、Meta社からオープンな生成AIモデルLlamaの最新版3.1シリーズがリリースされました。 Llama 3.1の特徴まとめ Llama 3に無かった405B（4,050億）という巨大なパラメーターのラインナップがある 対応言語は英語を含む8言語（日本語は含まれず） コンテキストウィンドウは128K ライセンス規約が変更され、条件付きで他社モデルの学習用途にも利用可能となった Claude 3.5 SonnetやGPT-4oなど最先端の商用LLMと互角のベンチマーク結果を出しているとのこと。 詳細な評価を紹介した論文も同時に公開されています。 AWSからも利用可能！ AWSで生成AIモデルをサーバーレスに利用できるサービス「Amazon Bedrock」でも早速、Llama 3.1シリーズが利用可能となりました。 オレゴンリージョンのみ対応 405Bモデルはプレ

自社の新卒メンバー向け研修コンテンツの一部となります。 特に隠す内容もないので公開します。（口頭フォロー前提のため、記載荒い点はご容赦ください） これは何？ アジャイル開発の会社における、エンジニア＆デザイナー共通の新卒研修、うち技術各論編の一つ「生成AI」テーマのハンズオンパートの教材です このハンズオンの前段に講義編があります 2hぐらいで実施する想定 受講メンバーはオンサイトでペアを組み、相互フォローしながら実施してもらいます 1. プロンプトエンジニアリング（20分） 目的 自然言語のプロンプトだけで、どこまで生成AIへ高度な仕事を任せられるかを学ぶ ハンズオン ChatGPTを利用 以下を抜粋して実施 Zero-shot

Llama 3ベースの日本語LLMが登場！ なんと、日本語LLMで有名なELYZA（イライザ）社が、Llama 3ベースの新モデルを発表しました！ パラメーターサイズが2種類あり、70B版は同社のデモアプリ経由で使用可能。日本語性能ではGPT-4超えとの触れ込みです。 一方、軽量な8B版はHugging Faceで公開されています。こちらはGPT-3.5 Turbo相当の性能とのこと。 今回は後者の8B版をクローンして、AWSでサーバーレス化してみます。 AWSのBedrockにインポートしてみる クラウドサービスAWSの「Amazon Bedrock」には、任意のモデルをインポートして使える「カスタムモデルインポート」という新機能があります。（プレビュー中） これを利用すれば、ELYZAのモデルをなんとサーバーレスなAPIとして利用することができます。早速試してみましょう。 実施手順は鯨

Claude 3.5 Sonnetが出現!? Anthropic社の生成AIモデル「Claude」の最新版、Claude 3.5 Sonnetが登場しました。 有名なOpenAI社の最新モデル「GPT-4o」を上回る性能が計測されているようです。 Claude 3.5の特徴 もともと旧世代のClaude 3には性能順に、Opus > Sonnet > Haikuの3つのモデルラインナップがありました。今回はバージョンアップ版のClaude 3.5のうち、中位モデルのSonnetのみが先行リリースされています。 （画像：Anthropic公式サイトより引用） 旧世代の最高性能だったClaude 3 Opusや、他社の最新LLMとの比較が以下です。 Claude 3 Opusと比べてスピードが2倍に 料金はClaude 3 Sonnetと同等（つまりOpusの5分の１） 複数のベンチマークで競

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS認定 is 何？ 人気のクラウドサービス「アマゾンウェブサービス」が提供している認定資格試験です。パソコンで実施するタイプの選択式テストとなります。 時流に応じて資格数は増減しています。だいたい10件ちょいです。 2023年度：12資格 2024年度：10資格（→また12に増える予定） 何をやったの？ 昨年末、急に思い立って認定資格を2ヶ月でコンプ（全冠）しました。 すいません、ちょっと盛りました。登竜門の「SAA（ソリューションアーキテクト アソシエイト）」だけは3年前に取っていました。 残りは週に1〜2件のペースで取得していた

Difyって何？ 少し前から話題の、プログラミングなしで生成AIアプリケーションを開発できるOSSです。 「Dify すごい」 でSNSを検索すると、驚き屋さんがみんな驚いています。このゴールデンウィークはAmazon BedrockとDifyの話題でもちきりでしたね。 元々は「GPTビルダーのOSS版ね。はい解散」という感じだったのですが、最近追加された「ワークフロー」機能がすごく便利のようです。 ちょっとしたアプリなら、ローコードで簡単に作れてしまうとのこと。 最近は自分でPCやサーバー準備して動かさなくても、SaaS版が公式から準備されたようです。無料プランもあります。 やってみた サインアップ 公式サイト右上の「Get Started」からサインアップします。 GitHub連携すると、いきなり開発画面に辿り着きました！いいUX。 「（いち？）から作成」よりワークフローを作ってみまし

Claude 3 Opus、ずっと待ってました！ AWSの生成AIサービス、Amazon Bedrock。 多数の生成AIモデルがAPIとして利用できますが、テキスト生成で非常に高性能なのがAnthropic社のClaude 3シリーズです。 OpenAI社のGPT-4シリーズと日々、追いつけ追い越せを続けています。 Claude 3登場後、3モデルあるうち最上位の Opus モデルだけはなかなかBedrockにリリースされませんでしたが、ついに先ほどオレゴンリージョンに出現したようです！ まだAWS公式リリースはないですが、近日中にWhat's New等でアナウンスされるものと思われます。 ※今回も宇宙最速の発見者はひるたさんでした。いつもありがとうございます🙌 そもそもBedrockって何だっけ？ こちらの資料で紹介していますのでご覧ください！ なお、凄腕Bedrockerの @he

ちなみにOpusはクラシック音楽の「楽曲番号」、Sonnetは「定型詩」、俳句は言わずもがなということで、Claudeという名前よろしくなんだかオシャレでハイソな感じの命名ですね。 複数のベンチマークでGPT-4を上回る賢さ （出典：Anthropic公式サイトより） レスポンスが速い Opus：Claude 2.1と同等速度を維持 Sonnet：Claude 2.1の2倍速い Haiku：チャートやグラフ入りの論文（約1万トークン）を3秒以内に読める 「答えられません」が減った 安全機構（ガードレール）に近い微妙な回答でも、なるべく応答を拒絶しなくなったようです。 回答精度がアップ Opusモデルの場合、自由形式の質問への回答精度がClaude 2.1の2倍の精度に向上したようです。 大量の入力に対応 コンテキストウィンドウは旧モデル同様20万トークンですが、キャパ的には100万トークン

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? そんな声をたまにXのタイムラインで見かけるのでご紹介します。 JAWS-UGとは？ AWS User Group - Japanの略で、米アマゾンが提供するクラウドサービスAWSを利用している人々によるユーザーコミュニティです。 あくまで利用者主導なのがミソで、本家AWSもサポートをしてくれますが「公式セミナー」等とは性質が異なります。 具体的に何やってるの？ 基本的には「AWS勉強会の開催」です。毎週、何かしらの勉強会があります。 日本全国でオフライン勉強会の開催。オンラインやハイブリッドも多い AWS利用の知見を持ち寄って発表しあっ