2023/01時点の最新バージョン(Ver.2.0) のものです。 バージョンアップで範囲等は変更されるので、受験時は公式サイトの「試験ガイド」を確認してください。 AWS Certified Machine Learning - Specialty 認定 勉強開始前の状態 AWSで動いているアプリの保守開発/運用の業務を5年程度、現在も継続中。機械学習の経験はゼロ。 AWS認定はこれまで10個取得済み。 AWS認定ソリューションアーキテクトを受験した時の話 AWS認定デベロッパーアソシエイトを受験した時の話 AWS認定SysOpsアドミニストレーターアソシエイトを受験した時の話 AWS認定ソリューションアーキテクトプロフェッショナルを受験した時の話 AWS認定DevOpsエンジニアプロフェッショナルを受験した時の話 AWS認定セキュリティ - 専門知識を受験した時の話 AWS認定データベ

生成AIを企業が使う場合、社内データを使った回答を得るにはファインチューニング、もしくは Retrieval-Augmented Generation (RAG、検索拡張生成) を行う必要があります。 企業では毎日データが更新される中で、ファインチューニングを頻繁に行うのはコスト高で現実的ではありません。 そこでRAGを使った方法が注目されています。 ということで、今回は以下の組み合わせでRAGを試してみました。 生成AI: Cohere Command Vector Database: PostgreSQL (pgvector) 生成AIとVector Databaseの連携: LangChain 将来的にはCohereのサービスがOCIで、Vector DatabaseがOracle Database 23cで提供される予定なので、GAとなった際はこれらを使って試したいと思います。 現

はじめに 新規事業統括部Passregiチームの山本です。 最近、OpenAIのAPIが公開されたこともあり、効率的に情報を見つけ出す手助けをするための方法として、文章や資料に関する質問に回答できるチャットボットが採用されることが増えてきました。チャットボットが回答する際に、単に直接的な答えだけを返答するのでも良いですが、どこの文章を参考にしたか（=リファレンス）も合わせて回答すれば、ユーザは一次情報を読むことができたり、周辺の情報も合わせて見ることができるので、より安心して利用できそうです。 今回は、LlamaIndexでリファレンスした箇所を把握する方法を調べましたので、そのコードを共有します。 (補足) 文章ファイルの内容に関する質問に回答するチャットボット作成するために、ChatGPTなどのAPIのクエリにその文章の内容を入力として加える方法があります。 その際の課題として以下のよ

ドキュメント これまでもArize Phoenixとのトレーシングはできていたが、今後は2つのやり方になる。 これまで使用できていたもの。これは今後は「ローカルモード」になる。 グローバルなコールバックハンドラを設定するだけで、ローカルでArize Phonexが起動し、トレーシングが行われる。 新しく追加されたLlamaTrace (Arize Phoenixのホスティングサービス) グローバルなコールバックハンドラを設定するだけで、LlamaTraceにデータが送信され、トレーシングが行われる。 LlamaTraceのアカウント（≒Arize Platformのアカウント？）登録を行い、APIキーを取得する必要がある。 Arize Platformの料金は以下にあるのけど、LlamaTraceがどういう風になってるのかはちょっとわからない。というかLlamaTraceの運営主体はどっち

今日、私たちは、マルチエージェント・アプリケーションを構築するための新しいイベント駆動型の方法である @llama_index workflowsを紹介できることを嬉しく思う。 各エージェントをイベントをサブスクライブし、イベントをエミットするコンポーネントとしてモデル化することで、複雑なオーケストレーションを、可読性が高く、Pythonicで、バッチ、非同期、ストリーミングを活用できる方法で構築することができる。 グラフ／パイプラインベースのアプローチには限界があった: 私たちは一夜にしてここまでたどり着いたわけではない。 実際、今年の初めにQuery Pipeline抽象化を発表した。これはDAGを使ったLLMオーケストレーションの試みだったが、しかし、より良いものにしようとするうちに、多くの問題に気づいた: ⚠️オーケストレーションがエッジに食い込んでしまい、コードが読めなくなったり

それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質

エゾジニアのつっかーです。 北海道は連日 30 度超え、クーラーがない部屋でリモートワークしててバテバテです。暑さ耐性のない道産子は、まったくやる気がでません。 さて、以下の記事でお伝えした AWS 認定試験の「自宅で受けたら二回目以降無料」キャンペーンが 7/31 で終わりました。 落ちた試験は「9末までなら二回目以降無料」ということで、いくつかの試験にチャレンジしました。結果を記載したいと思います。 筆者スペック事業会社で情シスやってます。AWSは業務で 5 年ほど使ってます。JAWS-UGの勉強会にはちょくちょく参加。エンジニア仲間にはつよつよの AWS ユーザーがたくさんいて、いわばサイヤ人に囲まれたクリリン。資格試験は8年ぶり。 受験戦略落ちれば落ちるほどお得ということで、できるだけ高難度の試験を受けておきたい。とはいえキャンペーン開始時点では無冠でしたので、Associate

小さな6畳の空間を、自分らしくくつろげるカフェスペースに。たくさんのグリーンや、コーヒーマシン、レコードプレーヤーを揃えた、楽しい時間を過ごせる一人暮らしのお部屋を拝見しました。 6畳でつくる、憧れのおうちカフェ GFGFさんが一人暮らしをしていらっしゃるのは、築37年ほどのヴィンテージマンション。2DKで6畳のお部屋が2つという間取りです。 日当たりがよく、ベランダに出たときに見える景色が何より気に入ったというお部屋。ブラウン系の落ち着いたトーンのインテリアでまとめられた、素敵な空間です。 お部屋の中でも最も気に入っているスペースは、デロンギのコーヒーグラインダーとコーヒーマシンが並ぶこちらのカフェスペース。 「お仕事でがんばった記念に購入しました。とにかく見た目がすごくよくて、シルバーが空間を引き締めてくれます」 こちら側の壁には、レコードプレーヤーを置かれたコーナーも。 ポストカード

2025年は生成AI（人工知能）の業務活用がさらに加速する。導入が先行するシステム開発現場では、適用範囲が従来のコーディングから、設計やテスト、運用へと広がる。業務システム領域では、生成AIが社内データを参照するRAG（検索拡張生成）の普及が本格化する一方で、そのライバルも台頭しそうだ。 「エンジニア個人の補助に生成AIが威力を発揮することは証明された。次は組織としての開発生産性を考える段階だ」。生成AIを搭載したソフトウエア開発プラットフォームを手掛けるJiteraの沼田洋太取締役COO（最高執行責任者）はそう語る。 D.Forceの川上明久社長は、システム開発の現場で、ユーザーの指示文（プロンプト）に基づいて生成AIが業務を代行するAIエージェントの導入が進むと予測する。「AIエージェントの活用によって開発やテスト、保守など下流工程ほど生産性が向上する。2025年は導入が本格的に広がる

この記事はインターパークの技術職がお届けする技術ブログです。 元記事：https://www.interpark.co.jp/dev/p0457.htm こんにちは。 システム部の植木です。 第3次AIブーム真っ只中の現在、新しい概念が次々と登場しています。 特にOpenAIの「ChatGPT」はすっかり市民権を得て、今も勢力を拡大しています。 ただ、便利な反面セキュリティ面についても多様な攻撃方法や情報流出も社会的な問題になっています。 そこで、情報ソースを限定して調べて会話が出来るようなシステムをクローズドな環境で構築する事の価値も上がっていると思います。 昨今では「RAG（Retrieval-Augmented Generation）」と呼ばれる技術も出現してきています。 今回は、RAGとローカルLLMを組み合わせて構築し、実際に使えるのかを検証する入門記事を書きました。最後までお付