サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
画力アップ
acro-engineer.hatenablog.com
はじめに こんにちは。10月も半ばを過ぎ、秋らしい空気が広がっていますね。 紅葉が見頃になるのが待ち遠しいです。 AWSエンジニアの小林です。 さて今回は、生成AIアプリの開発プラットフォームとして注目を集めている「 Dify」を扱っていきます。 Difyには、Dify自体が提供するSaaSとは別に、Dockerを利用してセルフホストできる Community Edition があります。 本記事では、Community EditionでDify構築を行っていきます。 docker-compose.yamlを使用してアプリケーションをデプロイする際、デフォルトでデータベースもコンテナとして構築し、管理しています。 これは試験的な開発にはとても便利ですが、アップデートの運用などを考えるとコンテナの停止や削除によるデータ損失リスクなど課題が出てきます。 そこで、安全にDifyをアップデートする
はじめに 10月に入り、やっと秋らしい感じになってきました。 データ分析エンジニアの木介です。 先日、AWS Chatbotの新機能を利用して、BedrockがTeamsやSlackと簡単に連携できるようになったと発表がありました。 今回は、その内容を確認して、BedrockとTeamsを連携する方法について、説明していきます。 aws.amazon.com はじめに 概要 Amazon Bedrockとは? 今回のゴール TeamsへのBedrockを使ったアプリの導入 構築環境 1. Agents for Amazon BedrockでAIエージェントを作成する 2. AWS Chatbotの設定 3. Teamsの設定 使い方 まとめ 概要 Amazon Bedrockとは? Amazon Bedrock は、AWSが提供するマネージドサービスで、開発者が複数の大規模言語モデル(LL
こんにちはイワツカです。 今年の夏は、特に猛暑日が続いていたので、例年にも増して素麺を食べてました。 さて今回は、AWS Lambda(Python)でLambda Web Adapterを用いてレスポンスストリーミングする方法を試してみたので紹介します。 1. 概要 1.1 レスポンスストリーミングとは? 1.2 Lambda Web Adapterとは? 2. アプリ作成 2.1 実行環境 2.2 ディレクトリ構成 2.3 FastAPIの実装 2.4 Streamlitの実装 3. アプリを動かして見る 3.1 チャットアプリをデプロイ 3.2 Streamlitを起動する 3.3 チャットを試してみる 4. まとめ 1. 概要 1.1 レスポンスストリーミングとは? レスポンスストリーミングとは、HTTPリクエストに対してサーバーがレスポンスを一度にまとめて送るのではなく、データを
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。) KDD主催のコンペティションKDDCupで入賞したことより、昨年に引き続き、KDDに参加しましたのでそのレポートを記載させていただきます。 今年はスペイン・バルセロナでの開催だったため、ヨーロッパへ初渡航でした。楽しかったです! 会場写真※昨年のレポートはこちら acro-engineer.hatenablog.com KDD2024 KDDは正式名称、30th ACM SIGKDD CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MININGです。 8月25日(日)〜29日(木)主なテーマとしてデータマイニング
こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交えて解説していきます。 概要 RAGの検索部分では、よくベクトル検索が利用されます。 理由としては、入力が基本的に質問形式になりキーワードで入力されることが多い通常の検索よりも適している、などいくつか考えられます。 ただし、実際にRAGを試してみるとわかりますが、RAGシステムではベクトル検索だけでは検索精度の面で苦労することも多いです。 そこで解決方法の一つとして考えられているのが、ベクトル検索とリランクとの併用になります。 今回は、なぜRAGはベクトル検索だけだと苦労が多
はじめに 9月に入って、少し涼しくなったと思ったら、また、35℃などになる暑い日が続きますね。 データ分析エンジニアとして毎日充実した時間を過ごしている木介です。 今回はGUIで簡単に生成AIアプリを作成できるDifyで作成したAIアプリを簡単にWebアプリに組込む方法について紹介します docs.dify.ai はじめに Difyとは? 概要 今回作成するアプリ Difyを埋め込んだWebアプリの構築方法 利用するツール 構築方法 1. DifyによるAIアプリの構築 2. StreamlitによるDifyを埋め込んだWebアプリの作成 作成したアプリの実行 まとめ Difyとは? 概要 Difyは、生成AIを活用したアプリケーションをGUIで簡単に開発することができるアプリです。 以下のような形で簡単に生成AIを使ったワークフローを作成できます。 詳細な解説については以下の記事を是非参
こんにちは、バックエンドエンジニアの前田です。 先日、以前自分が書いたコードのコメントが何を伝えたいのかがわからず、いかにわかりやすいコメントを書くことが大事かを身に染みて痛感しました。 さて、今回はDifyのアップデートで新規追加された機能「パラレル処理(並列処理)」を触っていきます。 1. 概要 1.1. Difyとは 1.2. Dify v0.8.0の新機能について 2. アプリ作成 2.1. この記事で実現すること 2.2. パラレル処理(並列処理)を用いてLLMを呼び出す 2.3. 各LLMからの回答を比較する 3. 実際にアプリを動かしてみる 4. まとめ 1. 概要 1.1. Difyとは Difyは、大規模言語モデル(LLM)を用いたオープンソースのアプリ開発プラットフォームです。 詳しくは、以下の記事で紹介されているので、参考にしてみてください。 acro-enginee
はじめに こんにちは。ついにジム通いを始めて四六時中筋肉痛を感じながら過ごしているイワツカです。 最近はLLM(大規模言語モデル)とRAG(検索拡張生成)を用いて企業内ドキュメントを活用する取り組みが多く見受けられます。 ドキュメントは基本PDFで保存されているため、PDFからテキストを抽出して、検索対象にすることが必要です。 そこで今回は、PythonでPDFからテキストを抽出するためのライブラリを比較して、どれが良いのか検証しました。 はじめに 概要 実装 PyMuPDF pdfplumber unstructured 比較結果 テキスト抽出 サンプル1のテキスト抽出結果 サンプル2のテキスト抽出結果 表の抽出 サンプル3の表抽出結果 サンプル4の表抽出結果 検証結果 まとめ 概要 今回はPDF読み取りライブラリとして、PyMuPDF、pdfplumber、unstructuredの3
はじめに こんにちは。9月に入りようやく涼しさを感じられるようは日が増えてきましたね。 AWSエンジニアの小林です。 2024年7月にAmazon Web Services (AWS) からプレビュー版として「AWS App Studio」がリリースされました。 このツールは、生成AIを利用したノーコード・ローコードのアプリケーション開発サービスとして注目を集めています。 この記事では、「AWS App Studio」を使用して実際にアプリケーションをノーコードで作成していきます。 aws.amazon.com はじめに AWS App Studioの概要 AWS App Studioの始め方 事前準備 App Studioインスタンスの作成 ノーコードでTODOアプリを作成してみる 作成したアプリに既存AWSリソースを紐づける 作成したアプリケーションのUIをカスタマイズする AWS A
こんにちは、igaです。 8月ももう終わりですが、まだまだ暑い日が続きますね。私は数年前から日傘を使うようになりましたが、晴れた日に外を歩く際、日傘があると少しだけ体感温度がましになるので、夏は日傘が手放せなくなりました。 今回は、AWS Location ServiceをCDKで構築して、地図のスタイルをカスタマイズしてみました。 AWS Location Service AWS Location Serviceとは AWS Location Service(以降、Location Serviceと表記します)はAWSが提供する、地図や位置情報、移動経路などが利用できるサービスです。 aws.amazon.com 今回の内容 今回は、次の2つを実施します。 Location ServiceをCDKで構築して、クライアントで地図を表示する 地図のスタイルをカスタマイズする 地図のスタイルの
はじめに こんにちは一史です。最近自動給水器を買い、ベランダで育てているバジルの水やりを自動化しました。テクノロジーは素晴らしいですね。 さて、AWSにはAmazon DataZoneという組織が蓄積した膨大なデータに対して、データの発見、アクセス制御、管理を簡素化するデータ管理サービスがあります。 データドリブンが重要視される昨今、今回はDataZone上にデータカタログの作成を行ってみます。 はじめに 概要 データレイクとは データカタログとは なぜAmazon DataZoneが必要か(AWS Guleとの違い) Amazon DataZoneとは サービス概要 DataZoneのデータカタログの完成像 Amazon DataZoneでデータカタログを作成してみる 構成概要 データ準備 ドメインとデータポータルの作成 プロジェクトの作成 環境の作成 データカタログの作成 データアセッ
はじめに 夏本番のこの時期、皆様のご様子はいかがでしょうか。新人エンジニアの木介です。暑さにも負けず、毎日一歩一歩成長しています。 今回は先日紹介したPrompt Flows for Amazon Bedrockを使ったAdvanced RAGの実装方法についての紹介を行っていきます。 Prompt flowsを用いることでDifyと同じようにLLMとプロンプトを組み合わせたフローをGUIで作成でき、また、AWS上の各種サービスへ簡単に組み込むことが出来ます。 aws.amazon.com acro-engineer.hatenablog.com はじめに 構築したアーキテクチャ 概要 Prompt Flows for Amazon Bedrockとは Advanced RAGとは Advanced RAGの構築方法 構築するワークフロー 1. クエリ拡張 2. Knowledge Bas
こんにちは、新人エンジニアの前田です。 最近、南海トラフ地震の臨時情報や台風などもあったりして、自衛のための事前準備は欠かせないなと思いました。 さて、今回はDifyを使って複数の大規模言語モデル(LLM)を切り替えるチャットチャットボットを作ってみたいと思います。 なぜ、この内容をやってみようかと思ったかというと、Difyは、複数のLLMを利用できるのですが、 それらは、事前に設定を行って利用するもので、ユーザーが実行時に切り替えて指定ができなかったのですよね。 とはいえ、これもノーコードで実現できるのが、Difyの強みです。 1. 概要 1.1.Difyとは 1.2. この記事で実現すること 2. アプリ作成 2.1. モデルの定義 2.2. モデルの選択 2.3. 変数の集約 3. 作成したアプリを動かしてみる 4. まとめ 1. 概要 1.1.Difyとは Difyは、大規模言語モ
はじめに こんにちは。パリ五輪はバドミントン混合ダブルスの熱いラリーに見入ってしまいました、コバタカです。 ECサイトやカタログなど、商品の画像が必要になる場面は多々ありますが、スタジオで撮影しようとするとコストが嵩んでしまいます。 そんな時に活用できるのが、Amazon Bedrockで提供されているTitan Image Generatorというモデルです。 docs.aws.amazon.com 先日、このモデルの新しいバージョンであるTitan Image Generator G1 v2が発表されており、本記事でもこちらを使用していきます。 aws.amazon.com このモデルには既存の画像の背景を差し替える機能があり、シンプルな製品の画像さえあれば、簡単に背景を整えた画像が用意できてしまいます。 今回はこの背景を差し替える機能について詳しく見ていきたいと思います。 はじめに
こんにちは。タイに来ても日本にある食べ物ばかり食べてしまっている@Ssk1029Takashiです。 この記事はACL2024参加報告記事の後半になります。 前半記事はこちらになります。 acro-engineer.hatenablog.com 後半記事ということで、本会議最終日からWorkshopまでのことを書いていきます。 4日目(本会議最終日) 本会議最終日はSessionも少なめにAwardの発表やClosingがありました。 前半記事と同じく、SessionやPosterについては気になった論文という形で後述します。 Keynote 3 最後のKeynoteでは「Are LLMs Narrowing Our Horizon? Let’s Embrace Variation in NLP!」というタイトルでの発表でした。 この発表では近年LLMが出てから大きなパラダイムシフトがある
こんにちは。タイの気温がほぼ日本と同じでちょっとげんなりしている@Ssk1029Takashiです。 私は自然言語処理の国際学会であるACL2024に参加するため、タイのバンコクに来ています。 2024.aclweb.org 今アクロクエストではRAGを用いたプロダクトを開発しており、LLMを含むNLPの最新の動向を追うためにACLに参加することにしました。 本記事ではTutorialから本会議2日目までの内容を記載していきます。 ACLとは 初日(Tutorial) Watermarking for Large Language Model 2日目(本会議初日) Opening Celemony Keynote1 Session 3日目(本会議2日目) Keynote 2 Social Gala 気になった論文 A Chain-of-Thought Is as Strong as Its
はじめに 夏真っ盛りのこの時期、いかがお過ごしでしょうか。日々の暑さに負けない、新人エンジニアの木介です。 今回は、2024年7月にプレビューとして発表された、「Amazon Bedrock Prompt Flows」を利用して、LLMワークフローを構築してみたいと思います。 aws.amazon.com はじめに Amazon Bedrock Prompt Flowsとは? 1. 概要 2. 連携できるサービス 使い方 1. Prompt flow builderによるフローの構築 フローの構築 Prompt flowsの作成 Nodeの設定 2. 作成したフローを試す 3. APIとしてフローを呼び出す Knowledge Bases for Amazon Bedrockとの連携 まとめ Amazon Bedrock Prompt Flowsとは? 1. 概要 Amazon Bedro
こんにちは、Elastic認定資格3種(※)を保持しているノムラです。 ※Elastic社の公式認定資格(Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer) こちらはAWS編の記事になります。 AWSでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編1 acro-engineer.hatenablog.com 本記事では運用編2としてElastic Cloudにおいて以下を実施する手順を紹介します。 はじめに 1. バージョンアップ 2. 監査ログ設定 まとめ はじめに 本記事では、Elastic Cloud(Elasti
こんにちは、Elastic認定資格3種(※)を保持しているノムラです。 ※Elastic社の公式認定資格(Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer) こちらはAzure編の記事になります。 AzureでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編2 <運用編2 近日公開予定!!> 本記事では運用編1として、Elastic Cloudを運用するにあたり必要な各種設定を実施する手順を紹介します。 はじめに 1. Monitoring設定(Metric/Logs) 2. Snapshot設定 3. 監視設定 まとめ
はじめに こんにちは、イワツカです。 最近は湿度と気温が高く蒸し暑いので海やプールで涼みたいものですね。 さて今回は、OpenAIからChatGPTのExcelデータの分析機能が進化したという発表があったので、OneDrive上のファイルをもとにExcelデータをどのように分析できるのか試してみます。 はじめに 概要 Google Drive・Microsoft OneDriveからのファイル連携 テーブルデータのインタラクティブな操作 この記事で試すこと OneDriveとの連携方法 OneDriveからファイルをアップロードしてみる ChatGPTでデータ分析する アップロードされたExcelのテーブルを見る テーブルをプロンプトから操作 グラフを出力 まとめ 概要 今回、ChatGPTにデータ分析機能の強化として以下2点の新機能が発表されました。 ・OneDrive・Google D
こんにちは。ベランダで育てていたバジルが虫に食べられてしまいました。ハヤトです。 しかし植物の生命力というのはすごいもので、残った茎から再び葉っぱが成長してきています。次はぜひ私が食べたいものです。 さて、成長著しいといえば生成AIアプリ開発の分野はまさに日進月歩ですが、 なかでも「Dify」は、LLMワークフローが特に便利で、注目度が急上昇中です。 今回はそんなDifyとKnowledge bases for Amazon Bedrockを連携させてRAGを構築してみます。 Difyとは? Knowledge bases for Amazon Bedrockとは? 今回作成するチャットボットについて AWS側の設定手順 ナレッジベースの作成 APIの作成 Lambdaの作成 API Gatewayの作成 Dify側の設定手順 カスタムツールの作成 チャットボットの作成 まとめ Difyと
こんにちは、Elastic認定資格3種(※)を保持しているノムラです。 ※Elastic社の公式認定資格(Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer) こちらはAWS編の記事になります。 以下の構築編の記事でElastic Cloudを構築し、Security設定/認証設定を実施しました。 acro-engineer.hatenablog.com 本記事ではElastic Cloudを運用するにあたり、必要な各種設定を実施する手順を紹介します。 はじめに 1. Monitoring設定(Metric/Logs) 2. Snapshot設定 3. 監視設定 まとめ はじめに 以下本記事ではElastic Cloud(Elasticsearch
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。) 最近は GPT-4o や Claude 3 を使ったアプリを、せっせと実装したりしていたのですが、Difyの登場により「もう、これでいいじゃん」という気持ちが抑えきれていません。 今回はそんなDifyを使って、「LLM自体の知識が足りないときにGoogle検索を行って回答するチャットボット」を作ってみました。 Google検索して答えてくれる 1. 概要 1.1. Difyとは 2. 環境構築 3. アプリ作成 3.1. 各ブロックの簡単な説明 4. 動かしてみる 5. まとめ 1. 概要 1.1. Difyとは Difyは、大規模言語モデル(LLM)を活用したアプリ
こんにちは、Elastic認定資格3種(※)を保持しているノムラです。 ※Elastic社の公式認定資格(Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer) Elastic CloudはElastic社が提供しているSaaSサービスで、クラウドプロバイダはAWS、Azure、GCPをサポートしています。 最新バージョンのクラスタ構築や、既存クラスタのバージョンアップを数クリックで実施できるため、導入がお手軽です。 しかし実際に利用するとなると アクセス制限やEntra IDとのSAML連携など、考慮すべきことが多くあります。 意外にハマりどころが多い所だと思うので、手順や注意事項などをまとめてみました。 本記事ではAzure Marketplac
はじめに 昨日の記事に続き、新人エンジニアの木介が、Amazon Q Businness の紹介をしたいと思います。 この記事では、Amazon Q Businnessで、さまざまなデータソースを用いたRAGアプリケーションの作成方法と、guardrailsの機能を利用した回答を適切に制限する方法について紹介をしていきます。 acro-engineer.hatenablog.com はじめに Amazon Q Businessの概要 さまざまなデータソースで作成してみる 1. S3内のデータのQA 2. Webサイトの要約 guardrailsによる回答の制限 まとめ Amazon Q Businessの概要 Amazon Q BusinessとはRAGアプリケーションを各項目を設定するだけで簡単に作成できるサービスであり、その特徴については以下にまとめます。 1. 回答に利用された情報源
はじめに 7月に入り、急に蒸し暑さが増してきたように感じますが、皆さまいかがお過ごしでしょうか。 新人エンジニアの木介です。 今回は先月にAWS公式ブログより紹介のあったAmazon Qサービスの内、フルマネージドで生成AIアシスタントを作成できるAmazon Q Businessの紹介をしていきます。 aws.amazon.com はじめに Amazon Q Businessとは 1. Amazon Q Businessの特徴 2. Amazon Q Businessの料金 Amazon Q Businessの使い方 1. アプリケーションの作成 2. retrieverの作成 3. データソースの作成 4. ユーザー/グループの設定 5. Applicationの実行 まとめ Amazon Q Businessとは まずAmazon Q Businessとは、与えられたデータに基づいて
はじめに こんにちは。7月に入り、蓮の花が咲く季節が近づいてきましたね。 4年目エンジニアの小林です。 最近、2024年6月21日にAnthoropic社からリリースされた、「Claude 3.5 Sonnet」で利用できるArtifactsという機能が注目されています。 この記事では、Artifactsを使ってCSVからグラフを生成してみます。 はじめに Claude 3.5 SonnetおよびArtifacts機能の概要 グラフ作成を試してみた Artifacts機能の利用手順 CSVデータからグラフを作成する グラフをカスタマイズする まとめ Claude 3.5 SonnetおよびArtifacts機能の概要 Claude 3.5 Sonnetは、Anthropic社が開発した最新の生成AIモデルで、低コストながら高い性能を持つモデルとして話題になっています。 そして、中でも注目さ
こんにちは、Elastic認定資格3種(※)を保持しているノムラです。 ※Elastic社の公式認定資格(Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer) 皆さんはElastic Cloudを利用されたことはあるでしょうか? Elastic CloudはElastic社が提供しているSaaSサービスで、クラウドプロバイダはAWS、Azure、GCPをサポートしています。 最新バージョンのクラスタ構築や、既存クラスタのバージョンアップを数クリックで実施できるため、導入がお手軽です。 しかし実際に利用するとなると アクセス制限やCognito連携など、考慮すべきことが多くあります。 意外にハマりどころが多い所だと思うので、手順や注意事項などをまとめ
こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 はじめに Elasticのマネージドサービスである Elasticsearch Service (Elastic Cloud) にサーバレスが登場しました。 今回はその使い方や特徴などについて紹介し、どういったシーンでの利用に適しているのか考察してみました。 ※記事中の情報は執筆時点のものであり、今後変更となる可能性があります。利用する際は最新の情報をご確認ください。 Elastic Cloud Serverless とは? 従来のElastic Cloudは、オンプレミスでElasticsearchを運用するのに比べ管理コストを大きく削減することができる点や、柔軟にス
次のページ
このページを最初にブックマークしてみませんか?
『Taste of Tech Topics』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く