Difyを使ってノーコードでAIエージェントを作成する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 最近は GPT-4o や Claude 3 を使ったアプリを、せっせと実装したりしていたのですが、Difyの登場により「もう、これでいいじゃん」という気持ちが抑えきれていません。 今回はそんなDifyを使って、「LLM自体の知識が足りないときにGoogle検索を行って回答するチャットボット」を作ってみました。 Google検索して答えてくれる 1. 概要 1.1. Difyとは 2. 環境構築 3. アプリ作成 3.1. 各ブロックの簡単な説明 4. 動かしてみる 5. まとめ 1. 概要 1.1. Difyとは Difyは、大規模言語モデル（LLM）を活用したアプリ
ChatGPTの Assistants API でPDFを要約 - Taste of Tech Topics
こんにちは、安部です。 最近急に、暖かさを通り越して暑いぐらいになってきましたが、皆さまいかがお過ごしでしょうか。 季節外れかなとも思いつつ、もう半袖で過ごしたいくらいの気候ですね。 さて、今回は、OpenAIのAssistants APIの使い方を紹介していきます。 題材は「PDFを和訳して要約してもらう」としました。 これはWeb版のChatGPTでも単にPDFファイルを添付して依頼すればできますが、APIの使い方を示すサンプルとしてはちょうどよいと思います。 最新情報については以下の公式ドキュメントをご覧ください。 https://platform.openai.com/docs/assistants/overview https://platform.openai.com/docs/api-reference/assistants それでは早速、Assistants APIの使い方
Amazon Bedrock(ClaudeV2)でLambdaのコードを生成してみた - Taste of Tech Topics
こんにちは、最近久々にソロキャンプをしてきました菅野です。 AWS上で、 ChatGPTのようなテキスト生成AIを利用できるようになるサービス、Amazon Bedrockがリリースされました。 今回はBedrockで、LambdaのPythonコードを生成してもらいます。 利用するモデルは、ChatGPTと同レベルの性能を有しているClaudeV2を利用します。詳細はこちら。 Bedrockについて執筆した別記事もあわせてご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com S3に保存したCSVファイルの平均を求めるLambda関数を作成する 以下のようなcsvをS3からダウンロードし、一分毎、name毎の平均を返却するLambdaを作成してもらいます。 id,name,value,timestamp 1,da
ChatGPTでPythonのdiagramsを使ってAWSのサービス構成図生成コードを作ってもらう - Taste of Tech Topics
夏の暑さもだいぶ落ち着いてきていよいよ秋めいてきました、そろそろサンマがおいしい季節ですね、菅野です。 AWSを用いて様々なアーキテクチャを作成することが可能ですが、どういった構成になっているのかを一目で表すには図が効果的です。 手動でPowerPointや、draw.io等の作図ツールを用いて作成することも多いのではないか、と思いますが、ChatGPTで簡単に出力できたら便利ですよね。 Advanced Data Analysysの動作環境ではDiagramsライブラリがインストールされていないため、Pythonコードを直接ChatGPTで動かして構成図を出力してもらうことはできませんでした。 なので、今回はChatGPTにPythonのライブラリDiagramsを用いてクラウドの構成図を作成するPythonコードを作成してもらいましょう。 今回の検証ではGPT-4モデルを利用します。
セマンティック検索の活用で、Elasticsearchの検索が根本的に変わる！？ - Taste of Tech Topics
こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索に関して書かせていただきます。 概要 Elasticsearchは元々、キーワードベースのアプローチを主に取っており、クエリで指定されたキーワードを対象のドキュメント内で検索し、それらの出現頻度や位置に基づいて結果をランク付けしています。この方法では、文脈や意図に関係なく、単純にキーワードの一致度に基づいて検索結果が返されます。 一方、セマンティック検索とは、ユーザーのクエリの背後にある文脈と意図を理解しようとする検索手法で、キーワードだけに頼るのではな
Pandasのメモリ削減方法を整理した - Taste of Tech Topics
皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで、思いつく限り書いてみます。 そもそもなぜ、Pandasのメモリ削減技術が必要なのか 準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み＆集約 5. 不要なものを読み込まない 6. 不要なカラム／DataFrameを消す 番外編：そもそもPandasを利用しない 最後に そもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON（JSONL
AWS MLOps Workload Orchestrator で機械学習モデルのデプロイ/検証の自動化を体感してみた - Taste of Tech Topics
こんにちは、DevOpsチームの@buzz_tkcです。 最近枕を「ヒツジのいらない枕」に買い換えました。2020年にクラウドファンディングで話題になっていた時から、キャッチーなネーミングと興味がそそられるフォルムが気になっていたはいたのですが、やっと重い腰を上げて買い換えました。弾力があり高さのある枕が好みの自分にとてもフィットしており、おかげさまで睡眠が捗っております。 さて、今回は AWSが公開している「MLOps Workload Orchestrator」を、試してみたいと思います。 機械学習プロジェクトにおいて、以下のような課題に直面したことがある人は多いのではないでしょうか？ 学習リソース不足 GPUマシンが足りず、並列実験ができない、、、 ローカルで検証したモデルを本番環境へ適用するのに時間がかかる デプロイの自動化が大変、、、 実験が再現できず、品質保証ができない 何個か
全文検索で文書の新しさを考慮したスコアリング - Taste of Tech Topics
皆さんこんにちは。@Ssk1029Takashiです。 この記事はElastic Stack (Elasticsearch) Advent Calendar 2019の13日目になります。 qiita.com 何か調べ物をしているとき、見つけた記事が古く使えないということが良くあります。 例えばElasticsearchのクエリを調べていたら、ver5時代の記事ですでに仕様が変わっていたりなど。。。 検索結果としては基本的には時系列が新しいものを優先して出してほしいことが多いです。 このように、検索システムでは基本的には新しい記事、なおかつ検索キーワードと関連度が高い記事を優先して出してほしいということがあります。 この時、単純に時系列でソートすると関連度を考慮できないため、検索スコアにいい感じに時系列情報を組み込む必要があります。 Elasticsearchでは、この問題をscript
SORACOM S+ Cameraであんパンの品切れをチェックしてみた - Taste of Tech Topics
機械学習エンジニアのhayakawaです。 弊社には社内で菓子パンを扱うミニ販売コーナーがございます。 私は好物のあんパンをよく買うのですが、他の社員にも人気があるのですぐ売り切れます。早い。 あんパンを多めに仕入れてもらいたいのですが、 欠品よりも売れ残りを嫌うパン購入担当社員を説得するには、 パンにかける熱意よりも、パンがいつ売り切れたかの統計が必要です。たぶん。 そこで SORACOM S+ Camera（サープラスカメラ） (以下、S+ Camera） という製品を使って簡単な在庫管理システムを組んでみました。 ※弊社はS+ CameraのAIパートナーです。 S+ Cameraとは S+ Cameraはソラコム社のエッジ処理カメラです。 soracom.jp この筐体に カメラ Raspberry Pi データ通信ボード＋SIM が入っています。 これにプログラムをデプロイすると
ServerlessFrameworkで AWS Lambda Layers を試してみる - Taste of Tech Topics
こんにちは、最近のクラウドシステム開発は、ほぼサーバーレス・アーキテクチャで対応している takanorig です。 この記事は Serverless Advent Calendar 2018 の9日目の記事です。 昨日は、システムテスト自動化カンファレンス2018で、「マイクロサービスのテスト自動化 with Karate」という内容で発表をしてました。 上記はテスト自動化に関する内容ですが、こちらも、サーバーレス・アーキテクチャの関連があって利用を始めたもの。 当初、このKarateを使っての内容を書こうかと思っていたのですが、今回のタイトルの内容の方が自分的に優先度が高くなったので、内容を切り替えての投稿です。 はじめに 先日のre:Invent2018で AWS Lambda Layers が発表されましたが、「これはPJで早速導入したい」と思った内容でした。 社内のプロジェクトで
トピックモデル（LDA）で初学者に分かりづらいポイントについての解説 - Taste of Tech Topics
こんにちは。 信号処理で使っていた数学の知識を生かして、 機械学習関連の仕事をしている２年目の@maron8676です。 こちらは機械学習と数学 Advent Calendarの11日目の記事となります。 qiita.com トピックモデルの学習で初学者に分かりづらいポイントについての解説をしていきます。 機械学習における数学の重要性 機械学習を利用してアプリケーションを作る際に、数学の知識は重要です。 機械学習の便利なライブラリは多くリリースされていますが、適切に使用するにはパラメータチューニングが必要だったり、 最新の手法を動かしたい場合は自分で数式を読んで理解し、開発しないといけません。 というわけなので、数学は大事です。機械学習でアプリケーションを作るみなさん数学を勉強しましょう。 トピックモデル トピックモデルとは何か トピックモデルは潜在的意味を推定するためのモデルです。 トピ
KubernetesをElastic Stackで可視化する。 - Taste of Tech Topics
皆さんこんにちは あっという間に年末になってびっくりしている@tereka114です。 本記事は「Elastic Stack」のアドベントカレンダー19日目の記事です。 qiita.com アドベントカレンダーで本日公開しようと思ったら、 偶然にも公式のアドベントカレンダーもKubernetesです。びっくりです。 discuss.elastic.co さて、KubernetesのメトリックをElastic Stack 6.0から標準の機能で取得できるようになりました。 しかし、Kubenetes初心者である私が試しに使ってみると非常に苦労したので、その戦いの記録を掲載します！！！ Kubernetesを可視化することの利点 Kubernetesは複数のコンテナを操作するオーケストレーションツールです。 Elastic Stackを使うことで、Kubernetesから得られるメトリックを取
分散システムとしての #Elasticsearch - Taste of Tech Topics
こんにちは、 @snuffkin です。 こちらはDistributed computing Advent Calendarの12日目の記事となります。 qiita.com Elasticsearch6.0も登場し、使っている方も増えつつあるのではないかと思います。 進化が速く、どんどん機能が増えていますが、基本的なところを押さえるのも重要と考えています。 先日、Acroquest社内勉強会で「Elasticsearch as a Distributed System ～分散システムとしてのElasticsearch～」と題して Elasticsearchの分散システムとしての側面について話しました。 Elasticsearch as a Distributed System from Satoyuki Tsukano www.slideshare.net 資料の内容 ノードの種類 シャー
#Elasticsearch の cat APIs にまじめに入門する話 - Taste of Tech Topics
こんにちは、 @muraken720 です。 こちらはElastic stack Advent Calendarの9日目の記事となります。 qiita.com Elasticsearchを構築・運用する際に頻繁に使うことになる cat APIsについて、その使い方をちゃんと知ってほしいとプロジェクトのメンバに思うことが増えてきましたので、アドベントカレンダーというイベントの力を借りてまとめておこう思います。 ことの起こり（スタート地点） メンバに「cat indices でインデックス情報とって後でみせて」とお願いしたところ、次のような情報をもらいました。 yellow open .monitoring-es-6-2017.12.09 EjmyMwfUR9GC7NpGE9J-Ew 1 1 339106 5678 226.7mb 226.7mb green open report_attac
#Java本格入門 ついに発売！ 日本よ、これが #アクロ本 だ！ - Taste of Tech Topics
最近まで寒い寒いと思っていたら急に暑くなってきましたが、お風邪など召さず健やかにお過ごしでしょうか。 ただ季節の話をしているだけの @cero_t です☺️ さて、 Acroquestの同僚たちと執筆したJava本格入門が、ついに、ついに発売されました！！ gihyo.jp 電子書籍も同日発売で、Amazon Kindleや楽天Koboのほか、GihyoのサイトでPDF/EPUB版を購入することもできます。 また、正誤表などを掲載しているサポートサイトも用意しました。 github.com issueはどなたでも作成いただけるようしてあります。・・・既に柴田先生からのありがたいissueが！😇 またこの本は、入門書の次に読む「2冊目」を目指して書いたものであり、編集者の傳さんも書かれている通り、裏テーマが「35歳からのJava再入門」だったりします。 『35歳からのJava再入門』が裏テ
Elastic Stack5.3の特に魅力的な新機能を紹介します！ #elasticsearch - Taste of Tech Topics
こんにちは、@tereka114です。 Elastic{ON} 2017から戻ってきてから初投稿になります。 先日、Elastic Stack 5.3がリリースされ、既に公式による日本語リリースノートも出ています。 Elastic StackにどんなアップグレードがあったのかはElastic Stack 5.3.0リリースを参考にすると良いと思います。 私はElastic Stack 5.3のKibanaとBeatsの機能を特に魅力的に感じたのでご紹介します。 Kibana Top hits Aggregation KibanaのVisualizeでTop hits Aggregationを使えるようになりました。 Top hits Aggregationはキーを元に並び替えを行った場合の上位、 もしくは下位のデータの取得が可能なAggregationです。 Top hits Aggreg
Kubernetesクラスタ環境を構築してDashboardで見える化を試してみた - Taste of Tech Topics
こんにちは。 ポケモンGOみなさんやってますか？私は開始1週間くらいで一度止めてしまったのですが、周りが続けているのに触発されて再開。先日ようやくレベル20まで上がりました。 どうも、@kojiisdです。 さて、今回はKubernetesについてです。 最近Kubernetes（以下k8s）を使うと決めて、k8sの環境構築をしています。 その際、公式のドキュメントやさくらのナレッジさんの記事が非常に参考になったのですが、OSやk8sなどのバージョンが一部異なるため、いろいろと試行錯誤を重ねることになりました。 kubernetesによるDockerコンテナ管理入門 - さくらのナレッジ Kubernetes - What is Kubernetes? そこで、同じような環境構築をしている人に、一例として少しでも参考になればと思い、k8sクラスタ環境の構築～Dashboardのインストール
AWS Lambdaの処理性能を言語毎に測ってみた - Taste of Tech Topics
こんにちは、@kojiisdです。 この間AWS Summit Tokyoに参加してきたのですが、皆一様に「AWS Lambda」を、 これからのサーバレスアーキテクチャを支える技術として紹介していましたね。 資料でも言葉でも多分に見聞きしており、軽いゲシュタルト崩壊を起こしている今日この頃、 皆さんはいかがお過ごしでしょうか。 さて、今回はAWS Lambdaです。 AWS Lambdaの処理はJavaやNode.js、Pythonなどの言語で記述することができますが、その性能差がどの程度あるのか？測ってみました。 構成 今回の構成は次の様なシンプルなものにしています。 [計測対象（言語）] Python Node.js Java [計測対象（カテゴリ）] 処理速度 使用メモリ [Lambdaでの処理内容] API Gatewayでリクエストを受け付け Lambda内でDynamoDBか
思い切ってelasticのTimelionを取り入れてみた - Taste of Tech Topics
こんにちは。 先日「elasticの新プロダクト「Beats」シリーズに震える！」 を投稿したPlNOKlOです！ AcroquestではENdoSnipeBVDというサービスで経営の可視化を行っており、 私も2年目ながら可視化のお手伝いをさせてもらっています。 今回、とあるお客様から、 「稼働率を表現したい」という要望をいただきました。 見たいグラフを打ち合わせした結果、 線グラフとエリアグラフを同時に表示する必要がでてきました。 ですがご存知の通り、Kibanaでは 線グラフなら線グラフ、エリアグラフならエリアグラフと、 一つのグラフしか出力できないんです。 ではどうするか・・・ JavaOne2015に登壇し、 私のボスでもある、 @cero_t さんに相談したところ、 「試しにTimelion使ってみたら？」 とアドバイスをもらいました。 Timelion・・・？ Timelion
Elasticsearchを使うときの注意点を社内で発表しました。 - Taste of Tech Topics
こんにちは、fujiiです。 最近、社内でもElasticsearchを使う機会も増えてきてました。 インストールも簡単ですし、 ちょっと設定するだけでログの解析も手軽にできるので、 便利だと思って使い始めるのですが、 ・必要以上に負荷のかかる設定になっている。 ・システムダウンしたときの復旧を考慮していなかった。 ・初期構築などで大量にデータを入れようとしたら、一部データが入っていなかった。 と、後から反省することも多くあります。 （私も最初は知らないことが多く、反省点ばかりでした） そのため、Elasticsearchを初めて使うときの注意点をまとめ、 社内で講習会を開きました。 以下に公開しました。 実際に案件で利用しようと思った時にパフォーマンスなどで迷うこともありますので、 そんな時の一つの参考になればと思います。 Elasticsearchを使うときの注意点 公開用スライド f
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
