RAGの処理で、リランクとベクトル検索でできることの違いを検証／解説してみる - Taste of Tech Topics
こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交えて解説していきます。 概要 RAGの検索部分では、よくベクトル検索が利用されます。 理由としては、入力が基本的に質問形式になりキーワードで入力されることが多い通常の検索よりも適している、などいくつか考えられます。 ただし、実際にRAGを試してみるとわかりますが、RAGシステムではベクトル検索だけでは検索精度の面で苦労することも多いです。 そこで解決方法の一つとして考えられているのが、ベクトル検索とリランクとの併用になります。 今回は、なぜRAGはベクトル検索だけだと苦労が多
Difyで作成した生成AIチャットをWebアプリに組み込む - Taste of Tech Topics
はじめに 9月に入って、少し涼しくなったと思ったら、また、35℃などになる暑い日が続きますね。 データ分析エンジニアとして毎日充実した時間を過ごしている木介です。 今回はGUIで簡単に生成AIアプリを作成できるDifyで作成したAIアプリを簡単にWebアプリに組込む方法について紹介します docs.dify.ai はじめに Difyとは？ 概要 今回作成するアプリ Difyを埋め込んだWebアプリの構築方法 利用するツール 構築方法 1. DifyによるAIアプリの構築 2. StreamlitによるDifyを埋め込んだWebアプリの作成 作成したアプリの実行 まとめ Difyとは？ 概要 Difyは、生成AIを活用したアプリケーションをGUIで簡単に開発することができるアプリです。 以下のような形で簡単に生成AIを使ったワークフローを作成できます。 詳細な解説については以下の記事を是非参
背景 ある日。 彡(ﾟ)(ﾟ) 「ファッ！？ 基本ケバブケースでファイル名が作られてるのに、一部でスネークケースとキャメルケースが混じっとる！！」 という状況に直面しました。 Nest.jsで作っていたマイクロサービスで起こっており、基本的にキャメルケースで当初は命名が統一されていました。 が、別のマイクロサービス(Laravel)でModel(Actice Record)の定義などを先にしていたのをNest.jsにそのまま持ち込んだ際に、テーブル名がキャメルケースだったりすることもあり、そこから紛れ込み始めたものと思われます。 要するに、人為的なエラーです。 ということでこれを修正する 目に見えるケバブケース以外のファイル命名は潰せましたが、本当潰し切れているか。あるいはこれから先も同じようなことが起こらないかが気になるところ。 こんなときの解法がlinterによる静的解析です。 という
Netflixは2024年8月29日（米国時間）、Netflixの価値を高め、ユーザーの満足度を最大化させるための取り組みの一環として、コンテンツ推薦アルゴリズムをどのように適用し、工夫しているのか、公式ブログで解説した。 コンテンツ推薦を「コンテキストバンディット問題」として捉える Netflixでは、コンテンツ推薦を「Contextual Bandit（コンテキストバンディット）問題」と捉えているという。 関連記事 Netflix、モノリシックな動画処理パイプラインをマイクロサービスプラットフォームで再構築した事例を紹介 Netflixは公式エンジニアブログで、動画処理パイプラインをマイクロサービスで再構築した事例を紹介する記事を公開した。なぜ、動画処理パイプラインをマイクロサービスベースの新たなプラットフォームで再構築することに決めたのか、どのようにサービスを切り分けたのか、Netf
くんぺー (@ymdpharm) です。Ubie でデータサイエンスチームの Lead をしています。 2024.5に開催された技術書典16にて、有志のエンジニアメンバーで「Ubie Tech Book 2024」を出しました (※ 現在はもう販売を停止しています)。私は「第4章: データサイエンスチームの目指す世界について」を担当し、その中で「全体最適を目指して」と題してチームの運営について書きました。 いま読み返すと3か月しか経っていないのにすでに古い部分があります。ただ古くなっていくのももったいない気がするので、内容を一部公開します。最新の状況については、直接お話しましょう！ 以下、「基盤チーム」という用語を用います。技術アセットによりプロダクトチームによる事業成長を支援するチームという意味で用いていて、私達データサイエンスチームはここに位置付けられます。 Ubieとデータサイエンス
NVIDIA、企業独自のAIアプリケーション構築を支援する「NIM Agent Blueprint」を発表 まずは3つのワークフローを支援
NVIDIA、企業独自のAIアプリケーション構築を支援する「NIM Agent Blueprint」を発表 まずは3つのワークフローを支援：サンプルアプリ、Helmチャート、レファレンスコードを無料でダウンロード可能 NVIDIAは、企業独自のAIアプリケーション構築を支援する「NIM Agent Blueprint」を発表した。生成AI活用のユースケースに応じた、サンプルアプリケーション、レファレンスコード、カスタマイズ用文書、デプロイ用のHelmチャートを提供するという。 NVIDIAは2024年8月27日（米国時間）、企業独自のAI（人工知能）構築を支援する「NIM Agent Blueprint」を発表した。 NIM Agent Blueprintには、LLM（大規模言語モデル）構築ソリューション「NVIDIA NeMo」と基盤モデルをデプロイできるコンテナ化されたマイクロサービス
こんにちは、トレタ VPoEの北川です。 9月に入りましたが残暑が厳しすぎます… テックトークとは 隔週に一回開催し、当番の発表者が最近の気になる技術情報であったり、業務する中での技術的な学びを社内に発信する場です。 全体30分の前半はLT(ライトニングトーク)、後半はその内容について参加者内で議論、という形式で行なっています。 今回のテックトーク 今回の発表は自分、北川の担当でした。 先日行なったエンジニアイベントでの質問の中にFeatureFlagをどう運用しているのか、という質問をいくつかいただいたので、今回の発表では弊社内でのFeatureFlagの使い方について発表しました。 FeatureFlagと一口にいってもその用途・使い方は様々なので、まずはそれらを整理しながら社内のいろいろなプロジェクト内での使われ方を分類して紹介しています。 FeatureFlagとは まずFeatu
つい最近railsアップデート作業を行いました。 やったことは rails5.0系からrails7.2へのアップデートとrails8への準備です。 最近の私はweb3の開発に力を入れていて、solidity・python・rustのコードを触ることが多く、rails（ruby）はアップデートをしないまま古いバージョンを使っていました。 しかし、さすがにrails5.0系は今の時代だと古過ぎて、開発環境構築にも苦戦するようになってきたので、重い腰を上げてrails update作業をすることにしました。 その作業をしながら思ったことは railsは現在のweb開発のニーズに合わせた良い進化をしている ということです。 web2のバックエンドサーバー機能に限定すれば 2024年時点で一番優れたwebフレームワーク と言えるのではないでしょうか(次点はJavaのspring)。 ここ数年はpyt
こんにちは！ Web バックエンド担当の友廣です。 「Web エンジニアなら知っておきたい」ということで、今回は 「トークン認証と JWT」 についてです。 トークン認証とは ? トークン認証とは、ユーザーの認証情報をトークンとして生成し、それを使って認証を行う仕組みです。 例えば、ユーザーが ID とパスワードを使ってログインすると、サーバーはトークンを発行し、クライアントに返します。 クライアントはトークンをリクエストに付与してサーバーに送信します。 サーバーはリクエストに含まれているトークンを検証し、リクエストの許可を判断します。 これにより、リクエストごとに検証を行いつつも、ユーザーが認証情報を都度入力する必要がなくなり、セキュリティと利便性の両方が向上します。 トークンの特徴 トークンの特徴として以下のようなものがあります。 見た目上はランダムな文字列 サーバーはトークンを保持し
効率や生産性を優先するデジタルネイティブ企業がクラウド選定でコストや性能より重視するのは？ Akamaiレポート
効率や生産性を優先するデジタルネイティブ企業がクラウド選定でコストや性能より重視するのは？ Akamaiレポート：インド企業の98％がAIをクラウド内で統合 Akamaiは、アジアのデジタルネイティブ企業を対象とした調査レポートを発表した。回答者の9割が、今後12カ月間に効率と生産性を優先し、クラウドコンピューティングやAPIに対応したマイクロサービスなどの技術に投資していることが分かった。
はてなブログ独自の集計による人気記事のランキング。9月8日（日）から9月14日（土）〔2024年9月第2週〕のトップ30です*1。 # タイトル／著者とブックマーク 1 抽象度の高い仕事の進め方 - Konifar's ZATSU by id:konifar 2 人間をリソースと呼ぶことの何が問題なのか - valid,invalid by id:ohbarye 3 「どろどろえろえろ」から「げきあまぴゅあぴゅあ」まで、いまが旬なオトナの恋愛マンガ20選！ - Something Orange by id:kaien 4 会議のファシリテーションをほめてもらった - Mitsuyuki.Shiiba by id:bufferings 5 オタク文化の「気持ち悪さ」って何だ？ - Something Orange by id:kaien 6 友人の出産報告に対して、「おめでとう」以外の返答は
デザイン思考と DX の関係性とは？デザイン思考を実践するための5ステップをわかりやすく解説！ | 株式会社G-gen（旧 株式会社トップゲート）
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
こんにちは、プロダクト推進本部人事のふかしろ(@fkc_hr)です。 8月2日、3日に開催されたSRE NEXT 2024に、エス・エム・エスのメンバーが参加してきました&弊社もGOLDスポンサーとして協賛いたしました。 sre-next.dev この記事では、メンバーの印象に残ったセッションの紹介・感想とブースの振り返りをお届けします！ みんなのイベント感想 山口（全社SRE） 全社SREの山口(@yamaguchi_tk)です。 SRE NEXT 2024のコアスタッフをしていました＆Snykさんのスポンサーセッションで登壇（DevSecOpsの内回りと外回りで考える持続可能なセキュリティ対策）しました。（2日目のイベントの撤収時という疲労がピークの時に資料をアップしたのでURL設定をミスってしまい同じ資料が2つアップされています） speakerdeck.com SRE NEXT 2
こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交えて解説していきます。 概要 RAGの検索部分では、よくベクトル検索が利用されます。 理由としては、入力が基本的に質問形式になりキーワードで入力されることが多い通常の検索よりも適している、などいくつか考えられます。 ただし、実際にRAGを試してみるとわかりますが、RAGシステムではベクトル検索だけでは検索精度の面で苦労することも多いです。 そこで解決方法の一つとして考えられているのが、ベクトル検索とリランクとの併用になります。 今回は、なぜRAGはベクトル検索だけだと苦労が多
アプリケーション開発において、いまやAPI利用は欠かせないものとなっている。また生成AIの登場により、アプリケーション開発においてもAIの活用も進んでおり、APIの呼び出しも人間がコードを書くのではなく、AI自身が能動的にAPIを理解して呼び出すような流れも始まっている。AIが新しいAPIの使い手となる中で、APIを正しく設計することが求められている。Postmanを使うとどんなことが可能になるのか。APIファーストという考え方の重要性とともに、Postmanが提供する便利な機能などについて、Postman テクノロジー エバンジェリストの草薙昭彦氏が紹介した。 急増するAPI利用、いま注目のAPIファースト戦略とは アプリケーション開発において、APIの重要性はますます高まっている。なぜ、API利用が急増しているのか。「その要因は3つ考えられる」と草薙氏。第1にユーザーのアプリケーション
ライブラリの充実度などから、簡単なサンプルアプリを JavaScipt で作りたいという事はよくあると思います。そういった時に便利なのが Express です。 本記事では、Express で作ったミニマムな API を Azure へデプロイする方法について書いていこうと思います。 Expressとは サンプルコードを作成し Azure へデプロイする Express で API を作成する Azure へデプロイする GitHub Actionsの構成を書き換える 苦労した点 おわりに Expressとは Node.js 上で簡単に Web API の構築ができて、一行のコードを書くだけでルーティングの設定までが可能な大変使い勝手の良いフレームワークです。 expressjs.com これだけのコード量で API Endpoint が作成できるのは素敵ですね。 const expres
クラウドネイティブ時代のプロキシTraefikのDocker入門 - 弁護士ドットコム株式会社 Creators’ blog
こんにちは。税理士ドットコム事業部の @komtaki です。 先日、税理士ドットコムの local 環境に「クラウドネイティブ時代のリバースプロキシ」Traefikを導入しました。プロキシサーバーの候補として最初に思いついたのは nginx でしたが、最終的には、設定ファイル不要で compose.yml だけで完結する Traefik に決めました。 そこで本記事では、Docker を前提としたコンテナのラベルでの設定方法など、導入の過程で調べた Traefik を使うために必要な情報をまとめています。 なお Traefik にはロードバランサーの機能もあるのですが、ここではプロキシの機能に焦点を当てて説明します。 Traefik とは 主な特徴 Docker での基本的な設定 Traefik の本体の設定 ラベルでサービスごとの設定 ポート検知 ルーティングの設定 代表的なルールの設
GKEからCloud Runへの移行事例
ツール導入前の課題もともと、HRBrainではアプリケーションのワークロード基盤としてKubernetes（GKE）クラスタを使用していました。しかし、定期的なクラスタアップグレードやKubernetesのマニフェスト管理など運用・管理の煩雑さに見合うだけのメリットを十分に享受できていない状況でした。 どのような状態を目指していたかPlatformチーム・エンジニア双方の開発時のオーバーヘッドを軽減し、エンジニアがよりハイスピードなマイクロサービス開発を推進できる状態を目指しました。
PHPだけで分散処理ってできるの？ 多分皆さんがそう思うはずです。 これまでPHPではリソースの操作などで並行処理を利用することは エクステンションなどの介して実現はできていましたが、 物理的分かれているPHPに処理を依頼する、結果を戻すなどは Kafkaなどに代表されるようなミドルウェアを介することが一般的でした。 そんなPHPですが、 PHPの進化を感じさせるような、完全にPHPだけで物理的な別サーバと連携しながら処理をする、 いわゆる分散システムの簡単な例を紹介します。 出典 https://www.syncfusion.com/succinctly-free-ebooks/akka-net-succinctly/akka-net-remoting え！そんなことPHPでできんの？！ Phluxor Remote ということで100%PHPのアクターモデルツールキット、Phluxor
SpringのControllerとRestControllerの主な違いは、Controllerアノテーションを付けたクラスがクライアントにレスポンスを返す前にデータをフォーマットするレンダリングフェーズを別途呼び出すのに対し、RestControllerアノテーションを付けたクラスはレンダリングフェーズをスキップしてHTTPレスポンスのボディーにJSON、テキストまたはXMLを直接埋め込む点にある。 Springの@RestControllerが付与されたクラスは、HTTPリクエストを処理する全メソッドに暗黙的に@ResponseBodyアノテーションを追加する。 Controllerはどう動くのか 関連記事 Oracle、「Java 22」「Oracle JDK 22」を提供開始 Oracleはプログラミング言語と開発プラットフォームである「Java」の最新版「Java 22」と、J
サーバレスとはサーバーレスはクラウド・ネイティブ環境でより効率的にアプリケーションを構築、展開、利用するためのな方法です。 サーバーレス・コンピューティングは最初の本格的なクラウドネイティブコンピューティングのパラダイムとも云えます。しかしまだ多くのエンジニアは「サーバーレス」が実際に何を意味するかについて、結論を出せていない状況です。 サーバーレスの提唱者であるSimon Wardley氏は以下のように定義しています。 サーバーレスとは、コードを書いてサービスを消費する、イベントドリブンでユーティリティベースのステートレスなコード実行環境である。 RedMonkのRachel Stephens氏は、さらに簡潔な定義をしています。 サーバーレスとは、ゼロまでスケールするマネージドサービスを意味する。 どちらもサーバーレスという新たなパラダイムの最も重要な側面を強調しています。 ・開発者はア
全国6万社以上に利用されている経営支援SaaSの継続的進化を担うWebアプリケーションエンジニア Webアプリケーションエンジニア 正社員 株式会社ココペリ の求人一覧 企業価値の中に、未来を見つける。このMISSIONを実現するため、ココペリは創業以来一貫して、中小企業を応援する サービスの開発をしてきました。 企業が持っている本来の価値が伝わらないため、残念ながら多くのビジネスが この世界から姿を消しています。 この埋もれた価値、成長機会、事業の可能性など、企業の未来へと繋がる種を、 ココペリはテクノロジーによって芽吹かせ育てていく、それこそが私たちの挑戦です。 テクノロジーとイノベーティブなビジネスモデルを追求し、企業にとって本当に価値あるサービスを届け、企業の労働生産性向上を成し遂げます。 事業紹介「企業価値の中に、未来を見つける。」をミッション、「中小企業にテクノロジーを届けよう
OpenTelemetryのトレースを活用してボトルネックを探す体験をしてみた - kmuto’s blog
OpenTelemetryのトレースを試したい。 標準なデモとしてはOpenTelemetry Demoがあるが、これはフルセットのヘビーなものなので、もうちょっとライトにやりたい。 ということで、OSSのOpenTelemetryトレーサ「Jaeger」に収録されているHotRODというデモで遊んでみた。 基本的に作者Yuri Shkuroのブログ「Take OpenTracing for a HotROD ride」に従っている。 HotRODとは Jaegerでトレースを見る ボトルネックを探る おまけ：Vaxilaにつないでみる HotRODとは HotRODは、タクシー配車アプリケーションデモだ。4つ用意されたボタン（カスタマーボタン）のいずれかをクリックすると、「HotROD T763767C arriving in 2min [req: 8819-1, latency: 68
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
eslint-plugin-unicornでファイル名のケーススタイルを統一する
Netflixがユーザー満足度を最大化するために取り組む推薦アルゴリズムとその工夫とは
全体最適なデータサイエンスチームの運営について (Ubie Tech Book 2024 から抜粋)
FeatureFlagの運用パターン -トレタのテックトーク - トレタ開発者ブログ
railsのバージョンアップデート作業で思ったこと｜昭和のオッサン
JWT で学ぶトークン認証 - Fenrir Engineers
今週のはてなブログランキング〔2024年9月第2週〕 - 週刊はてなブログ
SRE NEXT 2024に参加してきました！ - エス・エム・エス エンジニア テックブログ
RAGの処理で、リランクとベクトル検索でできることの違いを検証／解説してみる - Taste of Tech Topics
APIの開発者体験を左右する「Time To First Call」とは？ Postmanで実現するAPIファーストな開発
AzureへのExpressデプロイ方法解説！ #Azure #Express - JBS Tech Blog
PHPを進化させる！PHPだけで並行処理・物理的な分散処理！ - ytake blog
Springにおける「RestController」と「Controller」の違いとは
サーバーレス：イノベーションの加速｜MINAMI, HIROAKI
全国6万社以上に利用されている経営支援SaaSの継続的進化を担うWebアプリケーションエンジニア | 株式会社ココペリ