はじめに OpenTelemetry には興味があったものの、実際に手を動かすところまではできていませんでした。 ただ、Kaigi on Rails 2024 のセッションで OpenTelemetry のセッションに刺激を受けたので、実際に手を動かしてみました。 Kaigi on Rails 2024 のセッションについて セッションは ymtdzzz さんの「モノリスでも使える！OpenTelemetry で Rails アプリのパフォーマンス分析を始めてみよう」でした。 分かりやすい内容で、とても参考になりました。 ここで試した内容 上記セッションでは、OpenTelemetry の可視化に Grafana Tempo を使用した内容となっていました。 ただ、もう少し簡単に構築できるものはないかなと探していたところ、OpenObserve がよさそうに感じたので、こちらを使ってみまし
RAGはどのように進化しているのか？RAGのパラダイムと改善手法を体系的にご紹介！ | SIOS Tech. Lab
生成AIの分野でもRAGは特に注目を集めており急成長している分野です。あまりに多くの情報に溢れており、各手法をどう捉えてよいか分かりにくい状況にあります。このブログではRAGがどのように成長し、どのような改善が試みられているのかを整理して、包括的で体系的に理解できるような説明を試みました。読んでいただいた方の理解の助けになれば幸いです。 RAGの概要 LLMは非常に優れた効果を発揮したものの、嘘を答えてしまうハルシネーションや古い知識での応答、回答の根拠の分からない不明瞭な推論といった問題を抱えています。RAGはこれらの課題に対し外部データベースを取り入れるというアプローチで解決を試みており、特に注目を集めている分野であり急速に進化しています。また、外部データベースを取り入れるという特性からドメイン固有の知識とLLMを組み合わせることができるため、企業からも大きな注目をされており研究・開発
GitHubリポジトリを爆速で全文検索
GitHubリポジトリを爆速で全文検索 概要 MeilisearchでGitHubリポジトリに対して全文検索できるようにしてみました。 100行程度のコードで簡単にできるので共有します。 500ファイルぐらいなら100ミリ秒で検索できる！ コードは最小限で、すぐ試せる ファイルの取捨選択や成型や検索方法も好きにカスタマイズできる 全文検索エンジンを使ったちょっとした実験として、休日のお昼に試してみるのはいかがでしょう？ Meilisearchのソースコードに対して全文検索を行うとこんな感じです👇 githubで検索した場合はこちら👇 インフラ準備 pipで必要な物をインストール (省略) dockerとdocker-composeをインストール (省略) services: meilisearch: environment: - MEILI_MASTER_KEY=meili-maste
こんにちは、広報の伊藤です。 本日はエンジニアがテーマに沿ってLT（ライトニングトーク: 10分程度の発表）を行うイベント「FORCIA Meetup」の内容をお届けいたします。 FORCIA Meetup #４ 高速検索を支えるPostgreSQLのノウハウ ２月15日開催のLTのテーマは「高速検索を支えるPostgreSQLのノウハウ」 フォルシアでは、独自の技術基盤Spook®の開発にPostgreSQLを採用しています。Spook®はデータを様々な軸で高速に検索するための技術基盤です。（参考：フォルシアサイト テクノロジーページ）フォルシアは膨大で複雑なデータを持ったお客様にSpook®を提供しており、「独自の検索最適化技術」と「これまで培ってきたノウハウ」を駆使して高速なDB検索をすることがフォルシアエンジニアの仕事の一つとなっています。 そんなフォルシアから、PostgreSQ
Elasticsearch: さようなら、query_string のスペース区切り - Unyablog.
この記事は KMC advent calendar 2021 9日目の記事です。 昨日の記事は Elasticsearch: N-gram tokenizer と N-gram token filter の挙動の違い - Unyablog. でした。今日*1も Elasticsearch の話をします。 本題 サークル内で開発しているドキュメント検索ツール（Heineken）では Elasticsearch を内部で用いている。 この Elasticsearch を 5.x から 7.x に上げるにあたって、全文検索時に使っていた split_on_whitespace と auto_generate_phrase_queries オプションが使えなくなっていた。使えなくなった経緯と、それに伴う対応のメモ。 split_on_whitespace と auto_generate_phras
noteに入社しました｜Seiji
こんにちは、小見と申します。 3ヶ月前にnote株式会社に入社しました。 自己紹介と一緒に、入社した理由、入社して感じたこと、社内外からベールに包まれているstabilityチームで何をしているのか書きたいと思います。 自己紹介改めまして、小見星司と申します。 プログラミング遍歴がCOBOLスタートと20代としては恐らく希少種です。 その後、転職をして前職のスペースマーケットにて本格的にWeb開発やクラウド(主にAWS)を触る様になりSREとして開発・クラウド周りの構築やCI/CD周りなどに携わっていました。 入社した理由経験を活かせるポジション面談・面接を通して今までSREとして積んできた、インフラを含めた開発知見を活かせると感じました。 経験していきたい領域エンジニアとして経験を積む中で、アクセス数やデータ量などが大規模なサービスの開発や保守に挑戦したいと考えていました。現在800万ユ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenTelemetry と OpenObserve で Rails のトレースを可視化
FORCIA Meetup #４ PostgreSQL開発とテスト