こんにちは。LINE MUSICのサーバサイドエンジニアをしている森です。 LINE MUSICでは（主に他社の）音楽サービスのプレイリストの画像から曲を認識し、曲をプレイリストに取り込む機能があります。この機能は以前から導入されていましたが、認識率のさらなる向上が求められていました。この機能を改めて実装し直すことで、認識率の改善に成功しました。どうやって改善に成功したか、またその中で得られた学びについて紹介します。 プレイリスト認識機能について プレイリスト認識機能では、以下のようにプレイリストの画像を認識し、LINE MUSICのプレイリストに取り込むことができます。 LINE MUSICの新規ユーザが、複数の曲をまとめてLINE MUSICに取り込みたいときに便利です。 この機能は以前から実装されていましたが、認識率のさらなる向上が求められていました。調査したところ、およそ8割の認識
検索エンジンとしての「Amazon OpenSearch Serverless」の実用性を探る | TECH | NRI Digital
こんにちは、NRIデジタルの島です。 弊社では現在「情報検索システム」 をAWSクラウド上で開発中です。この検索システムはルールベースのみではなく、AI技術を活用した「意味的な検索（文脈の自動解釈）」 も可能とする検索システムです（以下 AI情報検索システム と呼びます）。簡単な構成図は以下となります。 このAI情報検索システムの実現には、当然これまで幾多の研究を積み重ねて実装した「AIアルゴリズム」 が必要ですが、それと同じくらい必要なもう一つの技術要素は、高性能で多様な検索機能を搭載した「検索エンジン※」 です。本システムの設計において最も頭を悩ませたのは、「検索エンジンをどのように構成するか」でした。 ※ ここでの「検索エンジン」とはGoogleやYahoo等の検索エンジンではなく、全文検索機能を提供するソフトウェアプロダクトやサービスのこと を指します。 検索エンジンの選択 検索エ
Fessサーバ 構築してみた！
はじめに Fessサーバを構築する方法をVirtualBox、Dockerを用いて試しました。 今回は構築方法を試しただけですが、同じ方法でサーバを立てて、運用することは可能です。 Fessとは？ オープンソースのエンタープライズ検索サーバーです。Fessは、強力で柔軟な検索機能を提供し、企業内のドキュメント、ウェブサイト、データベースなどから効率的に情報を検索するためのツールとして使用されます。 ライセンスについて Fessを用いた検索サーバには以下のソフトウェアが必要 Fess 14.14.0 Apache 2.0 ライセンス(商用利用無料) OpenSearch 2.14.0 Apache 2.0 ライセンス(商用利用無料) jDK17 (temurin) temurinがビルドしたものであれば商用利用無料 openjdkのコードは公開されているので、自身でビルドしたjdkを使用する
Elasticsearchは8月1日(米国時間)、「BITS and Bytes: Analyzing BITSLOTH, a newly identified backdoor — Elastic Security Labs」において、コマンド＆コントロール(C2: Command and Control)との通信にWindowsのバックグラウンドインテリジェント転送サービス(BITS: Background Intelligent Transfer Service)を使用する新しいバックドア「BITSLOTH」を発見したと報じた。 BITS and Bytes: Analyzing BITSLOTH, a newly identified backdoor — Elastic Security Labs バックドア「BITSLOTH」の正体 Elasticsearchは6月25日(米国
A note on incidents: incidents are internal events for our infrastructure team. Incidents often correspond to degraded service on our platform, but not always. This log aims for 100% fidelity to internal incidents, and will generally be a superset of our status page events. It includes events reported to subsets of customers on their personal status pages, as well as events without any status page
[小ネタ] Amazon Data Firehoseの動的パーティショニングキーにミリ秒単位のUNIX時間(エポック時間)の日付情報を使う | DevelopersIO
[小ネタ] Amazon Data Firehoseの動的パーティショニングキーにミリ秒単位のUNIX時間(エポック時間)の日付情報を使う Amazon Data Firehoseの動的パーティショニングキーの設定にミリ秒単位のUNIX時間(エポック時間)の日付情報を使用するシーンがありました。 キーのマッピングには普段あまり使用してなかったjq式を使用するため結構ハマりましたので、備忘録としてブログに設定方法を残します。 Firehoseの動的パーティショニングについて Amazon Data FirehoseはデータをリアルタイムでS3やRedShift、Elasticsearchなどのデータストアに送信するためのサービスです。 Firehoseを通してS3にデータを送信する際に、動的パーティショニングを使用しますと、jsonデータの特定のフィールドの内容に応じてS3オブジェクトのキー
![[小ネタ] Amazon Data Firehoseの動的パーティショニングキーにミリ秒単位のUNIX時間(エポック時間)の日付情報を使う | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/fa8842c4fe695534f961cebe27b798d31ddf7fb9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F02%2Famazon-data-firehose-1200x630-1.png)
Pinecone + OpenAIでオリジナル物語のQAボットを作ったら意外とお利口だった｜SHIFT Group 技術ブログ
やりたいこと独自のドメイン情報に対してGoogle検索や全文検索による回答ではなく、質問の意味を理解した回答をするセマンティックなQAボットをつくりたい。 人はそれをコグニティブ・サーチというらしい。 コグニティブ・サーチとは？ 「人工知能 (AI) を使用して、さまざまな種類のクエリのために関連性のある正確な検索結果を迅速に見つける検索エンジンテクノロジーです。」 コグニティブ検索とは何ですか? - コグニティブ検索の説明 - AWSかねてから生成AIの活用はチャットで満足せず、こういうものが実現されるほうが良いと思っていた。 やってみよう、冬休みだし。 オリジナル物語のWikiを参照データにしてみた小2の息子の寝かしつけの際にときおり、オリジナルの物語をアドリブ創作して聞かせている。 タイトルは「鬼のはなし」で、様々な色の鬼が登場して活躍する冒険奇譚である。 回を重ねるごとに登場人物が
Akamai Qiitaブログ一覧 - Qiita
Akamai's cloud computing services はじめに Akamai Cloud Computing Services(Linode)とは何かをわかりやすく解説 Linode インスタンスの選び方 Linode で仮想マシンを作ったらまずやること Linode CLI のインストール Linodeの基本 - ユーザー管理と権限付与 Akamai's cloud computing servicesのアカウント設計を考える Postman を使って Linode API を使い始める Linodeのサーバー環境をTerraformで用意する Linode Regions API を使って場所とリージョンを取得する (Akamai) Linodeのインスタンスタイプを変更する Akamai Cloud Computing Services に新たに Premium Ins
Cloud Runジョブのオーバーライド機能で実現した単発処理群管理のための快適な環境 - バイセル Tech Blog
はじめに こちらは バイセルテクノロジーズ Advent Calendar 2023 の5日目の記事です。 前日の記事は野口さんの「手軽にElasticsearchとRDBの型不整合を防ごう！ ~ dynamic templateを使った実装例 ~」でした。 こんにちは、開発２部の馬場です。 アプリケーションの開発や運用において、例えばSQLを流してのデータ修正など何かしらスポットで単発処理を行いたいことがあると思います。 今回私たちは、新規開発中のプロダクトへのデータ連携処理を実行していく必要がありました。 そこで、データ連携をはじめ任意の処理を自由なタイミングで実行できる基盤を用意することにしました。 この記事ではGoogle Cloudの「Cloud Runジョブのオーバーライド機能」を活用し、単発処理群を快適に管理する方法についてご紹介します。 目次 はじめに 目次 背景 技術選定
単語埋め込みとは何ですか？|包括的な単語埋め込みのガイド
オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。
Vector Databases A Technical Primer Jide Ogunjobi December 2023 tgedatalabs.com Welcome to the Course Hi, I’m Jide! 👋 A little about me: ❏ I like to describe myself as an end-to-end data professional (data analyst, data modeler, data architect, data engineer) ❏ I’ve spent the last few years building out data infrastructure and platforms at some great companies ❏ I’ve spent the better part of 2023
Oramaという検索エンジンでブログ検索を作ってみた
この記事は、情報検索・検索技術 Advent Calendar 2023の15日目の記事です。 昨年に続き2回目の情報検索のAdvent Calendar参戦です。 今年は、夏にオンライン参加したBerlin Buzzwordsの「The Debate Returns (with more vectors) Which Search Engine?」というセッションでPhilippさんが話題に出したOrama searchという検索エンジンを紹介してみようと思います（Oramaが正式名称なのかな？）。 Oramaという検索エンジン 公式サイトのトップにも記載がありますが、エッジで動作する全文検索＆ベクトル検索エンジンというもののようです。 なにそれ？という感じがしますが、オープンソース版のドキュメントを見るともう少しわかりやすい説明になっています。 Orama is a fast, bat
It’s easy to find documents containing "large" and "elephant". It’s hard to find documents in German which have "large" and "elephant" together in a sentence, or words with similar meanings to large, and provide only the 10 most relevant documents. And the sense that full-text search should be easy often stems from fixating on the middle part of "What’s so hard about implementing an inverted index
タイトル通りですわ！！！！！ わたくしは古の同人サイト全盛期にレンタルサーバーを借り、簡単なHTMLタグを使って推し作品の二次創作個人サイトを作っていたレベルの知識しかございません。キリ番とかおえびとかの時代です。無謀すぎる。 しかしながら……偉大なる開発者様とブログ等に経験や失敗談をまとめておいてくださった鯖缶様たちのおかげで、初心者でもサーバーを建てることができました。ありがとうございます！！ 当たり前に大変だったので、如何にして自分のMastodonサーバー（インスタンス）を建てたのか、備忘録として記録しておくことにします。 Misskeyにする？ Mastodonにする？ まず、どちらを建てるかめちゃくちゃ迷いました。 Misskey機能が豊富。アンテナ機能やクリップ機能のほか、絵文字リアクション機能が標準装備されている。 機能が豊富なぶん、Mastodonに比べて維持の負担が大き
We have supported float values from the beginning of vector search in Elasticsearch. In version 8.6, we added support for byte encoded vectors. In 8.14, we added automatic quantization down to half-byte values. In 8.15, we are adding support for bit encoded vectors. But what are bit vectors and their practical implications? As stated on the tin, bit vectors are where each dimension of the vector i
分散型RESTful検索／分析エンジン「Elasticsearch」を核として、検索のパワーを活かすソリューション群を提供するElastic株式会社。昨年の夏には、検索エンジンを拡張した生成AIを活用できる機能として、「Elasticsearch Relevance Engine（以下、ESRE）」を発表した。「生成AIの時代だからこそ、検索の重要性は増している」と語るのは、同社ソリューションアーキテクチャ・プリンシパルソリューションアーキテクト 杉本知洋氏。その真意とは？ 生成AI時代に問われる「検索」の役割 Elastic社が創業したのは2012年。この10年間を振り返ると、GitHubのスター数10万3000以上、ダウンロード数420万以上、貢献社数3500以上、プルリクエスト18万3000以上、コミット14万8000以上、Elastic Cloud（Elastic社が提供するマネー
Amazon OpenSearch Service の設定変更が、新たな視認性の改善でより簡単に追跡可能に | Amazon Web Services
Amazon Web Services ブログ Amazon OpenSearch Service の設定変更が、新たな視認性の改善でより簡単に追跡可能に Amazon OpenSearch Service は、ワークロード固有の要件を満たすための複数のドメイン設定を提供しています。標準的なサービス運用の一環として、これらの設定を定期的に更新する必要がある場合があります。最近、Amazon OpenSearch Service は設定変更をより効果的に追跡できるようにする視認性の改善を行いました。詳細でより説明的な設定ステータスを導入することで、アラームの設定と自動化の利用を可能にし、手動での監視を最小限に抑えることが可能になりました。 こうした視認性の改善を、アプリケーションでご活用いただくことをお勧めします。 新機能は後方互換性があります。既存の自動化された処理が従来の process
ANDPAD アドベントカレンダー 2023 の 21 日目の記事です。 DBRE として活動している まみー です。 今回は 以前の登壇資料 や個人的にメモしていた「EXPLAIN を読むときの勘所」を解説します。 EXPLAIN を読む理由 アプリケーション開発の現場で全員が「必ず EXPLAIN 読みます！」というチームは少ないと思います。 とはいえ、Web システムのパフォーマンスが低下しユーザーや利益に影響を与える場合、原因は DB の扱いによるものが多い です。 その原因の根本はアプリケーションが実行している SQL によるものがほとんどです。 SQL はインデックスを用いた実行計画に基づいて処理されます。 この実行計画に関する情報を得るためのステートメントが EXPLAIN です。 EXPLAIN を読むことで、SQL が効率的に動いているのかいないのか、がより鮮明 になりま
2023振り返り
年が明けてしまいましたが、2023年の振り返りです。 去年の振り返りはこちら。 2022振り返り普段、こういったブログはあまり書かないが、いい機会だし、書き残してあると、のちのち見返すのに便利かなと思い、今年やったことを書き出してみる。ほとんど趣味の話です。 * 電子工作 * 競技プログラミング * パソコン * ゲーム * 登山 * コーヒー * 論文読み * 仕事 * おわりに 電子工作 去年、コンピュータシステムの理論と実装という本をすこし読んでハードウェアというか電子回路方面に興味が湧き、年末にブレッドボードやら抵抗やらを買い揃えて、LED光らせて遊んだりしていた。 電子工作入門する pic.twitter.com/F3MQLZiFlS — tak…Stop-the-worldTakuya Asano買ってよかったものKeychron Q11Out-of-the-box で使える分
ビットキーではこれまでメインのDBとしてFirestoreを使ってきましたが、現在RDBへの移行を進めています。 移行の理由としては、主にビジネス上のドメインが広がり、Firestoreにおける検索性能の弱さがネックになってきたことが挙げられます。 これまで検索性を補完するためにElasticsearchやAlgolia、検索用途のRDBなどを併用してきましたが、メインDBをRDBとすることで基本はサブのDBなしに運用できるようにしていきたいと考えています。 今回はオフィス領域のプロダクトである workhub において移行を進める際に、どのように実装したのかについて紹介します。 方針 今のところ、Pubsub等の非同期は使わずに同期的にRDBへデータを同期しています。 これは書き込み直後の整合性を重視するためです。 移行の単位は基本（一部の仕様整理まで踏み込んだもの以外）はコレクション単
こんにちは、バックエンドエンジニアのまるです。 この記事では、Elasticsearchの検索において、matchとmatch_phraseの違いについて解説します。 Elasticsearchとは Elasticsearchは、オープンソースの分散型検索エンジンです。大量のデータを高速かつ効率的に検索、分析するために利用されます。テキストデータ、数値、地理情報、日付など、あらゆる種類のデータを扱える汎用的な検索エンジンです。 本記事では日本語の全文検索に絞った解説をします。 matchとmatch_phrase Elasticsearchの検索には、matchとmatch_phraseという2つのクエリがあります。どちらも「フィールド内に指定された単語が含まれること」を条件としたクエリですが、以下のような違いがあります。 matchクエリは、指定した単語がフィールド内のどこにあっても検索
週刊Railsウォッチ: 7.1アップグレードガイドにActive Record暗号化設定の注意事項が追加ほか（20231024前編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Rails: 先週の改修（Rails公式ニュースより） 今回も以下のコミット差分からChangelogのあるものを中心に見繕いました。多くは細かなドキュメ
ベクトルDBを調べてみました - Qiita
はじめに モチベーションとしては生成AI関連としてここ3～4ヶ月でRAG構成（Retrieval-Augmented Generation）の記事が目に止まるようになり、RAGによるメリット等概要は知ってるつもりでしたが、具体的な構成ってどうなるの？というのは、あやふやだったりしまして、、、調べるとベクトルDBが既に盛り上がってましたので、遅れてはマズイ！とおもいお勉強かねて記事にさせてもらいました。 RAGとは RAGは、大規模言語モデル(LLM)と外部検索システム（つまりDB）を組み合わせた設計パターンの1つで、LLM単体では回答するベースとなる知識が訓練データに依存しますが、RAGを用いることで、LLMはリアルタイムで外部の情報源にアクセスし、より正確な回答を生成することが可能になります。 また、以下は私のRAG構成イメージ図になりますが、RAG構成は後述するベクトルDBだけでなく、
スタディスト開発ブログ Advent Calendar 2022の16日目の記事です。 こんにちは、SRE Unit の wind-up-bird です。今回は久しぶりの移行シリーズ（第4弾）ということで、Elastic Cloud から Amazon OpenSearch Service に移行したお話を紹介したいと思います。 ちなみに、過去の移行記事はこちら。第1弾、第2弾、第3弾。 # Elasticsearch がどこで使われているかスタディストが提供している Teachme Biz では、マニュアルの一覧表示や検索などを目的として Elasticsearch を活用しています。大まかな流れとしては、Teachme Biz 上でマニュアルを作成すると、タイトルやテキストの内容が Elasticsearch にインデックスされ、全文検索ができるようになっています。 Elasticse
オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。
Amazon OpenSearch Service でのインデックススナップショットの作成 - Amazon OpenSearch サービス
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon OpenSearch Service でのインデックススナップショットの作成 Amazon OpenSearch Service のスナップショットは、クラスターのインデックスと状態のバックアップです。状態には、クラスター設定、ノード情報、インデックス設定、シャードの割り当てなどが含まれます。 OpenSearch サービススナップショットには次の形式があります。 自動スナップショットは、クラスターの復元専用です。クラスターのステータスが赤くなった場合や、データが失われた場合に、ドメインを復元するために使用できます。詳細については、以下の「スナップショットの復元」を参照してください。 OpenSearch サービスは、自動スナップショットを事前設定され
はじめに パッケージにRubyおよび必要なgemがバンドルされている場合、メジャーアップグレードにともない、バンドルされているRubyの処理系のバージョンも更新されていることがあります。 パッケージにバンドルされているgemのみ使用している場合には問題になりませんが、追加で必要なgemをインストールしている場合には、採用しているgemが新しいパッケージにバンドルされている処理系で動作するのかを知りたいことがあります。 今回は利用しているgemと互換性のあるRubyのバージョンを事前に調べる方法を紹介します。 互換性の有無の確認方法 gemではどのバージョンのRubyで動作するのか、メタ情報として指定します。 具体的には.gemspecのGem::Specificationにおけるrequired_ruby_versionが該当します。 このメタ情報は、rubygems.orgの各gemのペ
Amazon SageMaker と Amazon OpenSearch Service を使って CLIP モデルによるテキストと画像の統合検索システムを実装する | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker と Amazon OpenSearch Service を使って CLIP モデルによるテキストと画像の統合検索システムを実装する テキスト検索とセマンティック検索エンジンの台頭により、eコマースや小売業は消費者にとってより簡単に検索できるようになりました。検索する際にテキストと画像の両方をクエリに含むことができる検索エンジンは、検索ソリューションの柔軟性を非常に高めることができます。たとえば、ラップトップに何百もの家族の写真が入ったフォルダがあり、あなたとあなたの親友が古い家のプールの前にいたときに撮った写真をすぐに見つけたいという場合を仮定します。この場合、「プールの前に二人が立っている」のような会話形式の文章をクエリとして入力することで、テキストと画像の統合検索エンジンからお目当ての画像を検索することが
こんにちは。 「OpenSearchインストール」でデータベースが動くようにし、 「OpenSearch Dashboardsインストール」で、ダッシュボードも使えるようになり、 「OpenSearchのユーザー追加」で、一般ユーザーを登録することができ、 「OpenSearchのインデックスに Pythonでデータを突っ込む」で、日本語データが入ったインデックスを作ることができました。 しかし、日本語検索結果はノイズが入ってしまいイマイチなところがありますので、日本語形態素解析エンジンを OpenSearchで使えるようにしましょう。 それがこれ。 kuromoji OpenSearchはプラグインとして kuromojiをインストールすることができます。 プラグインのドキュメントはこちら Installing plugins このドキュメントを見ると、Additional plugin
BingのIndexNowAPIを用いて、検索エンジンに即座にインデックスをする。 | PR TIMES 開発者ブログ
こんにちは！開発本部でバックエンドエンジニアとしてインターンをしている岩瀬(@gantaso4704)です。 今回は、PR TIMESに投稿されたプレスリリースを IndexNowAPIを用いて、Bingの検索エンジンに即座にインデックスを行うバッチジョブを作成したので、その紹介をしたいと思います。 背景 2021年ごろに、Microsoft Bingは新しい検索エンジンのインデックスのための仕組み「IndexNow」を公開しました。 IndexNowを利用すると、コンテンツの追加、更新、削除情報をクロールなしで検索エンジンに即座に通知することができるそうです。 この新しい方法は、従来のクロール方式と比較してコンテンツのインデックスがより迅速に行えるとのことで、PR TIMESも導入を検討し、実際に取り入れることとなりました。 IndexNowの使い方 IndexNowを使って指定したUR
Service Embedded SRE /LINEサービス｜Service Embedded SRE / LINE Service｜LINEヤフー株式会社
採用情報 中途採用 求人を探す Service Embedded SRE /LINEサービス｜Service Embedded SRE / LINE Service ポジション概要「LINE」のスタンプ機能や「LYPプレミアム」などの開発者と協力して信頼性の向上を担当 The Service Embedded Site Reliability Engineer (SRE) works in collaboration with developers of LINE sticker features and LYP Premium to enhance service reliability. 業務詳細Site Reliability Engineer（SRE）として、「LINE」におけるスタンプや絵文字、着せかえに代表される有料コンテンツの機能および、「LINEファミリーサービス」や「Ya
【業務効率アップまとめ】ChatGPT超活用プロンプト！【Excelマクロ、アイデア出し、SQL、ブレスト、フレームワークも】｜無神論者の神話
【業務効率アップまとめ】ChatGPT超活用プロンプト！【Excelマクロ、アイデア出し、SQL、ブレスト、フレームワークも】 こんにちは。日々の仕事で、効率をアップさせたり、新たなアイデアを出すツールとして、ChatGPTを活用しています。その具体的な使い方を、今日は皆さんと共有したいと思います。 仕事の効率化: SQLとVBA まずはじめに、みなさんもよく使うエクセルでの進捗管理。クラウドのそこかしこから情報をコピペしていく作業、大変ですよね。 そんな日常のタスクを、ChatGPTが助けてくれます。どうするかと言うと、SQLやVBAのコーディングをChatGPTに教えてもらえるんです。そうすることで、エクセルの進捗管理がぐっと楽になるんですよ。 以下がそのプロンプトです。 あなたは、VBAスペシャリストです。 あなたの目標は、私のニーズに合わせて最高のVBAコードを作成することです。そ
オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。
Photo by Héctor Martínez on UnsplashIntroduction In the dynamic world of digital resources, ensuring the resilience of our systems is paramount. This document outlines our comprehensive chaos strategy, which aims to validate, fortify, and test the stability of AWS resources. Our strategy can be implemented for AWS resources like EC2, RDS, EKS, etc. We leverage AWS Systems Manager (SSM) documents a
(日本語訳) Vector databases (Part 2): Understanding their internals
日本語訳： ベクトルデータベース(パート2): 内部を理解する 訳者前書き ベクトルデータベースについていろいろと調査・検証していたところ、以下の記事を見つけて、内容が非常によくまとまっており、多くの人にとっても有用な記事ではないか感じました。もはや翻訳などはDeepLやChatGPTで簡単にできる時代になりつつありますが、まだまだ検索エンジンで検索されることも多いと思いますし、少しでも参照しやすくなればと考えて、作者であるPrashanth Rao氏に許可を頂いた上で日本語に翻訳したものとなっています。 全4回の記事の第2回目となります。 元記事 Prashanth Rao氏のGitHubアカウント Prashanth Rao氏のTwitterアカウント 第1回目の日本語訳はこちら 背景 この記事はベクトルデータベースに関するシリーズの第2回目である。このシリーズの第1回目（元記事/日本
AWS Summit Japan 2024セッションレポートまとめ（6/25 13:30更新） | DevelopersIO
2024年6月20日および21日開催のAWS Summit Japanのうち、AWSセッションおよびパートナーセッションの模様をDevelopersIOでもレポートします。随時アップデートしていきますのでお楽しみに！ イベント公式サイトでは現在もオンラインでのセッション視聴が可能です。 DAY 1：6月20日（木） 基調講演 ・AWSと創る次の時代 11:00〜 ・Dive deep on Amazon S3 ・Amazon Neptune Analyticsと生成AI活用 ・ビジネス価値を最大化！クラウドマイグレーション x 生成AI ・AWSome Day ～ 踏み出そう、AWSへの最初の一歩～AWSクラウドの基礎を3.5時間で学ぶ ・再エネ時代のエネルギーシフトに向けたエネルギー基盤を支えるAWSサービスの活用 ・イノベーションを実現するAWSの生成AIサービス ・サイバーインシデン
検索APIは汎用的なら良いってわけじゃない
伝えたいこと 検索APIは汎用的なら良いってことではない。 汎用的であればあるほど使う側が頑張らないといけない。 要約 案件マイクロサービスに汎用的な案件検索機能を作った 様々な参照クエリに応えられる柔軟性を獲得したが、使いやすさを失った 組織設計を含んだマイクロサービス化をしないと良いAPIにならない 前提 レバテックには案件という概念があります。 レバテックフリーランスなどのオウンドメディアやレバテックプラットフォーム[1]といった複数のサービスから参照されます。 そんな案件を共通リソースとして使えるよう、案件マイクロサービスが作成されました。[2] どんなユースケースも叶える汎用的な検索エンドポイントを作った 検索にはElasticsearchを利用しました。[3] どんな条件でも検索できるように、Elasticsearchのクエリで実現できることはほとんどそのままリクエストできるよ
2023年に触った技術
この 1 年も、いろんなものを作っていろんなことを経験してきたのでまとめます。何か新しいこと勉強したいな〜みたいな人の参考になったり、これをきっかけに僕に仕事をお願いしようみたいになってくれる人がいると嬉しいです。 2022 年に触った技術をまとめた記事はこちらになります。よければこちらもどうぞ。 前置き はじめましての方向けに軽く自己紹介しておくと、法人として動いてはいるものの実態としてはフリーランスエンジニアとして、新規サービスの開発・運用をお手伝いしています。Web/アプリ、バックエンド、インフラまで、サービスの立ち上げに必要な技術的なことは一通りできるように頑張っています。以下に上がっているものを見ると「色々やりすぎでしょ」みたいな感想になるかもしれないですが、僕の方針として サービスを作る上で必要なものは全部勉強して身につける なので、ある意味こうなるのは仕方ない感じなので許して
Software Technical Writing: A Guidebook James (jamesg.blog) Software Technical Writing: A Guidebook Contents License 5 Introduction 6 My experience starting as a technical writer 8 Why technical writing? . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Mediums of writing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Moving on: Reference material, communication . . . . . . . . .
オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LINE MUSICのプレイリスト認識機能を改善した話
Windowsの通信を悪用する新しいバックドア「BITSLOTH」発見、中国関与か
Infra Log
Vector Databases: A Technical Primer
Why Full Text Search is Hard
同人サイトしか作ったことがないIT初心者がMastodonのサーバーを建ててみました｜なるみ
Bit vectors in Elasticsearch — Search Labs
生成AIの普及で問われる「検索」の役割、Elastic社が語るRAGの可能性とは
MySQL の EXPLAIN を読むときの勘所 - Qiita
FirestoreからRDBへの移行を支える技術 - Qiita
Elasticsearchで押さえるべき！matchとmatch_phraseの違いを徹底解説 | Sqripts
Elastic Cloud から Amazon OpenSearch Service に移行したお話
LLMを選択する：2024年版オープンソースLLM入門ガイド
利用しているgemと互換性のあるRubyのバージョンを調べる方法 - 2024-01-15 - ククログ
お金をかけずにサーバーの勉強をしよう - OpenSearchで日本語の検索をする -
生成AI検索エンジン/アプリを開発 - Elasticsearch Relevance Engine™
Chaos Engineering for AWS Resources: A Custom Approach
Software Technical Writing: A Guidebook
Elasticsearchで日本語NLPモデルを利用してセマンティック検索を実現する