It’s no secret that observability costs are top of mind for many organizations in the post-zero interest rate phenomenon (ZIRP) era (see here, here, and here for example discussions, though similar sentiments can be found far and wide). Organizations are frustrated with the percentage of infrastructure spend (sometimes > 25%!) allocated towards logging, metrics, and traces, and are struggling to u
Sakana.aiが公開した「Evolutionary Model Merge」手法を「mergekit」で実施してみる - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日々、LLMが進化していて、画像が本職（のはず）の私ですら、ここ数年LLMの勉強をはじめています。 学習してモデル公開しましたといった記事はよく見ますが、今回は今、非常に注目されている日本に拠点があるAIスタートアップである「Sakana.ai」が公開した「Evolutionary Model Merge」を使う話をします。 Evolutionary Model Merge 「Evolutionary Model Merge」は「Sakana.ai」から発表された進化的モデルマージと呼ばれる技術です。 端的に言ってしまえば、複数のモデルを利用して新し
NotebookLMでドキュメントベースのAIアシスタントを手軽に試してみた - Taste of Tech Topics
はじめに 台風も過ぎ、少しずつ夏へ向けて暑さが増してくる中、皆様いかがお過ごしでしょうか。 そろそろ仕事にも慣れてきたデータ分析エンジニアの木介です。 今回は先日Googleより発表のあった簡単にドキュメントベースのAIアシスタントが使えるNotebookLMの紹介をしていきます。 はじめに NotebookLMとは？ 使い方 日本語能力の検証 コードを生成出来るか試してみる まとめ NotebookLMとは？ まずNotebookLMとはGoogleが試験的に提供を開始した、個別にカスタマイズが可能なAI調査アシスタントです。 notebooklm.google 具体的なサービス内容としては、ドキュメントをアップロードすると、その情報を元にした回答、要約を行うAIアシスタントが利用できます。 こちらのサービス自体は2023年7月には英語版のみで提供が開始されていましたが、2024年6月6
AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編1） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 AWSでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編2 ＜運用編２ 近日公開予定!!＞ 本記事ではElastic Cloudを運用するにあたり、必要な各種設定を実施する手順を紹介します。 はじめに 1. Monitoring設定（Metric／Logs） 2. Snapshot設定 3. 監視設定 まとめ はじめに 以下本記事で
月間2,000万人が使うメルカリ検索機能のアーキテクチャ。ElasticsearchのTiered Index設計とGatlingによる負荷検証 - Findy Tools
公開日 2024/12/17更新日 2024/12/17月間2,000万人が使うメルカリ検索機能のアーキテクチャ。ElasticsearchのTiered Index設計とGatlingによる負荷検証 メルカリはお客さま同士でモノを売買できる日本最大のフリマアプリで、サービス開始から累計40億品以上の商品が出品されています（2024年9月時点）。そんな膨大な商品の中から欲しいものを見つけるために欠かせないのが検索機能です。 この記事では、今の検索チームが運用しているシステムに設計段階から関わっているメンバーの私が、主に設計時に盛り込んだ工夫を紹介しようと思います。 メルカリの検索機能の紹介検索機能は希望の商品を見つけやすくするために不可欠な機能です。例えば、“iPhone”と検索したら、“iPhone”に関連する商品がたくさん出てきます。検索機能は主に以下に説明する4つを提供しています。
Elasticsearchのshard数の増加により発生するオーバーヘッドの正体 | メルカリエンジニアリング
Mercari Search Infra Teamのmrkm4ntrです。 Elasticsearchは1ノードに載り切らない量のデータも複数のshardに分割し、複数のノードに載せることで検索が可能になります。shard数を増やすことで並列にスキャンするドキュメントの数が増えるためlatencyが改善します。ではshard数はいくらでも増やせるのでしょうか？もちろんそのようなことはなく、Elastic社の公式ブログ(https://www.elastic.co/jp/blog/how-many-shards-should-i-have-in-my-elasticsearch-cluster )にもあるようにshard数を増やすことによるオーバーヘッドが存在します。ただしそのオーバーヘッドが具体的に何を指すのかは、先ほどの記事では明らかにされていません。本記事ではそのオーバーヘッドの正体を
AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編２） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 AWSでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編1 acro-engineer.hatenablog.com 本記事では運用編２としてElastic Cloudにおいて以下を実施する手順を紹介します。 はじめに 1. バージョンアップ 2. 監査ログ設定 まとめ はじめに 本記事では、Elastic Cloud(Elasti
「gettyimages」より 特に人手不足が深刻だといわれるIT業界だが、求人の募集条件が「経験者限定」ばかりで「未経験者が入り込める隙がない」「どこで育てているの？」という指摘や疑問が一部で話題を呼んでいる。未経験者がIT業界でエンジニアとして働くにはどうすればよいのか。また、誰もが社名を知る有名IT企業に就職するには、どうすればよいのか。業界関係者の見解を交えて追ってみたい。 多くの業界で人手不足が叫ばれるなか、成長が続くIT業界の人手不足は顕著だ。IT･Web領域における人材紹介事業を手掛けるレバテックの調査によれば、ITエンジニア・クリエイターの正社員求人倍率は12.9倍にも上る（2023年6月時点）。 「特にニーズが高いのがAI（人工知能）、データサイエンス、セキュリティ分野の人材。外資系IT企業では、大学院でこれらの領域を学ぶ人材に新卒1年目で年収1000万円を提示するケース
「生成AI×RAG」の効果と課題は？ 実装しないと「競争力を保てない」これだけの理由（1/2 ページ） 生成AIの普及によって、外部情報の検索を組み合わせて回答精度を向上させる「RAG」（検索拡張生成）は、IT業界のトレンドになっている。ただ、実際にRAGをどのように活用すればいいのか理解している企業は、多いとはいえない。 Linuxに代表されるオープンソースソフトウェアを活用したシステムインテグレーションを原点とし、SaaSの販売などを手掛けるサイオステクノロジー（東京都港区）は、オランダに本社を置き、分析エンジンなどを手掛けるElastic社の子会社であるElasticsearch社と提携した。Elasticが世界で提供している「サーチ」「セキュリティ」「オブザーバビリティ」の3つのソリューションについて、日本での展開を始めている。特に「サーチ」については、生成AIと組み合わせたRAG
サイボウズで活躍中のid:itchynyを訪問 | はてな卒業生訪問企画 [#11] - Hatena Developer Blog
こんにちは、CTOの id:motemen です。 Hatena Developer Blogの連載企画「卒業生訪問インタビュー」では、創業からはてなの開発に関わってきた取締役の id:onishi、CTOの id:motemen、エンジニアリングマネージャーの id:onkが、いま会いたい元はてなスタッフを訪問してお話を伺っていきます。 id:motemenが担当する第11回のゲストは、サイボウズ株式会社でソフトウェアエンジニアとして活躍しているid:itchynyさんこと、濱田健さんです。 itchynyさんは、京都大学大学院工学研究科電子工学専攻修了後、はてなに入社。Mackerelチームやはてなブックマークチームでアプリケーションエンジニアとして活躍していただいていました。2021年にサイボウズ株式会社に転職し、Webアプリケーションエンジニアとして、kintoneの基盤チームで開
![サイボウズで活躍中のid:itchynyを訪問 | はてな卒業生訪問企画 [#11] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/7e0894786ee9a159cbfad18e6fc90ec79db4ed60/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F5cf58b44458bc85d6cf39f17239f38405ce0f7aa%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fh%252Fhatenatech%252F20180731%252F20180731175339.jpg)
AWSでElastic Cloudを利用する 2024年版（構築編） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） 皆さんはElastic Cloudを利用されたことはあるでしょうか？ Elastic CloudはElastic社が提供しているSaaSサービスで、クラウドプロバイダはAWS、Azure、GCPをサポートしています。 最新バージョンのクラスタ構築や、既存クラスタのバージョンアップを数クリックで実施できるため、導入がお手軽です。 しかし実際に利用するとなると アクセス制限やCognito連携など、考慮すべきことが多くあります。 意外にハマりどころが多い所だと思うので、手順や注意事項などをまとめ
こちらはバイセルテクノロジーズ Advent Calendar 2024の1日目の記事です。 こんにちは、開発２部でテックリードをしている早瀬です。普段はリユースプラットフォームのEC出品管理システムの開発を行っています。 私のチームでは、EC出品管理システム（通称EXS）の開発を行なっており、3年間に及ぶ開発の末に今年の9月にローンチされました。 私はプロダクトの立ち上げ時から参画しており、開発初期の技術選定から関わってきました。 長期に及ぶ開発の末に、ついにローンチされたので、今回はそのプロダクトの技術選定についての振り返りを紹介したいと思います！ 記事のボリュームもかなりあるので、興味のある箇所だけでも読んでいただけると嬉しいです。 プロダクトの概要 プロダクト特性 技術構成 技術選定の振り返り マッチしたもの Go 学習コストの低さ 開発速度の向上 CLIとの親和性 GraphQL
こんにちは。 株式会社ココナラでバックエンド開発に従事するRKと申します。 みなさまはシステムのバージョンアップ対応をした経験はありますでしょうか？ システムの安定稼働に配慮して一定期間で実施している場合もあれば、利用しているライブラリや開発言語そのものの End Of Life（以降、EOL） によってバージョンアップを余儀なくされて実施した場合もあるでしょう。 どちらにせよ、ユーザーの皆様に安心してシステムをご利用いただくためにも、バージョンアップ対応はとても大事な作業の1つとなります。 弊社ココナラでも、もう少しでEOLを迎える／迎えた開発言語や環境を持つシステムは存在します。 本記事では、ココナラのとあるシステムのバージョンアップ作業対応を実施した際の私自身のふりかえり内容を記載します。 本当にこの記事を過去の自分に送って読ませたい。 なお、弊社ではすでにバージョンアップに関連する
構築から運用まで！脅威インテリジェンス業務を体験（インターンシップ体験記） - NTT Communications Engineers' Blog
こんにちは、NTTコミュニケーションズの現場受け入れ型インターンシップ2024に参加した大学2年生の大堀です。X（旧:Twitter）では@LimitedChan（限界ちゃん）というハンドルネームでサイバーセキュリティに関して活動しています。 普段は大学で情報系の学習をしながら、個人的に脅威インテリジェンスをはじめとしたサイバーセキュリティに対して興味があり、さまざまな学習に取り組んでいます。 2024年8月26日〜9月6日までの2週間、「脅威インテリジェンスを生成・活用するセキュリティエンジニア/アナリスト」としてNetwork Analytics for Security（通称:NA4Sec）プロジェクトに参加しました。 この記事では、私がインターンシップで取り組んだ内容について紹介します。 Na4Secプロジェクトとは？ インターンシップ参加の経緯 インターンシップ概要 今回作成した
tflocal を使って Terraform から LocalStack にデプロイしよう - kakakakakku blog
Terraform から LocalStack にデプロイする場合，以下のように provider.tf の provider 設定で LocalStack のエンドポイントを参照するように実装する必要がある💡 provider "aws" { region = "ap-northeast-1" access_key = "DUMMY" secret_key = "DUMMY" s3_use_path_style = true skip_requesting_account_id = true skip_credentials_validation = true skip_metadata_api_check = true endpoints { s3 = "http://localhost:4566" } } しかし LocalStack のために設定が必要なのは微妙だったりもして，そ
Elasticsearchのハイブリッド検索を用いて高精度なRAGを簡単に実現する - Taste of Tech Topics
こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 はじめに 近年、生成AIの発展により、RAG（Retrieval-Augmented Generation）が注目を集めています。RAGは既存の知識ベースから関連情報を検索し、それを基に生成AIが回答を生成する手法です。本記事では、多くの企業ですでに利用されているElasticsearchを使って、シンプルなRAGシステムを構築する方法をご紹介します。 RAGの基本概念 RAGはおおまかに以下の3つのステップで構成されています： 1. 知識ベースの構築（Indexing） 2. 関連情報の検索（Retrieval） 3. LLMによる回答の生成（Generation）
Source:imgflip.comAs I write this on the 25th of April, I am still reeling from the announcement of IBM’s acquisition of Hashicorp. When I first heard the rumours yesterday, I was concerned about the future of possibly my favourite Infrastructure-as-code (IaC) tool. It has long been obvious that Hashicorp has been struggling to make money, making a $274 million loss in 2023. This undoubtedly led t
Elastic CloudでObservabilityを簡単に始める 2024年版 - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） Elastic Stack (Elasticsearch) Advent Calendar 2024の13日目のブログ記事になります。 qiita.com Elastic CloudはElastic社が提供しているSaaSサービスで、クラウドプロバイダはAWS、Azure、GCP等をサポートしています。 最新バージョンのクラスタ構築や、既存クラスタのバージョンアップを数クリックで実施できるため、導入がお手軽です。 本記事ではElastic Cloudを利用してAWSのリソース・メトリック監視
Amazon Bedrock で Titan Image Generator を使って画像生成 - Taste of Tech Topics
今度、寝台列車で旅行に行きたいな、と思って先日予約に挑んでみたのですが、残念ながら予約競争に敗北してしまった、菅野です。 寝台列車は、今も人気が高いんですね。 ChatGPTでもDALL·E 3を用いることが出来るようになるなど、生成AIでも画像生成や読み込みなど一般的に用いられるようになってきました。 Amazonで利用できる生成AIプラットフォーム、Amazon Bedrokでも、以前から画像生成モデルとして世界的にも最も有名なStability AIが提供するStable DiffusionSDXLモデルを用いた画像生成が可能でしたが、 AmazonオリジナルのモデルTitanからも画像生成を行えるモデル、Titan Image Generatorも利用できるようになっています。 今回は、Titan Image Generatorを用いて実際にどのような画像生成ができるのかを見ていき
退職エントリ - 未来永劫
2017年にインターン生として入社し、7年ほどいた会社を2024年12月31日で退職しました。チラシの裏感覚で、頭の中で思い出したことをツラツラ残しておこうと思います。 Valueを愛していた もちろん今でも「プロダクト」も「利用して下さるお客様」も「プロダクト成長に貢献する全てのメンバー」も愛していますが、私が最も愛していたのはValueでした。 社内ではいつからかValueが飛び交う事が少なくなり、Valueに感銘を受けて入社した自分にとっては少し寂しいものでしたが、今振り返っても非常に優れたValueであると感じます。Value以外にも、年齢や性別などにかかわらず1人のプロフェッショナルとして期待/評価するという価値観や姿勢も愛していました。自分が入社を決めた理由であり、退職を決めた理由でもあります。 ある時点まで、明確に「文化が組織構造を作る」が体現されていたと思っており、この当時
Amazon Kendra の Custom Document Enrichment と Amazon Bedrock で画像検索に対応する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、「前のプレゼン資料に使った、犬の画像はどこいったかな？あの画像が欲しいので、探してくれないかな？」と無茶振りされたことはありませんか？ そんな時でも、「舌を出して喜んでいる」と検索すれば画像がヒットし、こんな無茶振りにも応えることができるシステムを Amazon Kendra （以下、 Kendra ）で構築しました。 舌を出して喜んでいる犬 ちょっと待って Kendra は機械学習を利用した検索サービスで、ウェブサイトや S3 に保存したドキュメントなどをもとに、適切な検索結果を返します。 しかし、 Kendra で検索できるのはテキストだけで、画像を S
Dataflow Indexer データ整合性担保と性能改善 - LegalOn Technologies Engineering Blog
はじめに こんにちは。LegalOn Technologies 検索・推薦チームの臼井（jusui）です。 私たちのチームは、LegalOn Technologies が提供する主要サービス—「LegalOn Cloud」、「LegalForce」、「LegalForceキャビネ」—の検索・推薦システムの開発と運用を担当しています。 2024年7月に当チームから「Dataflow 実践開発セットアップ」を公開しました。 tech.legalforce.co.jp 今回は、2024年4月から提供開始した弊社の新サービス「LegalOn Cloud」の初回リリースに向けて開発した Indexing pipeline とその後の改善についてご紹介します。具体的には、Cloud Pub/Sub と Cloud Dataflow を活用した Indexing pipeline の開発により、Elas
AWSが主導する「OpenSearch」、Linux Software Foundation傘下の「OpenSearch Software Foundation」発足
AWSが主導する「OpenSearch」、Linux Software Foundation傘下の「OpenSearch Software Foundation」発足 Linux Foundationは、オープンソースとして開発されているOpenSearchを推進する団体「OpenSearch Software Foundation」の発足を発表しました。 The #OpenSearch Project is now part of the newly formed OpenSearch Software Foundation, a community-driven initiative under @linuxfoundation. This marks a major milestone & we couldn't be more excited to share our though
2024年は情報検索技術に興味を持ち、情報検索関連のモデル作りを趣味で行っている @hotchpotch (セコン)です。Transfomer は割と適当にやっても、いい感じに学習してくれるので、楽しいですね。 というわけで、日々部屋でご家庭用GPUを回し、以前公開した情報検索に特化したモデル・日本語版SPLADE v1をさらに良い感じに学習させた、日本語版SPLADEのv2(japanese-splade-v2) を公開しました。JMTEB retrieval (情報検索タスク)のベンチマークスコアも、RAGでよく使う文章長の 512 トークン以下なら、かなりの高スコアでトップとなっており、モデルパラメータ数・性能を考えると、バランスの良い検索用モデルに仕上がったかなと思っています。 なおこの記事は、情報検索・検索技術 Advent Calendar 2024 24日目の記事となってます
2024年アドベントカレンダー振り返り、今年は生成AIと検索が大反響 - Taste of Tech Topics
皆さんこんにちは Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 今年も、アドベントカレンダーとして、9つの記事を本ブログで投稿しました。 本記事では、今年の記事の傾向や、私個人が特に面白いと感じた記事を紹介します。 本ブログの今年のアドベントカレンダー記事投稿傾向 特に読んで欲しい記事3選 ElasticsearchでLIKE検索のような部分一致検索を高速に実現する方法 PDFドキュメントを画像のまま検索できるColQwen2でマルチモーダル検索を試す vLLMを利用したLLM推論高速化テクニック 最後に 本ブログの今年のアドベントカレンダー記事投稿傾向 今年は生成AI関係（主にBedrock）とElasticsearchの記事を
Internet Engineering Task Force (IETF) K. Davis Request for Comments: 9562 Cisco Systems Obsoletes: 4122 B. Peabody Category: Standards Track Uncloud ISSN: 2070-1721 P. Leach University of Washington May 2024 Universally Unique IDentifiers (UUIDs) Abstract This specification defines UUIDs (Universally Unique IDentifiers) -- also known as GUIDs (Globally Unique IDentifiers) -- and a Uniform Resou
こんにちは。ニコニコ共通バックエンド開発担当の小野塚です。 2024年8月8日から順次「フォロー新着」機能がリリースされましたので、技術的な側面についてこれまでの歴史やニコニコに特徴的な点を含めご紹介したいと思います。 フォロー新着とは フォロー新着とは、フォローしているユーザー、チャンネル（入会しているチャンネルを含む）、マイリストの更新情報をまとめて新着順にタイムラインとして見られる機能です。 2024年9月リリース予定で開発を進めていましたが、前身であるニコレポのシステムがサイバー攻撃によってダウンしたため、代替として急遽前倒しでリリースされました。[1] フォロー新着システムに至るまでの歴史 今回のフォロー新着のために開発したシステムは、ニコレポ時代から数えると3つ目のタイムラインシステムとなります。 以前のシステムについて公開されている情報も無いようですので、これを機に簡単に紹介
Elasticsearch piped query language, ES|QL, now generally available - Elasticsearch Labs
Elasticsearch piped query language, ES|QL, now generally available Elasticsearch Query Language (ES|QL) is now GA. Explore ES|QL's capabilities, learn about ES|QL in Kibana and discover future advancements. Today, we are pleased to announce the general availability of ES|QL (Elasticsearch Query Language), a dynamic language designed from the ground up to transform, enrich, and simplify data invest
AzureでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編１） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAzure編の記事になります。 AzureでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編2 ＜運用編２ 近日公開予定!!＞ 本記事では運用編1として、Elastic Cloudを運用するにあたり必要な各種設定を実施する手順を紹介します。 はじめに 1. Monitoring設定（Metric／Logs） 2. Snapshot設定 3. 監視設定 まとめ
「Black Hatに採択される」という大きな目標を達成したセキュリティ研究者が次に目指したのは現場への貢献 - Findy Engineer Lab
はじめまして、中島明日香（@AsuNa_jp）です！ 私は14歳の頃にハッカーに憧れてセキュリティの世界に飛び込んで以来、セキュリティひと筋なキャリアを歩んできました。大学でセキュリティを学び、卒業後も研究開発者として10年以上さまざまなセキュリティの研究開発に携わってきました。 本記事では、私自身のキャリアの歩みについて紹介します。今までどのような仕事に携わってきたかだけでなく、大学卒業時の就職や一昨年に経験した転職など、キャリアの節目においてどのように考え、選択してきたのかについても触れています。 私のこれまでの歩みが、皆様が自分らしいキャリアを歩む参考になればたいへん嬉（うれ）しく思います。 ▲ Black Hat Asia 2023のロックノート（閉会時基調講演）となるパネルセッションに登壇する筆者（左から2人目） ハッカーに憧れてセキュリティの世界に飛び込む 「世界を広く良くした
新しいスタンダード？Elastic Serverlessの使い方や料金体系、特徴をまとめてみた - Taste of Tech Topics
こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 はじめに Elasticのマネージドサービスである Elasticsearch Service (Elastic Cloud) にサーバレスが登場しました。 今回はその使い方や特徴などについて紹介し、どういったシーンでの利用に適しているのか考察してみました。 ※記事中の情報は執筆時点のものであり、今後変更となる可能性があります。利用する際は最新の情報をご確認ください。 Elastic Cloud Serverless とは？ 従来のElastic Cloudは、オンプレミスでElasticsearchを運用するのに比べ管理コストを大きく削減することができる点や、柔軟にス
Solrのクラウド移行 -AWS ECS Fargateの事例- - LIVESENSE ENGINEER BLOG
はじめに 技術部インフラグループの春日です。 2024年現在、弊社が運営している マッハバイト は一部を除いてオンプレからクラウドへの移行が完了しました。 本記事では移行対象の1つであった Apache Solr に関する総括をします。 今回のプロジェクトでは移行自体を最優先とするため、スコープを以下に定めていました。 Apache Solrから他の検索エンジンへは乗り換えない アプリケーション側の改修は向き先の変更だけに留める Apache Solr自体のバージョンUP対応はしない 運用負荷を軽減できる形の構成変更を加える 移行スピードと移行後の運用コストとの天秤 新たに運用しないといけなくなるコンポーネントはなるべく増やさない モニタリングや監視の精度はなるべく落とさない 上記を踏まえ、以降の節ではApache Solrのサービス内利用箇所の紹介から始め、 インフラ構成・デプロイ・モニ
AWS Certified Data Engineer - Associate(DEA)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS Certified Data Engineer - Associate」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS Certified Data Engineer - Associate(DEA)」とは 「AWS Certified Data Engineer - Associate(DEA)」は、AWSクラウド環境下でデータパイプラインの設計、構築、運用、モ
ベクトルデータベース（Vector Database）／ベクトルストア（Vector Store）とは？
ベクトルデータベース（Vector Database）／ベクトルストア（Vector Store）とは？：AI・機械学習の用語辞典 ベクトルデータベースとは、テキストなどのデータを数値ベクトル（埋め込み）として保存するデータベースを指す。「ベクトルストア」とも呼ばれる。ベクトル検索により、意味的に類似する情報を探せるのが特徴で、チャットAIのRAG構築に役立つ。本稿ではベクトル検索の機能を持つ代表的な製品の概要もそれぞれ簡単に紹介する。 連載目次 用語解説 生成系AI／自然言語処理におけるベクトルデータベース（Vector Database、ベクターデータベース、ベクトルDB）とは、主に単語や文章（テキスト）、画像、音声などの複雑なデータを、AI／機械学習／言語モデルが処理しやすい数値ベクトル表現として保存するデータベースのことである。この数値ベクトル表現は「埋め込み表現（Embeddin
Azure OpenAI Service の Assistants API でデータ分析 - Taste of Tech Topics
こんにちは、igaです。 最近は気温の上下が大きいので、服装選びが大変ですね。 今回は、Azure OpenAI Servce Assistants APIを使ってみました。 Azure OpenAI Servce Assistants APIに横浜市の人口データを投入して、人口の増減がどう推移しているのか自動で分析させてみました。 Azure OpenAI Servce Assistants API Azure OpenAI Servce Assistants APIとは Azure OpenAI Servce Assistants APIは、2024年4月現在パブリックプレビューとして利用できる機能です。 learn.microsoft.com Azure OpenAI Servce Assistants API（以降、Assistantsと表記します）により、Azure OpenAI
はじめに こんにちは、SRE部 検索基盤SREブロックの花房です。普段は、ZOZOTOWNの検索関連マイクロサービスにおけるQCD改善やインフラ運用を担当しています。 以前まで、検索基盤を支えるチームではElastic Cloudの特権アカウントをメンバーで共用していました。本記事では、2023年4月にリリースされたElastic CloudのRBAC（Role-Based Access Control）機能を活用して、特権アカウントの共用から脱却した取り組みについて紹介します。さらに、既存機能と組み合わせることで実現した、効率的な権限管理についても紹介します。 同様の課題を抱えている読者の方には、下記の部分で参考になれば幸いです。 Elastic CloudにおけるSSOの活用 Elastic CloudのRBACによる権限管理の実例 Elastic Cloudアカウント情報を利用した、
現地参加して良かった！Snowflake Data Cloud Summit 2024！ - LayerX エンジニアブログ
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。2024年6月3日から6日にかけてサンフランシスコで開催されたSnowflake Data Cloud Summit 2024に現地参加してきました。本記事では、その様子や感想をレポートしようと思います。 Snowflake Data Cloud Summit 2024 とは？ Snowflake Data Cloud Summit 2024（以下、Summit）は2024年6月3日から6日にかけてサンフランシスコのモスコーニ・センターで開催された、Snowflake社が年次で主催する最大のユーザーカンファレンスです。Snowflakeの最新技術やデータクラウドの未来を語る基調講演に始まり、450を超えるセッションやハンズオンが行われました。参加者は全体で約1万5000人にのぼり、日本からは250人が
Difyの基礎知識
概要 Difyでどのようなことができるのか？他ツールとは、どのように違うのか？Difyのユースケースなどについて紹介します アジェンダ Difyとは？ (5分) 従来ツールとの比較 (5分) Dify環境構築の様子 (5分) 1分でGPTsっぽいチャットボット作成 (5分) ワークフローの活用 (5分) その他Difyの主要な機能紹介 (5分) Difyとは？ Dify（ディファイ）とは LLM（大規模言語モデル）アプリケーション開発プラットフォーム Difyの由来は、Define（定義）＋Modify（修正） AIアプリケーションを定義し、継続的に改善すること意味している 開発機能だけではなくアプリの公開や保守運用を簡素化するような機能が提供されている 作りっぱなしは簡単、LLMの爆発的な進化に合わせて継続的な改善活動が大切 アプリの実行履歴やどのような処理を行ったか実行内容の詳細が確認
Amazon Bedrock と Pinecone でマルチモーダル検索を行う - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、飼っている猫が寂しそうだから兄弟みたいな犬を連れてきてあげようかな、と思ったことはありませんか？ 私は猫も犬も飼ったことがないので何とも言えませんし、なぜ犬かはさておき、マルチモーダル検索を使えばそんな要望にも応えることができます。 茶トラにはレトリーバーがお似合い 概要 マルチモーダル検索 Titan Multimodal Embeddings Pinecone 構成 Titan Multimodal Embeddings でベクトル化する Pinecone で類似画像を検索する できること テキストでの検索 画像での検索 カテゴリを指定した検索 処理時間
Agents for Amazon Bedrock の作成がより簡単になった！ - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 先日Amazon Bedrock（以下、 Bedrock）の新機能が複数発表されましたが、今回は「Agents for Amazon Bedrock」（以下、エージェント）作成に追加されたアップデートを確認します。 以前、当社のブログでエージェントを扱った記事があったので、同じことをやってみて、どれくらい変わったのか確認してみます。 acro-engineer.hatenablog.com 概要 Bedrock エージェントでEC2インスタンスを作成する エージェント名入力 エージェントの詳細入力 アクショングループの追加 Lambda 作成 作成したエージェントを試
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Why is observability so expensive?
大手IT企業「経験者のみ採用」「他社が育てた人材欲しい」問題、どう攻略？
「生成AI×RAG」の効果と課題は？ 実装しないと「競争力を保てない」これだけの理由
3年間に及ぶ新規プロダクト開発の技術選定の振り返り - バイセル Tech Blog
バージョンアップ対応に苦労した過去の自分に送りたい7つの心得
The beginning of the end for Terraform?
情報検索モデルで最高性能(512トークン以下)・日本語版SPLADE v2をリリース - A Day in the Life
RFC 9562: Universally Unique IDentifiers (UUIDs)
フォロー新着: 多様なサービスに対応したタイムラインシステムの技術的変遷 - dwango on GitHub
Elastic Cloudの特権アカウント共用から脱却！ - ZOZO TECH BLOG