10X ソフトウェアエンジニアの @metalunk です。ネットスーパー、ネットドラッグストアのプラットフォームである Stailer 事業で、機械学習（ML）と検索を専門として働いています。 2024年4月からいま（2024年8月）までの5ヶ月間で6つの推薦機能をリリースできました。この成果を支えたのはチームと ML platform（機械学習の基盤システム）です。このブログではチームの取り組み、ML platform の機能、および具体的な成果についてご紹介します。 このブログは技術ブログの体ではありますが、さまざまな業界、職種の方に読んでいただくことを目指して執筆しました。 (3) 章, (5) 章だけは機械学習に取り組んでいる人向けの内容を含みますので興味のない方は読み飛ばしてもらって結構です（機械学習に取り組んでいなくても興味のある方はぜひ読んでください）が、それ以外は IT
Rails 8の次、Rails 8.1にはWebプッシュ通知、Elasticsearchを不要にするActive Record検索などを搭載するとDHH氏が説明
Rails 8の次、Rails 8.1にはWebプッシュ通知、Elasticsearchを不要にするActive Record検索などを搭載するとDHH氏が説明 9月26日と27日の2日間、カナダのトロントで開催されたRails World 2024の基調講演に立ったRuby on Rails（以下Rails）の作者であるDHH（David Heinemeier Hansson）氏は、次期Ruby on Railsとなる「Rails 8」の主な新機能を紹介した上で、その次の「Rails 8.1」に搭載予定の3つの新機能についても紹介しました。 Rails 8の新機能については別記事「DHH氏がRails 8の新機能を解説。Redisなど不要になり、SQLite対応でよりシンプルな構成に。Rails World 2024」をご覧ください。 Rails 8.1新機能の1つ目はWebプッシュ通知
オフェンシブ視点による Cloud Security 入門 ~AWS 編~ - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、AWS 環境における攻撃者のオフェンシブな視点で Cloud Security の入門として紹介します。 1. 始めに 免責事項 想定読者 2. クラウドにおける脅威 クラウドの重大セキュリティ脅威 11の悪質な脅威 クラウドサービス利用に関連するリスク Top 10 AWS セキュリティ構成ミス Top 10 3. AWS 環境における攻撃者の観点 3.1 AWS 環境の外部からの観点 3.2 AWS 環境の内部からの観点 4. MITRE ATT&CK Framework for Cloud (IaaS) 4.1 初期アクセス (Initial Access) 4.2 実行 (Execution) 4.3 永続化 (Persistence) 4.4 権限昇格 (Privilege Escalation) 4.5 防御回避
GPT-4Vのモデルを利用してOCRできるか試してみた - Taste of Tech Topics
こんにちは、安部です。 気温の上下に翻弄されて最近風邪をひいてしまいましたが、皆さま元気にお過ごしでしょうか。 今回は、GPT-4Vのモデルを利用して、OCRができるか試していきます。 GPT-4Vによって、「ChatGPTに目ができた」などと騒がれましたが、文字認識はどれくらいできるのでしょうか？ 得意分野ではなさそうですが、GPTも進化が目覚ましいので分かりませんね。 検証では、日本語(漢字/ひらがな/カタカナ)・英語の2言語で精度など比較していきます。 また、手書き・活字での違いも見ていきましょう。 一番簡単に試せるChatGPT（Web版）でOCRをさせようとするとエラーになることが多かったので、 ここではAPIを使っていくこととします。 APIを呼び出すプログラム 以下のコードを使い、gpt-4-vision-previewというモデルを呼び出しています。 画像は個人のgithu
RAG Fusionが思ってたより凄そう
こちらの記事はForget RAG, the Future is RAG-Fusionを噛み砕いて解釈したものをまとめたものになります。詳細（一次情報）が欲しい方は元の記事を読むことをお勧めします。 概要 RAG Fusionは単なる「新たな手法」ではなく「革新的な手法」です。 RAG Fusionは、従来の検索技術の制約を克服し、ユーザーのクエリに対してより豊かで文脈に即した結果を生成するために、RAG、Reciprocal Rank Fusion、生成されたクエリを組み合わせた新しいシステムになっています。 このシステムは、検索結果のリランキングと複数のユーザークエリ生成により、検索の正確性とユーザーの意図との一致を向上させることを目指した手法となっています。 RAGの課題 RAGにはHallucinationの軽減など、多くの利点がある一方で課題もあります。 RAG Fusion開発
AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編1） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 以下の構築編の記事でElastic Cloudを構築し、Security設定／認証設定を実施しました。 acro-engineer.hatenablog.com 本記事ではElastic Cloudを運用するにあたり、必要な各種設定を実施する手順を紹介します。 はじめに 1. Monitoring設定（Metric／Logs） 2. Snapshot設定 3. 監視設定 まとめ はじめに 以下本記事ではElastic Cloud(Elasticsearch
SIEM on Amazon OpenSearch Serviceによるセキュリティログの可視化について - SEGA TECH Blog
はじめに 株式会社セガ ｹﾞｰﾑｺﾝﾃﾝﾂ&ｻｰﾋﾞｽ事業本部技術本部開発IT支援部の長谷川と申します。今回はセキュリティログの活用法の一例としてSIEMを用いた可視化方法を紹介します。 目次 はじめに 目次 背景 Opensearch(Elasticsearch)とは SIEMとは Cognitoとは ユーザプールとは IDプールとは アーキテクチャ 設定方法 Cognitoによるログイン セキュリティログの可視化 補足 まとめ 参考 背景 昨今セキュリティ対策不足によるデータの抽出やサービス操作される被害が発生しており、ログからユーザの行動を抽出し、可視化するまでを一括管理できるものが求められていました。さまざまなサービスの中でSIEM on Amazon OpenSearch Serviceにてログ情報からユーザの行動を可視化・検索により原因を改善するができるため、利用し始めました。
It’s no secret that observability costs are top of mind for many organizations in the post-zero interest rate phenomenon (ZIRP) era (see here, here, and here for example discussions, though similar sentiments can be found far and wide). Organizations are frustrated with the percentage of infrastructure spend (sometimes > 25%!) allocated towards logging, metrics, and traces, and are struggling to u
NotebookLMでドキュメントベースのAIアシスタントを手軽に試してみた - Taste of Tech Topics
はじめに 台風も過ぎ、少しずつ夏へ向けて暑さが増してくる中、皆様いかがお過ごしでしょうか。 そろそろ仕事にも慣れてきた新人エンジニアの木介です。 今回は先日Googleより発表のあった簡単にドキュメントベースのAIアシスタントが使えるNotebookLMの紹介をしていきます。 はじめに NotebookLMとは？ 使い方 日本語能力の検証 コードを生成出来るか試してみる まとめ NotebookLMとは？ まずNotebookLMとはGoogleが試験的に提供を開始した、個別にカスタマイズが可能なAI調査アシスタントです。 notebooklm.google 具体的なサービス内容としては、ドキュメントをアップロードすると、その情報を元にした回答、要約を行うAIアシスタントが利用できます。 こちらのサービス自体は2023年7月には英語版のみで提供が開始されていましたが、2024年6月6日より
Sakana.aiが公開した「Evolutionary Model Merge」手法を「mergekit」で実施してみる - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日々、LLMが進化していて、画像が本職（のはず）の私ですら、ここ数年LLMの勉強をはじめています。 学習してモデル公開しましたといった記事はよく見ますが、今回は今、非常に注目されている日本に拠点があるAIスタートアップである「Sakana.ai」が公開した「Evolutionary Model Merge」を使う話をします。 Evolutionary Model Merge 「Evolutionary Model Merge」は「Sakana.ai」から発表された進化的モデルマージと呼ばれる技術です。 端的に言ってしまえば、複数のモデルを利用して新し
はじめに こんにちは！ テラーノベルでサーバーサイドを担当している@yuhasです。 テラーノベルには作品や作家さんの検索機能があり、ユーザーさんの読みたい作品や興味のある作家さんを提示できる検索機能は重要な機能の一つです。 直近でその検索まわりを一新することになり、Cloud RunでElasticsearchを運用することになりました。 Cloud Runで運用することでオートスケールなど多くの恩恵を受けられる一方で、状態をもつElasticsearchをコンテナで動かしていくのは単純なことではありません。 今回はどのようにしてCloud RunでElasticsearchを運用しているのかをお話しできればと思います。 モチベーション もともと外部の検索サービス（SaaS）を利用して検索機能を提供していましたが、インフラ面でのコストを下げたいという話があり、代替手段を模索していました。
Elasticsearchのshard数の増加により発生するオーバーヘッドの正体 | メルカリエンジニアリング
Mercari Search Infra Teamのmrkm4ntrです。 Elasticsearchは1ノードに載り切らない量のデータも複数のshardに分割し、複数のノードに載せることで検索が可能になります。shard数を増やすことで並列にスキャンするドキュメントの数が増えるためlatencyが改善します。ではshard数はいくらでも増やせるのでしょうか？もちろんそのようなことはなく、Elastic社の公式ブログ(https://www.elastic.co/jp/blog/how-many-shards-should-i-have-in-my-elasticsearch-cluster )にもあるようにshard数を増やすことによるオーバーヘッドが存在します。ただしそのオーバーヘッドが具体的に何を指すのかは、先ほどの記事では明らかにされていません。本記事ではそのオーバーヘッドの正体を
AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編２） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 AWSでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編1 acro-engineer.hatenablog.com 本記事では運用編２としてElastic Cloudにおいて以下を実施する手順を紹介します。 はじめに 1. バージョンアップ 2. 監査ログ設定 まとめ はじめに 本記事では、Elastic Cloud(Elasti
日常をすべて猫に変換、『にゃんだふるGAI』をGPT Storeに公開しました。 - Taste of Tech Topics
最近肌寒い日々が続きますね、暖冬はどこへ行ったのやら。。菅野です。 ChatGPTを利用してGPTを誰でも簡単に作成できるサービス、GPTsが公開されてから早くも二か月が経過しようとしています。 私自身も様々なGPTの作成を試してきましたが、今回、ついにそれらのGPTを公開できるGPT Storeが公開されました。 openai.com さっそく私もアプリを公開してみたので、GPT Storeの紹介をしつつ、どのようなGPTを作ったかを紹介していこうと思います。 GPTsでどのようにアプリを作成するのかは以下のブログ記事を参照して下さい。 acro-engineer.hatenablog.com GPT Storeとは ユーザが作成した様々なGPTを公開するためのプラットフォームです。 アクセスするにはChatGPTの有償サブスクリプションChatGPT Plusに加入している必要がありま
「gettyimages」より 特に人手不足が深刻だといわれるIT業界だが、求人の募集条件が「経験者限定」ばかりで「未経験者が入り込める隙がない」「どこで育てているの？」という指摘や疑問が一部で話題を呼んでいる。未経験者がIT業界でエンジニアとして働くにはどうすればよいのか。また、誰もが社名を知る有名IT企業に就職するには、どうすればよいのか。業界関係者の見解を交えて追ってみたい。 多くの業界で人手不足が叫ばれるなか、成長が続くIT業界の人手不足は顕著だ。IT･Web領域における人材紹介事業を手掛けるレバテックの調査によれば、ITエンジニア・クリエイターの正社員求人倍率は12.9倍にも上る（2023年6月時点）。 「特にニーズが高いのがAI（人工知能）、データサイエンス、セキュリティ分野の人材。外資系IT企業では、大学院でこれらの領域を学ぶ人材に新卒1年目で年収1000万円を提示するケース
AWSでElastic Cloudを利用する 2024年版（構築編） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） 皆さんはElastic Cloudを利用されたことはあるでしょうか？ Elastic CloudはElastic社が提供しているSaaSサービスで、クラウドプロバイダはAWS、Azure、GCPをサポートしています。 最新バージョンのクラスタ構築や、既存クラスタのバージョンアップを数クリックで実施できるため、導入がお手軽です。 しかし実際に利用するとなると アクセス制限やCognito連携など、考慮すべきことが多くあります。 意外にハマりどころが多い所だと思うので、手順や注意事項などをまとめ
Amazon BedrockのKnowledge baseで簡単にRAGを構築 - Taste of Tech Topics
ポトフがおいしい季節ですね、菅野です。 Amazon BedrockのKnowledge baseがGAとなり、Amazon BedrockでもRAGが作成できるようになりました。 docs.aws.amazon.com 今回はKnowledgeベースを実際に作成して統計データを検索するRAGを構築してみます。 RAGとは RAGアーキテクチャ（Retrieval-Augmented Generation）は、自然言語処理において、Google検索のような検索技術と、ChatGPTのような文章生成技術を組み合わせた技術です。 このアーキテクチャを利用すると、生成AIが学習していないデータ、例えば自社の内部レポートのようなデータを用いて、ChatGPTライクな応答システムを構築できます。 具体的には、何か質問を受けると、質問に関連した文章を検索し、その検索結果を元に自然となるような回答を生成
「生成AI×RAG」の効果と課題は？ 実装しないと「競争力を保てない」これだけの理由（1/2 ページ） 生成AIの普及によって、外部情報の検索を組み合わせて回答精度を向上させる「RAG」（検索拡張生成）は、IT業界のトレンドになっている。ただ、実際にRAGをどのように活用すればいいのか理解している企業は、多いとはいえない。 Linuxに代表されるオープンソースソフトウェアを活用したシステムインテグレーションを原点とし、SaaSの販売などを手掛けるサイオステクノロジー（東京都港区）は、オランダに本社を置き、分析エンジンなどを手掛けるElastic社の子会社であるElasticsearch社と提携した。Elasticが世界で提供している「サーチ」「セキュリティ」「オブザーバビリティ」の3つのソリューションについて、日本での展開を始めている。特に「サーチ」については、生成AIと組み合わせたRAG
サイボウズで活躍中のid:itchynyを訪問 | はてな卒業生訪問企画 [#11] - Hatena Developer Blog
こんにちは、CTOの id:motemen です。 Hatena Developer Blogの連載企画「卒業生訪問インタビュー」では、創業からはてなの開発に関わってきた取締役の id:onishi、CTOの id:motemen、エンジニアリングマネージャーの id:onkが、いま会いたい元はてなスタッフを訪問してお話を伺っていきます。 id:motemenが担当する第11回のゲストは、サイボウズ株式会社でソフトウェアエンジニアとして活躍しているid:itchynyさんこと、濱田健さんです。 itchynyさんは、京都大学大学院工学研究科電子工学専攻修了後、はてなに入社。Mackerelチームやはてなブックマークチームでアプリケーションエンジニアとして活躍していただいていました。2021年にサイボウズ株式会社に転職し、Webアプリケーションエンジニアとして、kintoneの基盤チームで開
![サイボウズで活躍中のid:itchynyを訪問 | はてな卒業生訪問企画 [#11] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/0ea787ee995bc55b12d587f4c19311d3d51c3ba7/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Ff4c0575e0ae90eb8cfa7738e1e30c80663fcf5b8%2Fbackend%3Dimagemagick%3Bheight%3D1300%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fh%252Fhatenatech%252F20180731%252F20180731175339.jpg)
ElasticsearchのANNを利用して100万件のベクトル検索を高速化！ - Taste of Tech Topics
この記事は Elastic Stack (Elasticsearch) Advent Calendar 2023 18日目の記事です。 こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 さて、最近はLLMの発展に伴ってRAG（Retrieval-Augumented Generation）が盛んに活用されています。 その中で、キーワードベースの検索だけでなくベクトル検索を併用するケースが多く見られ、実際にElasticsearchが利用されているケースも多く目にします。そのため、Elasticsearchのベクトル検索に興味を持っている方も多いと思います。今回の記事では、Elasticsearchのベクトル検索の速度な
こんにちは。 株式会社ココナラでバックエンド開発に従事するRKと申します。 みなさまはシステムのバージョンアップ対応をした経験はありますでしょうか？ システムの安定稼働に配慮して一定期間で実施している場合もあれば、利用しているライブラリや開発言語そのものの End Of Life（以降、EOL） によってバージョンアップを余儀なくされて実施した場合もあるでしょう。 どちらにせよ、ユーザーの皆様に安心してシステムをご利用いただくためにも、バージョンアップ対応はとても大事な作業の1つとなります。 弊社ココナラでも、もう少しでEOLを迎える／迎えた開発言語や環境を持つシステムは存在します。 本記事では、ココナラのとあるシステムのバージョンアップ作業対応を実施した際の私自身のふりかえり内容を記載します。 本当にこの記事を過去の自分に送って読ませたい。 なお、弊社ではすでにバージョンアップに関連する
Amazon Bedrock（Claude2）でPythonのソースコード／テストコードの生成を確認してみた - Taste of Tech Topics
こんにちは、最近久々にソロキャンプをしてきました菅野です。 AWS上で、 様々なAIモデルを利用できるようになるサービス、Amazon Bedrockがリリースされました、と書き続けてそろそろひと月が経過しております。 楽しみながら様々なモデルを利用していたらあっという間に時間がたってしまいました。 今回は、BedrockのClaudeV2モデルを用いてPythonコードとテストコードを生成してみようと思います。 Bedrockの説明は、以下を参照してください。 acro-engineer.hatenablog.com 「Fizz Buzz」の生成 プログラミングの初歩も初歩、定番の課題といえばFizz Buzzです。 1-100までの数字のうち、3の倍数の時にはFizzを、5の倍数の時はBuzzを、３の倍数且つ、5の倍数の時はFizzBuzzと、それ以外の時はその数字を表示するプログラム
AWSで生成AIアプリの開発が可能な『PartyRock』でポエムアプリを作ってみた - Taste of Tech Topics
こんにちは、先日千葉に遊びにいったらアクアライン通行止めで東京湾迂回する羽目になった菅野です。 ChatGPTにて手軽にアプリケーションを自動で生成できるGPTsが世の中では大きな反響を呼んでいます。 プログラミングレスでChatGPTを利用するアプリを生成できるので、プログラマー以外の人がどんどん生成AIを利用するような流れが出来つつありますね。 さて、そのような流れにのってAmazonBedrockを利用してアプリを生成、共有するサービス、PartyRockがAWSからリリースされました。 早速利用してみましょう。 https://partyrock.aws/partyrock.aws PartyRockの始め方 アカウントの作成 PartyRockはAWSが提供するサービスではありますが、AWSアカウントとは別のアカウントを作成する必要があります。 PartyRockのサイトにアクセ
検索エンジンをVespaへ移行しています こんにちは、スタンバイで検索周りの開発を担当している鷹取です。 今回はスタンバイで利用している検索エンジンをVespaへ移行している話を紹介します。 検索エンジン移行の背景 Stanby Tech Blogのスタンバイ2+1年の軌跡の記事で説明されている通り、 スタンバイでは、主に求人検索機能を提供していますが、その中でもオーガニック(無料掲載)と広告(有料掲載)という２種類の検索が存在します。 この2種類の検索ではそれぞれで異なる検索エンジンを使用しています。 オーガニック検索: Yahoo! ABYSSという検索プラットフォーム 広告検索: Elasticsearch このようになっている背景については、前述の記事に詳細が記載されていますので、興味がある方はそちらをご参照ください。これまで、この２種類の検索エンジンを運用してきましたが、それぞれ
Source:imgflip.comAs I write this on the 25th of April, I am still reeling from the announcement of IBM’s acquisition of Hashicorp. When I first heard the rumours yesterday, I was concerned about the future of possibly my favourite Infrastructure-as-code (IaC) tool. It has long been obvious that Hashicorp has been struggling to make money, making a $274 million loss in 2023. This undoubtedly led t
Amazon Bedrock で Titan Image Generator を使って画像生成 - Taste of Tech Topics
今度、寝台列車で旅行に行きたいな、と思って先日予約に挑んでみたのですが、残念ながら予約競争に敗北してしまった、菅野です。 寝台列車は、今も人気が高いんですね。 ChatGPTでもDALL·E 3を用いることが出来るようになるなど、生成AIでも画像生成や読み込みなど一般的に用いられるようになってきました。 Amazonで利用できる生成AIプラットフォーム、Amazon Bedrokでも、以前から画像生成モデルとして世界的にも最も有名なStability AIが提供するStable DiffusionSDXLモデルを用いた画像生成が可能でしたが、 AmazonオリジナルのモデルTitanからも画像生成を行えるモデル、Titan Image Generatorも利用できるようになっています。 今回は、Titan Image Generatorを用いて実際にどのような画像生成ができるのかを見ていき
Amazon Kendra の Custom Document Enrichment と Amazon Bedrock で画像検索に対応する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、「前のプレゼン資料に使った、犬の画像はどこいったかな？あの画像が欲しいので、探してくれないかな？」と無茶振りされたことはありませんか？ そんな時でも、「舌を出して喜んでいる」と検索すれば画像がヒットし、こんな無茶振りにも応えることができるシステムを Amazon Kendra （以下、 Kendra ）で構築しました。 舌を出して喜んでいる犬 ちょっと待って Kendra は機械学習を利用した検索サービスで、ウェブサイトや S3 に保存したドキュメントなどをもとに、適切な検索結果を返します。 しかし、 Kendra で検索できるのはテキストだけで、画像を S
AWSが主導する「OpenSearch」、Linux Software Foundation傘下の「OpenSearch Software Foundation」発足
AWSが主導する「OpenSearch」、Linux Software Foundation傘下の「OpenSearch Software Foundation」発足 Linux Foundationは、オープンソースとして開発されているOpenSearchを推進する団体「OpenSearch Software Foundation」の発足を発表しました。 The #OpenSearch Project is now part of the newly formed OpenSearch Software Foundation, a community-driven initiative under @linuxfoundation. This marks a major milestone & we couldn't be more excited to share our though
Elasticsearch Query Language (ES|QL) now generally available — Search Labs
Elasticsearch piped query language, ES|QL, now generally available Today, we are pleased to announce the general availability of ES|QL (Elasticsearch Query Language), a dynamic language designed from the ground up to transform, enrich, and simplify data investigations. Powered by a new query engine, ES|QL delivers advanced search using simple and familiar query syntax with concurrent processing, e
Dataflow Indexer データ整合性担保と性能改善 - LegalOn Technologies Engineering Blog
はじめに こんにちは。LegalOn Technologies 検索・推薦チームの臼井（jusui）です。 私たちのチームは、LegalOn Technologies が提供する主要サービス—「LegalOn Cloud」、「LegalForce」、「LegalForceキャビネ」—の検索・推薦システムの開発と運用を担当しています。 2024年7月に当チームから「Dataflow 実践開発セットアップ」を公開しました。 tech.legalforce.co.jp 今回は、2024年4月から提供開始した弊社の新サービス「LegalOn Cloud」の初回リリースに向けて開発した Indexing pipeline とその後の改善についてご紹介します。具体的には、Cloud Pub/Sub と Cloud Dataflow を活用した Indexing pipeline の開発により、Elas
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 1月26日（金）に最終報告会が開催されたAI王の問題作成部門でYAMALEXチームが準優勝しました。 今回のブログでは、そのAI王について執筆します。先に一言感想ですが、最高に面白かったです。 問題作成部門準優勝賞状 AI王とは 私たちの取り組み 最終報告会 出場してよかったこと プロンプトを使う上での学び 作成したクイズをプロに解いてもらえる貴重な体験 最後に AI王とは 「AI王」は、日本国内の質問応答研究を促進させることを目的とした、日本語のクイズ問題を題材とした質問応答システムのコンペティションです。 今年で4回目の開催となり、「早押し解答部
Agents for Amazon Bedrock でEC2インスタンス作成エージェントを作ってみた - Taste of Tech Topics
肌寒い日が続き、ついに我が家でも毛布を引っ張り出してきました、菅野です。 AWS re:Inventが開催され、AWSでは、150件以上の新サービスやアップデートの発表がありました。 Amazon Bedrockにも新機能が発表され、実際のシステムにも導入していきたいというかたも増えているのではないでしょうか？ 今回のブログではGAになったAgents for Amazon Bedrockを実際に利用し EC2インスタンスを作成するエージェントを作ってみます。 aws.amazon.com Agents for Amazon Bedrockとは 生成AIのアプリケーション作成を助けるシステムです。 ユーザーは、自然言語を用いてAIアプリで実施したいタスクを入力します。 Agents for Amazon Bedrockは上記のタスクを推論モデルを用いて細分化、複数ステップのタスクに自動で分
AzureでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編１） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAzure編の記事になります。 AzureでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編2 ＜運用編２ 近日公開予定!!＞ 本記事では運用編1として、Elastic Cloudを運用するにあたり必要な各種設定を実施する手順を紹介します。 はじめに 1. Monitoring設定（Metric／Logs） 2. Snapshot設定 3. 監視設定 まとめ
Internet Engineering Task Force (IETF) K. Davis Request for Comments: 9562 Cisco Systems Obsoletes: 4122 B. Peabody Category: Standards Track Uncloud ISSN: 2070-1721 P. Leach University of Washington May 2024 Universally Unique IDentifiers (UUIDs) Abstract This specification defines UUIDs (Universally Unique IDentifiers) -- also known as GUIDs (Globally Unique IDentifiers) -- and a Uniform Resou
こんにちは。ニコニコ共通バックエンド開発担当の小野塚です。 2024年8月8日から順次「フォロー新着」機能がリリースされましたので、技術的な側面についてこれまでの歴史やニコニコに特徴的な点を含めご紹介したいと思います。 フォロー新着とは フォロー新着とは、フォローしているユーザー、チャンネル（入会しているチャンネルを含む）、マイリストの更新情報をまとめて新着順にタイムラインとして見られる機能です。 2024年9月リリース予定で開発を進めていましたが、前身であるニコレポのシステムがサイバー攻撃によってダウンしたため、代替として急遽前倒しでリリースされました。[1] フォロー新着システムに至るまでの歴史 今回のフォロー新着のために開発したシステムは、ニコレポ時代から数えると3つ目のタイムラインシステムとなります。 以前のシステムについて公開されている情報も無いようですので、これを機に簡単に紹介
どんなトピックでも常識チェック！『ニャンでも常識テスト』をGPT Storeに公開しました - Taste of Tech Topics
こんにちは、安部です。 まだまだ寒い日が続きますが、皆さま元気にお過ごしでしょうか。 以前このブログで、作成したGPTのご紹介をしましたが、今回はその第二弾として新たに作成したGPTの紹介をしたいと思います。 第一弾で紹介したGPTについては、以下のブログ記事を参照してください。 acro-engineer.hatenablog.com 『ニャンでも常識テスト』とは？ 概要 今回作成したのは、『ニャンでも常識テスト』。 こちらからテーマを与えれば、どんなテーマでも基本的知識を問う問題を10問出題してくれます。 また、採点もしてくれて、不明点があれば当然質問して補足説明・解説をしてもらうことができます。 自分の常識を試してみてもよし、ちょっとした集まりでお遊びに使ってもよし、学習中の分野に関して 腕試しに使ってみてもよしと、様々な使い方ができると思います。 chat.openai.com 使
「Black Hatに採択される」という大きな目標を達成したセキュリティ研究者が次に目指したのは現場への貢献 - Findy Engineer Lab
はじめまして、中島明日香（@AsuNa_jp）です！ 私は14歳の頃にハッカーに憧れてセキュリティの世界に飛び込んで以来、セキュリティひと筋なキャリアを歩んできました。大学でセキュリティを学び、卒業後も研究開発者として10年以上さまざまなセキュリティの研究開発に携わってきました。 本記事では、私自身のキャリアの歩みについて紹介します。今までどのような仕事に携わってきたかだけでなく、大学卒業時の就職や一昨年に経験した転職など、キャリアの節目においてどのように考え、選択してきたのかについても触れています。 私のこれまでの歩みが、皆様が自分らしいキャリアを歩む参考になればたいへん嬉（うれ）しく思います。 ▲ Black Hat Asia 2023のロックノート（閉会時基調講演）となるパネルセッションに登壇する筆者（左から2人目） ハッカーに憧れてセキュリティの世界に飛び込む 「世界を広く良くした
新しいスタンダード？Elastic Serverlessの使い方や料金体系、特徴をまとめてみた - Taste of Tech Topics
こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 はじめに Elasticのマネージドサービスである Elasticsearch Service (Elastic Cloud) にサーバレスが登場しました。 今回はその使い方や特徴などについて紹介し、どういったシーンでの利用に適しているのか考察してみました。 ※記事中の情報は執筆時点のものであり、今後変更となる可能性があります。利用する際は最新の情報をご確認ください。 Elastic Cloud Serverless とは？ 従来のElastic Cloudは、オンプレミスでElasticsearchを運用するのに比べ管理コストを大きく削減することができる点や、柔軟にス
Solrのクラウド移行 -AWS ECS Fargateの事例- - LIVESENSE ENGINEER BLOG
はじめに 技術部インフラグループの春日です。 2024年現在、弊社が運営している マッハバイト は一部を除いてオンプレからクラウドへの移行が完了しました。 本記事では移行対象の1つであった Apache Solr に関する総括をします。 今回のプロジェクトでは移行自体を最優先とするため、スコープを以下に定めていました。 Apache Solrから他の検索エンジンへは乗り換えない アプリケーション側の改修は向き先の変更だけに留める Apache Solr自体のバージョンUP対応はしない 運用負荷を軽減できる形の構成変更を加える 移行スピードと移行後の運用コストとの天秤 新たに運用しないといけなくなるコンポーネントはなるべく増やさない モニタリングや監視の精度はなるべく落とさない 上記を踏まえ、以降の節ではApache Solrのサービス内利用箇所の紹介から始め、 インフラ構成・デプロイ・モニ
The product https://joinmastodon.org Mastodon is a free, open-source social network server based on ActivityPub where users can follow friends and discover new ones. On Mastodon, users can publish anything they want: links, pictures, text, and video. All Mastodon servers are interoperable as a federated network. Open source The project is open source at https://github.com/mastodon/mastodon License
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
10X の推薦を作るチームと ML platform - 10X Product Blog
Why is observability so expensive?
【Cloud Run】ElasticsearchをCloud Runで運用する
大手IT企業「経験者のみ採用」「他社が育てた人材欲しい」問題、どう攻略？
「生成AI×RAG」の効果と課題は？ 実装しないと「競争力を保てない」これだけの理由
バージョンアップ対応に苦労した過去の自分に送りたい7つの心得
検索エンジンをVespaへ移行しています - Stanby Tech Blog
The beginning of the end for Terraform?
AI王で準優勝を獲りました - Taste of Tech Topics
RFC 9562: Universally Unique IDentifiers (UUIDs)
フォロー新着: 多様なサービスに対応したタイムラインシステムの技術的変遷 - dwango on GitHub
Mastodon: Ruby on Rails Open Source Web App