Amazon CloudWatch のクエリを自然言語で生成できるようになりました (プレビュー) #AWSreInvent | DevelopersIO
どんなクエリを投げれば良いのか分からない こんにちは、のんピ(@non____97)です。 皆さんはCloudWatch Logs InsightsやCloudWatch Metrics Insightsにどんなクエリを投げれば良いのか分からないなと思ったことはありますか? 私はあります。 CloudWatch Metrics Insightsにはビルダー機能は存在しますが、それでも慣れていない方からするとハードルは高いように思えます。 今回、アップデートによりCloudWatch Logs InsightsやCloudWatch Metrics Insightsにて自然言語でクエリ生成ができるようになりました。 (2023/11/26時点ではプレビューです) AWS Blogsも公開されています。 Use natural language to query Amazon CloudWat
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 オブサーバビリティの基盤を用意することは簡単ではありません。(難しくもありません) そして、それを運用していくコストも考えなければなりません。顧客向けのサービスではないので、導入するにあたりプロジェクトオーナーを説得できない場合もあるかもしれません。 それが CloudWatch の画面だけで完結するとしたら素敵なことですね。 Grafana も Prometheus も Jaeger も要りません。CloudWatch だけです。 デモ Docker compose で Application Signals を体験できるデモを作りました。このデモを触りながら Application Signals の機能を理解していきましょう。 構成は以下になります。
Introducing humanfs (formerly fsx): A modern filesystem API for JavaScript - Human Who Codes
The JavaScript APIs we have today are so much better than those we had even a decade ago. Consider the transition for XMLHttpRequest to fetch(): the developer experience is dramatically better, allowing us to write more succinct, functional code that accomplishes the same thing. The introduction of promises for asynchronous programming allowed this change, along with a series of other changes that
新米Google Cloud管理者の奮闘記のその後 〜Organizationの秩序を維持する試み〜 - ZOZO TECH BLOG
こんにちは、技術本部ML・データ部データ基盤ブロックの塩崎です。最近の気になる論文は、こちら1の動物病院での猫のストレスが音楽によって低減されるというものです。 さて、2年前にGCPの新米管理者になり色々と頑張っていますという内容のブログを公開しました。当時は対応が後手に回ってしまっていた内容でしたが、その後2年が経ったので、最近のGoogle Cloud管理者事情も紹介いたします。 この記事はGoogle Cloud Next'23 Tokyoの発表内容をブログにしたものです。イベント終了後にスライド公開が解禁されるため、終了し次第スライドも本記事に貼り付ける予定です。 前回のおさらい まずは、前回に公開した記事を軽く振り返ります。2年前に以下の記事を公開しました。幸いなことにSNSで多くの反応を頂き、弊社だけでなく多くの会社が管理業務に苦労している事がわかりました。 techblog.
Blog - Private Cloud Compute: A new frontier for AI privacy in the cloud - Apple Security Research
Private Cloud Compute: A new frontier for AI privacy in the cloud Written by Apple Security Engineering and Architecture (SEAR), User Privacy, Core Operating Systems (Core OS), Services Engineering (ASE), and Machine Learning and AI (AIML) Apple Intelligence is the personal intelligence system that brings powerful generative models to iPhone, iPad, and Mac. For advanced features that need to reaso
CloudWatch Logsのロググループ名とログストリーム名の命名規則を一部のAWSサービスに限りまとめてみた | DevelopersIO
はじめに マルチアカウント構成において、アカウント発行後にCloudFormationを使ってアカウントのベースライン(セキュリティ、ネットワーク、ログ等)を構築することがよくあります。 その際、AWSサービスごとに1つのロググループをベースラインで作成するか、メンバーアカウント側で必要に応じてロググループを作成するかを検討する必要があります。 1つのロググループに複数のリソースのログを集約する方法と、リソースごとにロググループを作成する方法には、それぞれメリットとデメリットがあります。 1つのロググループを集約する メリット 管理するリソースが減る 手動で作成する手間が減る ログをクエリする際、関連するログが1つのロググループにまとめられていると効率的になることがある デメリット １秒間のログイベント書き込みには制限があるため、エラーになる可能性がある 各リソースごとに識別できるログスト
SREチームの前多です。以前、Google Cloudが提供するサービスメッシュのAnthos Service Meshの入門記事を書きました。 caddi.tech この記事のまとめで私は、Istio (Anthos Service MeshのベースのOSS) を詳しく知るには、envoyのことをもっと知る必要があると書きました。 そしてサービスメッシュで何かエラーが起きているとき、それはサービスメッシュ自体ではなく インフラやアプリケーションのバグや設定ミスがサービスメッシュによってあぶり出されるということも述べました。 先日、サービスメッシュ上でPod間のgRPC通信が特定条件で失敗し、サイドカーがない場合のみ通信が成功するという事象が起きていました。 gRPCのライブラリのアップデートやIssueの調査しましたが、原因がわからずサイドカーを外すしかないかと思っていました。 最終手段
The Ultimate Interactive JQ Guide Learn how to search, query, and modify JSON data with 25 interactive jq examples and explainations Cover Photo by Pixabay Has this ever happened to you? You’ve just received a massive JSON file that looks like it was designed to confuse you. Or maybe you entered a command, and you got so much JSON that it looks incomprehensible. The data you need is buried inside,
モバイルクライアントアプリにおける「どんなログを出してるのか？」「どの様に役立てているのか？」事例 - KAYAC engineers' blog
このエントリは【カヤック】面白法人グループ Advent Calendar 2023の19日目の記事です。 こんにちは。カヤックアキバスタジオの須藤崇浩(@p_chin)と申します。 本記事では私のログに対する考えと、実際にどの様なログを出して、どの様に役立ててるかを紹介します。 また、記事内ではUnity製のモバイルゲームでの事例に限定して話をします。(モバイル以外のクライアントアプリにも応用可能だと思いますが) おそらく周りでも同じ様な事をやっていそうですが、開発の参考になれば幸いです。 私のログを出す際の考え方 具体的にどんな場合にログを出して役立てているのか？の例 実際に出しているログファイルについて紹介 エラーリスト ログ出力時の機種 / アプリ特有の状態リスト 全てのログを含めたもの 以前に起動した時のエラーリスト ログ出力時にメモリに載っているリソースリスト ログ出力時の画面
はじめに ラブグラフ 開発チーム インターン の こるく です。 私がラブグラフに Join してまず感動したのが、コマンド一発で完了する超お手軽な環境構築でした。 普通プロジェクトに Join するときは面倒な環境構築をする必要がありますが、ラブグラフではそれが全くありませんでした。 ということで今回は、それを実現している Make と Docker を使って、開発、テスト、CI、本番のすべての環境で、ランタイムの環境と環境変数の設定をすべてコードベース ( IaC というやつ？ ) でラクに共有して開発体験を爆アゲしようと思います。 この構成が目指すところ ✅ 環境で悩むことをなくして開発体験を爆アゲする ✅ 環境構築をコマンド一発でできるようにする ✅ ついでにテストもコマンド一発でできるようにする ✅ 環境変数をホストマシンのシェルから排除し、コードの一部としてリポジトリ内で管理す
GitHub - langgenius/dify: Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to p
Dify Cloud · Self-hosting · Documentation · Enterprise inquiry Dify is an open-source LLM app development platform. Its intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production. Here's a list of the core features: 1. Workflow: Build and test powerful AI workflows on a visual ca
GitHub - OpenSignLabs/OpenSign: 🔥 The free & Open Source DocuSign alternative
Secure PDF E-Signing: With the help of robust encryption algorithms, OpenSign™ ensures maximum security, privacy & compatibility. Annotate Documents: OpenSign™ allows you to annotate PDF documents with an advanced signing pad that allows hand drawn signatures, uploaded images, typed signatures & saved signatures for the simplest signing experience ever. User-Friendly Interface: OpenSign™ was built
WEELメディア事業部テックリサーチャーの藤崎です。 2023年11月21日に、Microsoftから小規模言語モデルの「Orca-2-13b」が公開されました。 このモデルはmeta社が開発したLLAMA 2と呼ばれる言語モデルをベースにしており、推論能力を向上させるために開発されました。 Orca-2-13bを発表したMicrosoft Researchのツイートは早くも1000を超えるいいねを獲得しており、高い注目を集めていることがわかります。 この記事ではOrca-2-13bの導入方法や使い方、どこまでできるのかの検証を行います。 ベースとなったLLAMA-2とも比較しているので、ぜひ最後までご覧ください。 Orca-2-13bの概要 Orca-2-13bはMicrosoftが発表した小規模な言語モデルで、meta社が開発したLLAMA 2をベースにファインチューニングされており、
Ruby 3.3でのアップデートも要チェック！まちのコインでYJITを有効化したはなし - KAYAC Engineers' Blog
SREチームの長田です。 今回はRubyのJITコンパイラであるYJITのはなしです。 カヤックが開発・運用している地域通貨サービス「まちのコイン」は、Ruby on Railsを使用しています。 このまちのコインにてYJITを有効化し、その結果どのような影響があったのかを紹介します。 coin.machino.co YJITとは YJITは RubyのJITコンパイラです。 Ruby 3.1までは実験的な機能という位置づけでしたが、 Ruby 3.2から実用段階となりました。 Basic Block Versioning (BBV)を採用した遅延コンパイルにより、コード実行の高速化を図っているようです。 YJITそのものの話題については、今回は割愛させていただきます。 まちのコインの状況 まちのコインでは昨年6月末頃に Ruby 3.1.x から Ruby 3.2.x にアップデートを行
Amazon CloudWatch Logs announces streaming API support for Live Tail
We are excited to announce streaming API support for Amazon CloudWatch Logs Live Tail, making it possible to programmatically view, search and filter relevant log events in real-time. You can now view your logs interactively in real-time as they’re ingested within your own custom applications or dashboards inside or outside of AWS. Live Tail console has been providing customers a rich out-of-the-b
Okta Hack Blamed on Employee Using Personal Google Account on Company Laptop
CISO Strategy Okta Hack Blamed on Employee Using Personal Google Account on Company Laptop Okta is blaming the recent hack of its support system on an employee who logged into a personal Google account on a company-managed laptop. Okta is blaming the recent hack of its support system on an employee who logged into a personal Google account on a company-managed laptop, exposing credentials that led
Assumed audience: People who have worked with Git or other modern version control systems like Mercurial, Darcs, Pijul, Bazaar, etc., and have at least a basic idea of how they work. Jujutsu is a new version control system from a software engineer at Google, where it is on track to replace Google’s existing version control systems (historically: Perforce, Piper, and Mercurial). I find it interesti
dbt exposureによるデータ基盤アウトプットの登録を自動化しました - Timee Product Team Blog
はじめに 課題感・背景 使用しているBIツールについて BIツールの使用ボリューム感について やったこと：概要 やったこと：詳細 referenced tableにテーブル名ではなくdbtモデル名が入るようにしたことについて 各種アウトプットの公開設定をmeta情報として付与する方針としたことについて tagを追加してexposureの検索性を向上させたこと exposureのnameにシートとダッシュボードのタイトルを反映する方針にしたこと 今後の発展 保守運用の設計 カラムレベルリネージュ ✖️ exposure おわりに We're Hiring!! はじめに こんにちは。okodooonです！！ データ基盤を参照したアウトプットが社内に溢れかえっていませんか？ 弊社は追いきれていないLookerStudioやConnectedSheetがめちゃくちゃ溢れかえっていました。 そんな折
What We Learned Inside a North Korean Internet Server: How Well Do You Know Your Partners? - 38 North: Informed Analysis of North Korea
A misconfigured North Korean Internet cloud server has provided a fascinating glance into the world of North Korean animation outsourcing and how foreign companies might be inadvertently employing North Korean companies on information technology (IT) projects. The incident also underlines how difficult it is for foreign companies to verify their outsourced work is not potentially breaking sanction
以上の点を踏まえると、類似処理をグルーピングし、グループごとの総計算リソース消費量を比較することで、改善すべき処理群をより効率的に特定できます。私たちは、類似処理のグルーピングに際して、以下の3つの要素を用いました。 実行されたクエリのユーザクエリで参照されたテーブルのリスト各クエリによる計算リソースの消費量 これらの情報を用いたグルーピングにより、クエリ文字列が若干異なるものであっても、同一の処理として比較を行うことが可能になります。実際に私たちが行った手順は以下の通りです。 クエリ実行ログの収集収集したクエリ実行ログから参照テーブルリストを抽出分析可能にするためのログテーブルの作成グルーピングと最適化を検討すべき処理群の特定 「クエリ実行ログの収集」から「分析可能にするためのログテーブルの作成」を実現するPythonのサンプルコードを以下に示します。 #!/usr/bin/env py
Actions Runner Controller Deep Dive！- コード解説 後編 - - APC 技術ブログ
こんにちは！ACS事業部の谷合です。 皆大好きGitHub Actionsにおける、GitHub社公式のSelf-hosted runnerであるActions Runner Controller(以降ARC)の紹介をシリーズでお送りしております。 前回までに以下の記事を書いておりました。 Actions Runner Controller Deep Dive！- アーキテクチャ編 - - APC 技術ブログ Actions Runner Controller Deep Dive！- 動作解説編 - - APC 技術ブログ Actions Runner Controller Deep Dive！- コード解説 前編 - - APC 技術ブログ 前回に引き続き、Actions Runner Controllerのコード解説をしていきます。 はじめに この記事のこと コード解説 AutoSca
Failure Analysis Assistant – AIOps で障害分析を効率化してみよう – | Amazon Web Services
Amazon Web Services ブログ Failure Analysis Assistant – AIOps で障害分析を効率化してみよう – システムやサービスを提供する上で、障害はつきものです。障害を迅速に分析し対処することがユーザビリティやサービス信頼性を向上し、結果顧客満足度につながります。一方で近年システムは複雑さを増しており、障害特定が従来に比べて難しくなっています。したがって障害分析の効率化や高度化が重要になっています。 従来の手動による障害分析では、膨大なログデータの中から問題の根本原因を特定するのに多大な時間と労力を要し、ダウンタイムの長期化やサービス品質の低下につながる可能性がありました。そこで注目されているのが、人工知能 (AI) や機械学習 (ML) を活用した障害分析です。 AI/ML による高度な分析技術を用いることで、障害の早期発見、迅速な原因特定、さ
jQuery Attack Hits NPM and GitHub; Can Extract Web Form Data
jQuery Attack Hits NPM and GitHub; Can Extract Web Form Data The trojanized jQuery attack has been spread on npm, GitHub and elsewhere since May. A trojanized version of jQuery has been spreading on the npm JavaScript package manager, GitHub and elsewhere, for use in a jQuery attack, security researchers have discovered. Phylum researchers said they have been monitoring the “persistent supply chai
Meta’s Systematic Code and Asset Removal Framework (SCARF) has a subsystem for identifying and removing dead code. SCARF combines static and dynamic analysis of programs to detect dead code from both a business and programming language perspective. SCARF automatically creates change requests that delete the dead code identified from the program analysis, minimizing developer costs. In our last blo
At SpaceX, worker injuries soar in Elon Musk’s rush to Mars
Reuters documented at least 600 previously unreported workplace injuries at Musk’s rocket company: crushed limbs, amputations, electrocutions, head and eye wounds and one death. SpaceX employees say they’re paying the price for the billionaire’s push to colonize space at breakneck speed. One windy night at Elon Musk’s SpaceX facility in McGregor, Texas, Lonnie LeBlanc and his co-workers realized t
Critical Jenkins Vulnerability Exposes Servers to RCE Attacks - Patch ASAP!
The maintainers of the open-source continuous integration/continuous delivery and deployment (CI/CD) automation software Jenkins have resolved nine security flaws, including a critical bug that, if successfully exploited, could result in remote code execution (RCE). The issue, assigned the CVE identifier CVE-2024-23897, has been described as an arbitrary file read vulnerability through the built-i
Passkeys を完全に理解するために Rails で実装してみた with Remix - STORES Product Blog
この記事は STORES Advent Calendar 2023 22日目の記事です。 こんにちは STORES 予約開発チームでエンジニアリングマネージャーをしています Natsume です。 昨今 Passkeys が各サービスで導入されており、勢いを感じています。 個人では 1Password のパスワードマネージャーを使っており、1Password が Passkeys 対応してから試しています。 Passkeys でのログインは ID/PW/OTP の autofill などに比べて 1step 省略される程度ですが、ログイン体験が良いと思っており、導入されていたらどんどん切り替えています。 ほどんどのサービスでは ID/PW との併用となっているケースが多く、セキュリティ面でのメリットを享受できるのはまだ先になりそうです。 個人的に Passkeys の実際の挙動や導入する時
As Windows evolves to meet the needs of our ever-changing world, the way we protect users must also evolve to address modern security challenges. A foundational pillar of Windows security is user authentication. We are working on strengthening user authentication by expanding the reliability and flexibility of Kerberos and reducing dependencies on NT LAN Manager (NTLM). Kerberos has been the defau
コーヒーが好きな emi です。 私は CloudWatch Logs というサービスが便利で好きなのですが、一般的に「S3 と比べてコストがかかる」という印象を持たれている方が多いと感じています。 何にどれくらいコストがかかっているのか どんな時に CloudWatch Logs への保存を考えたらいいのか コスト削減するにはどのようなアーキテクチャにしたらいいのか 等を調査しまとめました。 料金簡易比較表 ※ 2024/5/25 時点の東京リージョンでの料金で、$1 = 156円換算 ※ どちらも保存クラスがスタンダードの場合 ※ S3 の書き込み料金はリクエスト回数によって計算されるため、下記表では 1 GB のファイルを 1 回でアップロードすることを想定して計算している CloudWatch Logs S3 Standard
The how and why of optimal performance | Fractaled Mind
Over the last year or so, I have found myself on a journey to deeply understand how to run Rails applications backed by SQLite performantly and resiliently. In that time, I have learned various lessons that I want to share with you all now. I want to walk through where the problems lie, why they exist, and how to resolve them. And to start, we have to start with the reality that… Unfortunately, ru
Today we're excited to announce the release of Vue 3.4 "🏀 Slam Dunk"! This release includes some substantial internal improvements - most notably a rewritten template parser that is 2x faster, and a refactored reactivity system that makes effect triggering more accurate and efficient. It also packs a number of quality-of-life API improvements, including the stabilization of defineModel and a new
【AWS / Linux】Dockerイメージを使ってPalworldのマルチプレイ用サーバーを爆速で起動する | DevelopersIO
Palworldのマルチプレイ用サーバーを起動するときに、とあるDockerイメージを使うとめっちゃいい感じに運用できるよというお話です こんにちは、芦沢です。 皆さんはPalworldやっていますか？ ソロプレイも楽しいのですが、やっぱり専用サーバーを建てて大人数でプレイしたくなりますよね。 専用サーバーを構築する選択肢はたくさんありますが、やはりAWSをお仕事にさせてもらってる立場としてはAWSで構築してみたくなるもの。 マルチプレイ用のサーバーをAWSのWindowsサーバーで構築するブログは既にDevelopersIOに投稿されています。 AWSのLinuxサーバーでも試してみたいなと思い、こちらのブログを参考に構築してみました。 こちらのブログはよくまとまっていて、構築の進め方がとてもわかりやすく書かれています。ぜひご一読ください。 しかしながら、個人的にAWS環境上にリソースを
Terraformで構築する機械学習ワークロード（Batch on Fargate編） | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回も「Terraformで構築する機械学習ワークロード」ということで、前回の記事ではLambdaを使いましたが、今回はその処理をBatch on Fargateに載せてみたいと思います。 前回記事は以下です。 構成イメージ 構成としては以下のようなものを作成していきます。 前回との違いとしては、まずLambdaの代わりにBatch on Fargateを使う点です。 Fargateのタスク(ジョブ)上のコンテナイメージで物体検出モデルの一つであるYOLOXを動かしていきます。 また、それ以外にもBatchを使用する場合は、S3イベントとBatchの間にEventBridgeが必要となります。 動作環境 Docker、Terraformはインストール済みとします。 Terraformを実行する際の
公開日 2024/01/25更新日 2024/07/25あのサービスの監視・オブザーバビリティ アーキテクチャ選定【後編】 ユーザーや顧客へ信頼性を担保した価値提供をしていく中で、監視・オブザーバビリティの取り組みは非常に重要です。 前回の監視・オブザーバビリティ特集では、合同会社DMM.com、株式会社MIXI、株式会社マネーフォワード、パイオニア株式会社、Sansan株式会社、株式会社ZOZOの6社の各サービスを支える監視・オブザーバビリティをご紹介しました。 今回後編では、Chatwork株式会社、株式会社カカクコム、株式会社LayerX、株式会社リンクアンドモチベーション、株式会社タップルのアーキテクチャをご紹介します。 各社がどのようなアーキテクチャを組んでいるのか、またそのアーキテクチャにしている背景や意図についてぜひ参考にしてみてください。 株式会社kubell（旧Chatw
GPT-4oとStreamlitでOpenAI Assistants APIのCode Interpreterを検証した現状と課題
はじめに OpenAIのAssistants APIをそのまま使用することで、自前でLangChainのエージェントなどを使用して同様の処理を実装する手間を省け、非常に便利です。ただ、現状（2024/05/18）ではまだβ版ということもあり、APIのインタフェースの改変も多く見られます。 Assitants APIを用いたcode-interpreterのUIをstreamlitで実装 においても、実装例が紹介されていますが、そのままでは動作しないこともあり、最新版での動作検証も兼ねてStreamlitでの実装例を紹介します。 また、本記事ではStreaming対応済みの実装を取り入れており、よりリアルタイムな対話が可能となっています。 扱っているモデルは2024/05/14に発表されたGPT-4oを用いています。 目次 はじめに 実装例 app.py openai_handler.py
ECS on Fargate 1.4.0で「ResourceInitializationError」を解決する方法 - Uzabase for Engineers
こんにちは。ソーシャル経済メディア「NewsPicks」で検索システムを開発しております崔（ちぇ）です。 弊社の検索システムはAWS EC2（Elastic Compute Cloud、以下、EC2）で動いていました。それを昨年、Amazon ECS（Elastic Container Service、以下、ECS）に移行しました。前回のブログでは、移行のために調べた「アプリケーションをコンテナ化するベストプラクティス」をまとめましたので、ご興味ある方は読んでいただけると嬉しいです。 tech.uzabase.com 今日は、ECS on Fargateのタスク起動に手こずった話をしてみようと思います。タイトル通りFargate 1.4.0 で発生しうる ResourceInitializationError の解決方法について述べるのですが、「まさに今それにハマってた！」という方はぜひ読
Amazon OpenSearch Service zero-ETL integration with Amazon S3 now available - AWS
Amazon OpenSearch Service zero-ETL integration with Amazon S3 now available Today, AWS announces the general availability of Amazon OpenSearch Service zero-ETL integration with Amazon S3, a new efficient way for customers to query operational logs in Amazon S3 data lakes eliminating the need to switch between tools to analyze data. Customers can quickly get started by installing out-of-the-box das
「Startup Day 2023」は日本中のAWSを利用するStartupが、AWSの知見を披露するHubとなる1日です。2023年はサブテーマに「スタートアップ冬の時代を共に乗り越える」を掲げて、スタートアップが面しているこの逆境をどうやって跳ね除け、成長につなげていけるかを共有します。ここで、株式会社SODAの林氏が登壇。ここからはコスト削減のために具体的に実行したことについて話します。前回はこちらから。 コスト削減のために実行したこと1 VPC Endpointの導入 林雅也氏：ここまでどういうふうにコストを削減していくかの方針を見ていったので、それに沿って、実際に「SNKRDUNK」（以下、スニダン）でどのようなコスト削減が行われてきたのかをお話しします。 方針で言っていたとおり、まずはもちろんボトルネックを探すところからです。（スライドを示して）こちらの図は、コスト削減の取り組
Flaky Tests In React: Detection, Prevention and Tools - Semaphore
I'm a web developer and technical content writer. I'm all about unleashing the power of code and words. I take pride in crafting interesting web apps or explaining complex concepts in a way that even a grandma would understand. In my spare time, I like to tinker with algorithms and AI to build my own games. Because what's more fun than making a computer do what you want it to do? In the context of
Google Cloud ComposerでGPUを使ったタスクを安定稼働するために行ったこと - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの松岡です。 本記事ではCloud Composerのワークフローにおいて、GPUを使うタスクで発生したGoogle CloudのGPU枯渇問題と、その解決のために行った対策を紹介します。 ZOZOが運営するZOZOTOWN・WEARでは、特定の商品やコーディネート画像に含まれるアイテムの類似商品を検索する類似アイテム検索機能があります。本記事ではこの機能を画像検索と呼びます。 画像検索では類似商品の検索を高速に行うため、画像特徴量の近傍探索Indexを事前に作成しています。近傍探索Indexはワークフローを日次実行して作成しています。 このワークフローでは大きく次のように処理を行っています。 当日追加された商品の情報を取得し、商品情報をもとに商品画像を取得する。 物体検出器で商品画像から商品が存在する座標とカテゴリーを検出する。 検出
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS でオブサーバビリティを完結させる Application Signals をデモしながら理解する
Istioのenvoyサイドカーをデバッグする - CADDi Tech Blog
The Ultimate Interactive JQ Guide
Makefile で環境構築を確実に一瞬で終わらせる話
【Orca-2-13b】Microsoftの最新小型LLMがLlama 2を超える性能を叩き出す | WEEL
jj init — Sympolymathesy, by Chris Krycho
データレイクのデータスキャン量を25％削減する方法
Automating dead code cleanup
The evolution of Windows authentication
CloudWatch Logs と S3 にかかる料金比較 | DevelopersIO
Announcing Vue 3.4 | The Vue Point
あのサービスの監視・オブザーバビリティ アーキテクチャ選定【後編】 - Findy Tools
コスト削減で重要な「ボトルネックから潰す」「覚悟を持つ」 約60,000ドル削減のため、具体的に実行した6つのこと