Migrating to OpenTelemetry | Airplane
At Airplane, we collect observability data from our own systems as well as remote “agents” that are running in our customers’ infrastructure. The associated outputs, which include the standard “three pillars of observability” (logs, metrics, and traces) are essential for us to monitor our infrastructure and also help customers debug problems in theirs. Over the last year, we’ve made a concerted ef
spaCy固有表現抽出(+Presidio)によるドキュメントの情報漏えいリスクチェック支援 - OPTiM TECH BLOG
R&D チームの徳田（@dakuton）です。記事冒頭に書くことが思いつかなかったので先日のGPT記事にあるサンプルを使ってみました。 試してみたところ、Tech Blog記事っぽい出力にはなりました。 入力(Prompt): R&D チームの徳田（[@dakuton](https://twitter.com/dakuton)）です。 出力: 皆さんおひさしぶりです。遅くなりましたが、11/18(金)に行われましたRuby Machine Learningの勉強会の模様を記事にしました。 サンプルは下記参照 tech-blog.optim.co.jp 背景 本題ですが、目的は本記事タイトルのとおりです。 参考: 個人情報保護委員会が個人情報を漏えい パブリックコメント参加者の氏名や所属先を誤掲載 - ITmedia NEWS 技術要素としては下記と同じような内容です。本記事ではこれをspa
Structured Logging with slog - The Go Programming Language
Jonathan Amsterdam 22 August 2023 The new log/slog package in Go 1.21 brings structured logging to the standard library. Structured logs use key-value pairs so they can be parsed, filtered, searched, and analyzed quickly and reliably. For servers, logging is an important way for developers to observe the detailed behavior of the system, and often the first place they go to debug it. Logs therefore
計測・検討・対処のプロセスでWebサービスのパフォーマンスを改善する
はじめに はじめまして、ホットペッパービューティーコスメ（以下HPBC）にてフロントエンドエンジニアとして学生アルバイトをしている柏です。 Webサービスで普遍的にもとめられる指標にパフォーマンスがあります。素早く表示されるWebサービスはユーザー体験が良く、コンバージョンや直帰率などにも関係があると言われています。HPBCでは、チーム一丸となってパフォーマンスの改善に継続的に取り組んでいます。 6週間のアルバイト期間で、HPBCのBFF(Backend for Frontend)の性能改善に取り組ませていただき、結果としてレスポンスタイムを200ミリ秒程度短縮することができました。本記事では、その取り組みをテーマに計測を通してパフォーマンスのボトルネックを発見する方法、そして開発の速度を落とさずそれらを解消することについて、ご紹介します。 目次 HPBCの構成と課題 Cloud Trac
User-centric performance metrics | Articles | web.dev
User-centric performance metrics Stay organized with collections Save and categorize content based on your preferences. We've all heard how important performance is. But when we talk about performance, and about making websites "fast", what specifically do we mean? The truth is that performance is relative: A site might be fast for one user (on a fast network with a powerful device) but slow for a
Custom metrics | Articles | web.dev
Custom metrics Stay organized with collections Save and categorize content based on your preferences. There's a lot of value in having user-centric metrics that you can measure, universally, on any given website. These metrics let you: Understand how real users experience the web as a whole. Compare your site to a competitor's. Track useful and actionable data in your analytics tools without needi
Glances - An Eye on your system
An Eye on your system Glances is a cross-platform system monitoring tool written in Python. View on GitHub CPU Memory Load Process list Network interface Disk I/O IRQ / Raid Sensors Filesystem (and folders) Container (Docker and Podman supported) Monitor Alert System info Uptime Quicklook (CPU, MEM, LOAD) Cross-platform Written in Python, Glances will run on almost any plaftorm : GNU/Linux, FreeBS
Linuxメモ : topの代わりとして使えそうなコマンド（glances, ctop, gtop, htop, vtop, cpustat）を試してみる - もた日記
glances インストール 使い方 ctop インストール 使い方 gtop インストール 使い方 htop インストール 使い方 vtop インストール 使い方 cpustat インストール 使い方 GitHubを眺めていたらtopの代わりとして使えそうなコマンドが色々あったので試してみる。 glances Glances - An Eye on your system（公式ページ） github.com glancesは色々な情報を表示できるモニタリングツール。 インストール pipでインストールできるので下記コマンドを実行。 $ pip install glances 使い方 glancesで起動できる。図のように色々な情報がまとめて表示可能。 ブラウザで確認できるWebサーバモードや、リモートマシンを監視するクライアント／サーバモードもあるようだ。 ctop ctop（公式ページ
本番環境での機械学習モデルの監視について (1/3)
このシリーズでは本番環境でのモデルの監視の必要性について考えていきます。全3回を予定しています。今回はその最初の回です。データの集計処理に不具合が発生してしまい、すべてのユーザーのログイン回数が0となってしまった場合に発生する事象について、ケーススタディとして見ていきます。 今回の要旨 機械学習を本番環境で用いる場合、モデルに投入するデータが壊れると結果が壊れる機械学習モデルの精度指標を監視するだけでは不十分なことがあるデータの型だけではなく、欠損を表す値の割合や値の分布の変化についても監視が必要TOC· はじめに · 主旨 · 前提: EC サイトのマーケティングキャンペーン · 背景 · 机上検証 · 評価結果 · ケーススタディ すべてのユーザーのログイン回数が0 · 問題発生 · 発生した事象 · 原因 ∘ 他チームの行った変更に対応できていない ∘ データの欠損について気がつけて
ログのクエリと表示の概要 | Cloud Logging | Google Cloud
フィードバックを送信 ログのクエリと表示の概要 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このドキュメントでは、Google Cloud コンソールを使用してログエントリのクエリ、表示、分析を行う方法について説明します。ログ エクスプローラとログ分析の 2 つのインターフェースがあります。両方のインターフェースでログのクエリ、表示、分析を行うことができます。ただし、クエリ言語は異なり、機能も異なります。 ログデータのトラブルシューティングと調査には、ログ エクスプローラの使用をおすすめします。分析情報と傾向を生成するには、ログ分析を使用することをおすすめします。 Logging API コマンドを実行して、ログをクエリし、クエリを保存できます。Google Cloud CLI を使用してログをクエリすることもできます。 ログ エクスプローラ ログ エ
Falco
Detect security threats in real timeFalco is a cloud-native security tool designed for Linux systems. It employs custom rules on kernel events, which are enriched with container and Kubernetes metadata, to provide real-time alerts. Falco helps you gain visibility into abnormal behavior, potential security threats, and compliance violations, contributing to comprehensive runtime security. Try Falco
BigQueryのテーブル連携時間を監視する - エムスリーテックブログ
これは エムスリー Advent Calendar 2020 の15日目の記事です。 前日は id:Hi_king による、臨床AIはなにができ、何が難しいか: 臨床AI研究開発の3類型 でした。 エムスリーエンジニアリンググループ AI・機械学習チームの笹川です。 趣味はバスケと、筋トレで、このところはNBAのプレシーズンが始まってワクワクしているところです。 今回は、弊社のデータ基盤であるBigQueryへのデータ連携の監視のための便利ツールである tblmonit を開発したので、紹介したいと思います。 github.com 寒くなってきて、ブランケットにくるまって鼻だけ出してる犬氏（かわいい） エムスリーのBigQueryの概要 テーブルの更新時間の監視 テーブルメタデータ監視ツール tblmonit おまけ まとめ We are hiring! エムスリーのBigQueryの概要
クエリ修正を考慮した検索評価指標sDCGを使ってユーザーの検索体験を監視をしたい - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。最近、ユーザーの検索体験の向上のために、以下の検索評価に関する本を読んでいました。 情報アクセス評価方法論 作者:酒井 哲也発売日: 2015/05/19メディア: 単行本 そこで今回は検索評価指標の1つであるsDCG (session-based Discounted Cumulative Gain)を使ってエムスリーの検索ログから体験の悪かった検索を抽出してみたのでその方法を紹介します。 現状の検索監視 現状の検索監視の問題 nDCG sDCG 線形横断 最下位クリックにおける検索結果の破棄 クリック＝適合文書 nsDCGを実際の検索ログに使ってみる sDCGを使って感じたこと まとめ We're hiring !!! Reference 現
Google AnalyticsのBigQuery Exportを使って検索ログデータ分析基盤を構築した - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 医師に質問ができるサービスであるAskDoctorsではユーザーが質問を検索できる機能があり、今回は検索改善タスクのために検索ログデータ分析基盤を構築したお話をします。これにより改善サイクルを回せるようになったり、検索ログを使った各種アルゴリズムが利用可能になりました。 データ基盤構築では他チームとの連携が必要不可欠であり、コミュニケーションで工夫した点などもお話できればと思います。 Overview なぜ検索ログデータ分析基盤が必要なのか 検索を監視して改善サイクルを回したい 各種アルゴリズムに利用できるデータを取得したい データ分析に利用したい データアーキテクチャを書き出す イベントとデー
Feature Attributions の監視：Google はいかに大規模な ML サービスの障害を乗り越えたのか | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 9 月 29 日に、Google Cloud blog に投稿されたものの抄訳です。 Google で起きた大規模 MLOps の危機クラウディ・グルシアは Google のソフトウェアエンジニアであり、何十億ものユーザーにコンテンツを推薦している機械学習（ML）モデルに関わっています。2019 年 10 月、彼は ML 監視サービスからアラートを受けました。モデルの特徴量（ここでは、この特徴量を F1 とします）の重要度が下がってきていたのです。この特徴量の重要度は、モデルの予測において、特徴量の影響の大きさを表す指標である「Feature Attributions」で計測されています。この重要度の減少とともに、モデルの精度が急激に低下していました。 このアラートを受け、彼はすばやくモデルを再学習させました。その結果、F1 の代替となる 2 つの特徴量
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AI Observability and LLM Security
GitHub - llmonitor/llmonitor: Observability & analytics for LLM apps
GitHub - bcicen/ctop: Top-like interface for container metrics
BigQuery Audit Logs pipelines & Analysis | Google Cloud Blog
n°35 - Understanding World Heritage in Asia and the Pacific - The Second Cycle of Periodic Reporting 2010-2012