データ品質をコード化！AIプラットフォームのデータ品質管理システム
測定基準1,000件より多くなければならない DQMLでは、このデータ品質要件を以下のように記述できます。 Count must be >1000 ACP Data Qualityでは、DQMLを使ったデータ品質モデルをJSONやYAMLで定義できます。 apiVersion: data-quality.yahoo.co.jp/v1alpha1 kind: DataQualityModel metadata: name: example-1 spec: requirements: - code: Count must be >1000 このDataQualityModelは、ACPで利用可能なKubernetesカスタムリソースです。 ACP Data Qualityは、DataQualityEvaluationというリソースが作成されると、DataQualityModelで定義された要件
Migrating to OpenTelemetry | Airplane
At Airplane, we collect observability data from our own systems as well as remote “agents” that are running in our customers’ infrastructure. The associated outputs, which include the standard “three pillars of observability” (logs, metrics, and traces) are essential for us to monitor our infrastructure and also help customers debug problems in theirs. Over the last year, we’ve made a concerted ef
spaCy固有表現抽出(+Presidio)によるドキュメントの情報漏えいリスクチェック支援 - OPTiM TECH BLOG
R&D チームの徳田（@dakuton）です。記事冒頭に書くことが思いつかなかったので先日のGPT記事にあるサンプルを使ってみました。 試してみたところ、Tech Blog記事っぽい出力にはなりました。 入力(Prompt): R&D チームの徳田（[@dakuton](https://twitter.com/dakuton)）です。 出力: 皆さんおひさしぶりです。遅くなりましたが、11/18(金)に行われましたRuby Machine Learningの勉強会の模様を記事にしました。 サンプルは下記参照 tech-blog.optim.co.jp 背景 本題ですが、目的は本記事タイトルのとおりです。 参考: 個人情報保護委員会が個人情報を漏えい パブリックコメント参加者の氏名や所属先を誤掲載 - ITmedia NEWS 技術要素としては下記と同じような内容です。本記事ではこれをspa
Structured Logging with slog - The Go Programming Language
Jonathan Amsterdam 22 August 2023 The new log/slog package in Go 1.21 brings structured logging to the standard library. Structured logs use key-value pairs so they can be parsed, filtered, searched, and analyzed quickly and reliably. For servers, logging is an important way for developers to observe the detailed behavior of the system, and often the first place they go to debug it. Logs therefore
計測・検討・対処のプロセスでWebサービスのパフォーマンスを改善する | Recruit Tech Blog
はじめに はじめまして、ホットペッパービューティーコスメ（以下HPBC）にてフロントエンドエンジニアとして学生アルバイトをしている柏です。 Webサービスで普遍的にもとめられる指標にパフォーマンスがあります。素早く表示されるWebサービスはユーザー体験が良く、コンバージョンや直帰率などにも関係があると言われています。HPBCでは、チーム一丸となってパフォーマンスの改善に継続的に取り組んでいます。 6週間のアルバイト期間で、HPBCのBFF(Backend for Frontend)の性能改善に取り組ませていただき、結果としてレスポンスタイムを200ミリ秒程度短縮することができました。本記事では、その取り組みをテーマに計測を通してパフォーマンスのボトルネックを発見する方法、そして開発の速度を落とさずそれらを解消することについて、ご紹介します。 目次 HPBCの構成と課題 Cloud Trac
User-centric performance metrics | Articles | web.dev
We've all heard how important performance is. But when we talk about performance, and about making websites "fast", what specifically do we mean? The truth is that performance is relative: A site might be fast for one user (on a fast network with a powerful device) but slow for another user (on a slow network with a low-end device). Two sites may finish loading in the exact same amount of time, ye
Custom metrics | Articles | web.dev
There's a lot of value in having user-centric metrics that you can measure, universally, on any given website. These metrics let you: Understand how real users experience the web as a whole. Compare your site to a competitor's. Track useful and actionable data in your analytics tools without needing to write custom code. Universal metrics offer a good baseline, but in many cases you need to measur
Glances - An Eye on your system
An Eye on your system Glances is a cross-platform system monitoring tool written in Python. View on GitHub CPU Memory Load Process list Network interface Disk I/O IRQ / Raid Sensors Filesystem (and folders) Container (Docker and Podman supported) Monitor Alert System info Uptime Quicklook (CPU, MEM, LOAD) Cross-platform Written in Python, Glances will run on almost any plaftorm : GNU/Linux, FreeBS
Linuxメモ : topの代わりとして使えそうなコマンド（glances, ctop, gtop, htop, vtop, cpustat）を試してみる - もた日記
glances インストール 使い方 ctop インストール 使い方 gtop インストール 使い方 htop インストール 使い方 vtop インストール 使い方 cpustat インストール 使い方 GitHubを眺めていたらtopの代わりとして使えそうなコマンドが色々あったので試してみる。 glances Glances - An Eye on your system（公式ページ） github.com glancesは色々な情報を表示できるモニタリングツール。 インストール pipでインストールできるので下記コマンドを実行。 $ pip install glances 使い方 glancesで起動できる。図のように色々な情報がまとめて表示可能。 ブラウザで確認できるWebサーバモードや、リモートマシンを監視するクライアント／サーバモードもあるようだ。 ctop ctop（公式ページ
本番環境での機械学習モデルの監視について (1/3)
このシリーズでは本番環境でのモデルの監視の必要性について考えていきます。全3回を予定しています。今回はその最初の回です。データの集計処理に不具合が発生してしまい、すべてのユーザーのログイン回数が0となってしまった場合に発生する事象について、ケーススタディとして見ていきます。 今回の要旨 機械学習を本番環境で用いる場合、モデルに投入するデータが壊れると結果が壊れる機械学習モデルの精度指標を監視するだけでは不十分なことがあるデータの型だけではなく、欠損を表す値の割合や値の分布の変化についても監視が必要TOC· はじめに · 主旨 · 前提: EC サイトのマーケティングキャンペーン · 背景 · 机上検証 · 評価結果 · ケーススタディ すべてのユーザーのログイン回数が0 · 問題発生 · 発生した事象 · 原因 ∘ 他チームの行った変更に対応できていない ∘ データの欠損について気がつけて
ログのクエリと表示の概要 | Cloud Logging | Google Cloud
フィードバックを送信 ログのクエリと表示の概要 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このドキュメントでは、Google Cloud コンソールを使用してログエントリのクエリ、表示、分析を行う方法について説明します。ログ エクスプローラとログ分析の 2 つのインターフェースがあります。両方のインターフェースでログのクエリ、表示、分析を行うことができます。ただし、クエリ言語は異なり、機能も異なります。 ログデータのトラブルシューティングと調査には、ログ エクスプローラの使用をおすすめします。分析情報と傾向を生成するには、ログ分析を使用することをおすすめします。 Logging API コマンドを実行して、ログをクエリし、クエリを保存できます。Google Cloud CLI を使用してログをクエリすることもできます。 ログ エクスプローラ ログ エ
Falco
Detect security threats in real timeFalco is a cloud-native security tool designed for Linux systems. It employs custom rules on kernel events, which are enriched with container and Kubernetes metadata, to provide real-time alerts. Falco helps you gain visibility into abnormal behavior, potential security threats, and compliance violations, contributing to comprehensive runtime security. Try Falco
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ品質をコード化！ LINEヤフーのMLOpsを最適化する "ACP Data Quality" の紹介
NeoHtop - Blazing-fast system monitoring for your desktop
AI Observability and LLM Security
GitHub - lunary-ai/lunary: The production toolkit for LLMs. Observability, prompt management and evaluations.
pandera documentation
GitHub - bcicen/ctop: Top-like interface for container metrics
BigQuery Audit Logs pipelines & Analysis | Google Cloud Blog
n°35 - Understanding World Heritage in Asia and the Pacific - The Second Cycle of Periodic Reporting 2010-2012