KPIのモニタリング自動化と運用体制の整備 - ZOZO TECH BLOG
はじめに こんにちは。データシステム部/推薦基盤ブロックの佐藤 (@rayuron) です。私たちはZOZOTOWNのパーソナライズを実現する推薦システムを開発・運用しています。推薦システムごとにKPIを策定していますが、データの欠損やリリース時の不具合によってKPIが意図しない値を取ることがあるため定常的に確認する必要があり、これをKPIのモニタリングと呼んでいます。 先日、推薦システムの実績をLookerでモニタリングするというテックブログで推薦システムのKPIをモニタリングする方法を紹介しましたが、運用していく中でいくつかの課題が見えてきました。本記事では、より効率的かつ効果的なKPIのモニタリングを実現するための取り組みについて詳しくご紹介します。 はじめに 改善の背景と課題 背景 課題 トレンドを考慮した異常検知が不可能 モニタリングの設定が面倒 アラート対応フローが不明確 サマ
形態論（言語学）の教科書・概説書を書きましたので少しだけ補足と宣伝 - 誰がログ
はじめに どういう特徴があるか どのような教科書か レベル 練習問題 言語（データ） 文献 訳語 おわりに おまけ はじめに 乙黒亮さんと共著で『形態論の諸相 6つの現象と2つの理論』という本を書きました。刊行は10月10日でもう少し先ですが、Amazonほかで予約もできるような段階ですので先に少し宣伝しておきます。 以下のくろしお出版のページに詳細な情報が載っていて、書影の下にある「サンプルページを見る」から「まえがき」「目次」と各章の冒頭部分を読むことができます。 形態論の諸相 6つの現象と2つの理論｜くろしお出版WEB Amazonのページはこちら この記事では本書には直接は書かれていない私個人の見解などについて少し補足のようなものを書いてみます。重要なところはあとで個人サイトの方にまとめなおすかもしれません。 どういう特徴があるか 言語学の形態論という研究領域の教科書です。教科書と
夏太り対策に！医師監修「肩甲骨1分体操」 50代でベストボディを手に入れた吉原潔さん伝授(動画あり) | NHK
とにかく暑かったこの夏。運動不足や水分のとり過ぎで太った！という方もいらっしゃるのでは？ 今回は、50歳を過ぎてからトレーニングを始め、理想体型を手に入れた整形外科医・吉原潔さんによる、夏太り解消法をご紹介！代謝がアップする“肩甲骨1分体操”をご紹介します。 引き締まった体は何歳からでも手に入れられる！ 教えていただいたのは、整形外科医でフィットネストレーナーの吉原潔さん（61）。 50歳の吉原さん 55歳でベストボディコンテスト優勝 実は吉原さん、40代の頃はぽっちゃり体型。 しかし、このままでは医師として患者さんに示しがつかないと50歳で一念発起し、トレーニングを開始したのだそうです。 運動の仕方や食事の方法を徹底的に学びなおし、55歳の時に、引き締まった健康美を目指す『ベストボディ』コンテストで優勝。 吉原さんによると、夏は冬よりも太りやすい季節だと言います。
市区町村マスタを手に入れろ、そして更新し続けろ - エムスリーテックブログ
全国の市区町村の名前とコードをデータベーステーブル化したもの、すなわち市区町村マスタはITシステムを作っていれば何かしらの場面で必要になるものです。 ではその市区町村マスタを作るための元データはどこから手に入れたらいいものか。 そして「作る」というのもありますが、市区町村は再編されるものですから最新の変更にどう追従するか、しかもそれを自動化できるかというのも大いに気になるところですね。 エムスリーエンジニアリンググループ三浦(@yuba@reax.work) [記事一覧 ]です。 Unit1（製薬プロモーション）およびUnit9（治験臨床研究支援）のエンジニアです。 今回は私も皆様とまったく同じように市区町村マスタのデータ源に悩んでいろいろ調べましたので、それで得た知見を共有させていただこうと思います。今回は代表的な3つのデータソースをご紹介し比較していきます。 ほしいのはこんな感じのデ
名寄せの定量評価とGroup Sequential Test - Sansan Tech Blog
こんにちは、技術本部Sansan Engineering UnitのNayoseグループでバックエンドエンジニアをしている上田です。 普段はデータの名寄せサービスを開発しています。Sansanの名寄せというのは、こちらのページに記載のとおり、別々のデータとして存在する同じ会社や人物のデータをひとまとめにグルーピングすることを言います。 下記の記事のとおり、前回は名寄せアルゴリズムを定量評価する際に利用する統計的仮説検定において、固定サンプルサイズ検定の課題を解決する逐次検定の手法SPRT（Sequential Probability Ratio Test、逐次確率比検定）を紹介しました。SPRTには別の課題があるため、今回は実務で重宝する特徴をもつGroup Sequential Testという逐次検定について紹介します。 buildersbox.corp-sansan.com この記事の
ゲーム『ドラえもんのどら焼き屋さん物語』は人を狂わせる悪魔のゲームでした - kansou
おそろしいゲームがNintendo Switchから発売されてしまいました ドラえもんとのび太が、ケガをしたおじいさんのためにどら焼き屋を手伝うことになるゲーム『ドラえもんのどら焼き屋さん物語』、これが本当に面白い！！！ ２人だけじゃなく、しずかちゃん！ジャイアン！スネ夫！ミニドラ！いつものメンバーみんなでお店を大きくしていくんだ！ どら焼きだけじゃなく、色んな和菓子を発明できる！ 飾りつけの組み合わせは自由！センスを活かして最高の一品を完成させよう！ もちろんここはドラえもんの世界！タイムマシンに乗って「未来デパート」に行き、便利なひみつ道具を買うこともできる！ 時にはどら焼き屋の手伝いだけじゃなく、新たな食材を求めて冒険の旅に出ることも！全員で力を合わせて敵と戦う！ 勝てない時はみんなトレーニング！能力を上げて、強敵を倒そう！ しかも、登場するのはドラえもんのキャラクターだけじゃない！
Cloud DLPを使ってBigQuery上の個人情報をマスキング - Findy Tech Blog
はじめに Findyでデータエンジニアとして働いている開（hiracky16）です。 この記事ではGoogle Cloudの製品であるCloud DLPを中心に弊社で取り組んでいるデータマスキングについて紹介します。 弊社はFindyやFindy Freelanceなど人材に関する事業を取り扱っているため個人データがより集まりやすい環境にあります。 ファインディの組織が日々拡大しサービス拡張していく中で、利用者の安全性を担保し、データにおけるリスクを低くするためのデータ基盤づくりが求められてきました。 データ基盤には事業部のデータを集約しているため、利用者にすべてを公開してしまうと運用を誤り、思わぬ事故につながる可能性が上がります。 ただ、閲覧できないと困る業務もあり、データの閲覧権限を絞りすぎてもリスクがあります。 今回は、個人データなどのセンシティブなデータを自動で検出・マスキングを行
10X の推薦を作るチームと ML platform - 10X Product Blog
10X ソフトウェアエンジニアの @metalunk です。ネットスーパー、ネットドラッグストアのプラットフォームである Stailer 事業で、機械学習（ML）と検索を専門として働いています。 2024年4月からいま（2024年8月）までの5ヶ月間で6つの推薦機能をリリースできました。この成果を支えたのはチームと ML platform（機械学習の基盤システム）です。このブログではチームの取り組み、ML platform の機能、および具体的な成果についてご紹介します。 このブログは技術ブログの体ではありますが、さまざまな業界、職種の方に読んでいただくことを目指して執筆しました。 (3) 章, (5) 章だけは機械学習に取り組んでいる人向けの内容を含みますので興味のない方は読み飛ばしてもらって結構です（機械学習に取り組んでいなくても興味のある方はぜひ読んでください）が、それ以外は IT
新登場｢ペアローン団信｣はお得なのか？徹底試算
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
RAGの回答を自動評価する手法（LINEヤフーのSeekAIでの事例）
こんにちは。生成AI関連の開発をしている図左です。社内でRAGを使った生成AIサービスを開発していますが、ロジック変更のたびに毎回人手でテストするのは現実的ではありません。今回は、この品質評価を自動化したフローや手法を紹介します。 SeekAIとは LINEヤフー株式会社では、社内の情報を効率的に検索するために、生成AIを活用したサービス SeekAI を内製展開しています。SeekAIではRAGという技術を使って一般的な知識だけでなく、社内規程・ルール・問い合わせ先、コーディング時の技術スタック、顧客や取引先とのコミュニケーション履歴などを効率的に把握できるため、社内の情報検索ツールとして活用されています。 SeekAIのプレスリリース RAGとは 生成AIに『学習済みではない知識』に関する回答を出力させるために、別途構築したデータベースから取得した情報と組み合わせて回答させる手法です。
データ基盤の負債を生まない技術と技術以外の話
2024.08.20 大規模データの負債解消への道のり Lunch LT の登壇資料です。
Netflix、ワークフローオーケストレーター「Maestro」をオープンソース化 1日に約200万のジョブを完了
Netflixは2024年7月23日（米国時間）、大規模なデータ/ML（機械学習）ワークフローオーケストレーター「Maestro」のオープンソース化を発表した。 Maestroは、大規模なデータ/MLワークフロー（データパイプラインやMLモデルのトレーニングパイプラインなど）を管理するために設計された、スケーラブルなワークフローオーケストレーターだ。リトライ、キューイング、コンピュートエンジンへの分散など、ワークフローのライフサイクル全体を管理する。 ユーザーは、Dockerイメージ、ノートブック、bashスクリプト、SQL、Pythonなど、さまざまな形式でビジネスロジックをパッケージ化できる。有向非巡回グラフ（DAG）のみをサポートする従来のワークフローオーケストレーターとは異なり、Maestroは巡回グラフ、foreachループ、サブワークフロー、条件分岐など処理を繰り返すような複雑
NATゲートウェイの通信内容を調査して対策し、コストを約60％削減した話 - ZOZO TECH BLOG
はじめに こんにちは。WEARバックエンド部SREブロックの春日です。普段はWEARというサービスのSREとして開発・運用に携わっています。本記事では、約60％のコスト削減に成功したNATゲートウェイの通信内容の調査方法と通信量の削減方法についてご紹介します。 目次 はじめに 目次 背景 コストの把握 NATゲートウェイの通信内容の把握 CloudWatchメトリクスでの確認 VPCフローログでの確認 リゾルバーでのクエリログでの確認 調査結果をもとにNATゲートウェイ経由での通信量を削減する AWSサービスとの通信 Datadogとの通信 WEARのAPIとの通信 ECRパブリックリポジトリとの通信 結果 まとめ 背景 ZOZOではより効果的な成長を目指してコストの最適化を進めています。コストの増大はサービスの拡大を鈍化させる原因となるため、常に最適な状態に保つことが必要です。WEARで
Keychronキーボード記事レビュー - 2024年1月
より高品質なアルミケースのキーボードが欲しく、多少高くても構わないという方は、Keychron Q1 Pro、Q2 Pro、またはQ4 Proをお求めください。これらのモデルは優れたタイピング体験を提供し、多くの追加機能を備えている： Bluetoothで最大3台のデバイスに接続でき、VIAを使用して完全にプログラム可能で、RGBバックライトとホットスワップ対応スイッチを備えています。 Keychron V1 Maxでのタイピングは驚くほど満足のいくものだ。キーキャップの中心から中心までのピッチは十分に広く、多くのノートパソコンのレイアウトのように窮屈に感じることはない。ノートパソコンに慣れていると、ピッチが広い分、少し力が要るが、キーの触感と移動距離は素晴らしい。
2024年版のDockerfileの考え方＆書き方 | フューチャー技術ブログ
最近はお客さんとの勉強会でDockerのドキュメントをつまみ食いして読むというのをやっていますが、改めて最新版を読んでみて、いろいろ思考が整理されました。2020年の20.10のマルチステージビルドの導入で大きく変わったのですが、それ以前の資料もweb上には多数あり「マルチステージビルドがよくわからない」という人も見かけるので過去の情報のアンラーニングに使っていただけるように改めて整理していきます。 仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編で触れた内容もありますが改めてそちらに含む内容も含めて書き直しています。 本エントリーの執筆には@tk0miya氏から多大なフィードバックをいただきました。ありがとうございます。 基本的なメンタルモデル現代的な使い方を見ていくために「Dockerを使ってビルドする」というのはどのようなものか考えを整
実装前にPMとデータを見ながらランキングアルゴリズムを決定する - Cluster Tech Blog
こんにちは、クラスター株式会社でサーバーサイドをメインに開発している id:shiba_yu36 です。 僕は今年の2月にclusterというサービスでウィークリーランキングの機能を担当しました。clusterではユーザーが自由にゲームやアート作品などの3Dコンテンツを作りアップロードでき、そのコンテンツを複数人ですぐ遊べます。その中から人気のコンテンツを探しやすくするため、週間ランキングを開発しました。 この機能開発時に、実装をする前にPMとデータを見て試行錯誤しながら、ウィークリーランキングの目的を満たすシンプルなアルゴリズムを決めるという工夫をしました。このやり方によって、最小限の実装工数で目的を満たすランキングアルゴリズム実装を行えました。 そこで今回は実装前にどのような流れでアルゴリズムを決定していったかを書いていきたいと思います。同じような機能開発を行っていてPMとどう連携する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://x.com/ymym3412/status/1799403233003384877?t=HIfcZK9p5zT6hMyhdpiYlw&s=09
依頼仕事の最適化 〜未完了をいかに完了にするか〜
Haystack
現代的システム開発概論 2024
