Platform Team/Repro Core Unit の村上です。 Repro では Kafka を基盤としたストリーム処理のアプリケーションを構築する際に、Kafka Streams を積極的に活用しています。 Kafka Streams は、フォールトトレラントなステートフル処理を簡潔に実装でき、データパイプラインを Topology という表現で抽象化することで、複雑な処理でも管理しやすい形で組み立てていくことが可能です。 また、Apache Kafka 以外の外部依存がないことや Streams DSL によるシンプルな記述でストリーム処理を実装できることなども、ストリーム処理のアプリケーションをスムーズに構築する上で助かっています。 一方で、 なにかしらの問題が発生したときのトラブルシューティングや影響範囲調査の際には、Kafka Streams の内部処理を把握していない
現場から学ぶMLOps: MonotaROでの実践的アプローチ～オンライン推論編～ - MonotaRO Tech Blog
はじめに こんにちは。MonotaROで機械学習エンジニア兼、Tシャツのモデルを務めている新卒3年目の長澤です！ 最近は健康のためにスポーツをしているのですが、そのスポーツの疲れで日々が辛くなってきました。観戦と自分で身体を動かす方の割合(重み)をバンディットを使ってうまく最適化していきたいこの頃です。 今回は、自分がここ1,2年(2023~2024)で取り組んできたMonotaROにおけるMLOpsの取り組みについて、実例を交えながら紹介します。MLOpsの実例はあまり世の中に出回っていないので、一つの事例として読んでもらえれば嬉しいです。 はじめに この記事で紹介すること この記事で紹介しないこと MonotaROにおける機械学習エンジニア パーソナライズドランキングとは MLOpsに取り組むにあたっての背景と課題 MLOpsのプロジェクトスタート時 MLOpsとりあえず始めてみる期
はじめに こんにちは。計測プラットフォーム開発本部バックエンドチームの佐次田です。普段はZOZOMATやZOZOMETRYなどの計測技術に関わるシステムの開発、運用に携わっています。 本記事では計測システムにおける計測データの管理方法を進化させた点についてご紹介します。 目次 はじめに 目次 計測プラットフォーム開発本部 バックエンドチームとは ユビキタス言語 3Dデータ 計測箇所 計測値 ZOZOMETRYとは ZOZOMETRYのコア機能 計測箇所のカスタマイズに関する課題 計測処理をサーバーが担当する解決アプローチ システム構成図 既存プロダクトのシステム構成 ZOZOMETRYにおけるシステム構成 システム構成の変更点 計測セットを元に計測箇所をカスタマイズする 計測セットのドメインモデル 計測シーケンスの概要 3Dデータと計測値の保存先を分離する 3DデータをAPIサーバーで管理
はじめに enechainでのQA業務 enechainの目指すQAとは 今後の展望 最後に はじめに はじめまして。enechainのQAエンジニアのtaise-です。 enechainは電力や環境価値といったエネルギーのオンラインマーケットプレイスを運営する会社です。私は、電力取引を仲介する社内のブローカーのブローキング業務を支援する社内ツールのQAを担当しています。 enechainにQAチームが発足して約3年が経ち、会社が急成長を遂げる中でQAチームの形もそれに合わせて常に変化し続けており、現在は複数同時並行で開発・運用されている各プロダクトを、QAエンジニアがそれぞれ1名専任で担当するチーム体制となっています。 この記事では、私の担当プロダクトにおけるQA業務と、そこで得た成果や課題について紹介します。 プロダクト専任体制のQAエンジニアが業務の中でどう立ち回り、どんな価値貢献が
pt-online-schema-changeにnohupをつけてバックグラウンドで実行してもSIGHUPを受け取って終了する現象 - Repro Tech Blog
Platform Team/Sys-Infra Unitの伊豆です。今回は、pt-online-schema-changeにnohupをつけてバックグラウンドで実行してもSIGHUPを受け取って終了する現象に遭遇したので、そのときに調査した内容を共有します。 調査は以下の環境で行いました。 pt-online-schema-change v3.6.0 Amazon Linux 2023 bash 5.2.15 OpenSSH 8.7p1 背景 ReproではAurora MySQLを使っていて、レコード数の多いテーブルのスキーマを変更するときに、pt-online-schema-changeを使うことがあります 1 。pt-online-schema-changeを実行するときは、実行用のサーバーにSSHでログインして実行しています。 中には10億レコード以上あるテーブルもあり、pt-on
技術の世界では、今日の王者も昨日は挑戦者でした。その最も象徴的な例の一つが、AppleのiPhoneです。Tony Fadellの著書「Build」は、このiPhoneの開発秘話を通じて、革新的な製品開発の本質に迫ります。今回は、この書籍から得られる洞察を、現代の挑戦者たちに向けて紐解いていきます。 トニー・ファデル / ＢＵＩＬＤ ―真に価値あるものをつくる型破りなガイドブック― 私はiPhoneが発表された当時、あまりテクノロジーに関心がなく、可処分時間のほぼ全てを吹奏楽に充てていました。その後テクノロジーに興味を持ち、プログラミングを仕事にするようになった時にはiPhoneは圧倒的な強者になっていたので、開発初期にApple社内からも批判されていたことにはとても驚きました。 iPhone：挑戦者の物語 2007年、スマートフォン市場はBlackBerryが君臨していました。ビジネスパ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kafka Streams はレコードをどのように処理しているのか - Repro Tech Blog
計測システムにおける計測データの管理方法の進化 - ZOZO TECH BLOG
QA奮闘記 ~QAエンジニアの役割と品質を支える取り組み~ - enechain Tech Blog
"それは失敗する"：Appleですら疑ったiPhoneの挑戦 - ROUTE06 Tech Blog