機械学習開発の標準戦略MLOps
こんにちは、GMOアドマーケティングのS.Rです。 機械学習の開発を円滑に進めるためにMLOps の取り組みは重要です。今日はよく使われているMLOps のFramework であるKubeflow とKubeflow に基づいたCloud Service AI Platform を皆さんへ紹介させていただきます。 ※なお、この記事中の図示は、特に断りが無い限り筆者が作成したものです。 MLOpsとは MLOPSは分析（ML）＋開発（Dev）＋リリース（Operations）の組み合わせです。 機械学習の開発効率を向上させる為に、機械学習project の開発原則とルールが纏められています。 MLOpsのレベル MLOps の自動化はその程度により3 つのレベルがあります。 詳細については【Google Cloud「MLOps: 機械学習における継続的デリバリーと自動化のパイプライン」（リ
GoのGC (garbage collector)について理解する
プロトタイピングによる不確実性の低減 / Reducing Uncertainty through Prototyping
メルペイDataPlatformのCDC DataPipeline | メルカリエンジニアリング
こんにちは、メルペイ DataPlatformチーム(@rerorero, @darklore, @laughingman7743)です。 この記事は、Merpay Tech Openness Month 2022 の14日目の記事です。 今日はメルペイ DataPlatformで取り組んでいるCDCパイプラインについて紹介します。 CDCパイプラインとは何か CDCとは Change Data Capture の略称で、データベース内のデータの変更（新規作成、削除、変更など）を追跡するシステムです。データソースで発生した変更は、ニアリアルタイムでデータシンクに反映させることができます。 CDCの実現方法にはいくつかあるのですが、メルペイ DataPlatformでは以下の2つの方法を使ったパイプラインを構築しています。 Striim社のブログ がよくまとまっていたので、こちらから引用させ
ようやく始まった「TVer」リアルタイム配信 若いスタッフを投入し不具合は素早く改善せよ
民放公式テレビ配信サービス「TVer」で民放5系列のリアルタイム配信が始まりまった。テレビプロデューサーの鎮目博道氏は、「TVerもぜひ若いスタッフをガンガン投入して、より良く改善していってほしい」と漏らす。 民放公式テレビ配信サービス「TVer」で民放5系列のリアルタイム配信が始まりましたね。テレビ東京が日経新聞に出した自虐謝罪広告だけが結構話題になってましたが、ぶっちゃけ「全国放送っぽくふるまってる」のはどこの系列も同じです。僕はテレビ朝日にいましたが、富山、鳥取、島根、高知あたりではテレ朝系列は映りません。ロケに行って「小宮悦子の番組？ 小宮悦子って誰だそれ？」とか何度も言われました。他の系列も、「フジテレビは青森で見られない」とか「日本テレビは沖縄で見られない」とか、どっかに穴があります。 話をTVerに戻しますと、リアルタイム配信が始まったのは、なんか「ようやく」というか「やっと
Pythonを活用してパケットを可視化、ネットワークの利用状況が一目瞭然
今回は、Pktmonで取得したログファイルを自作のプログラムで分析する方法を紹介する。例えば可視化を考えてみよう。Wiresharkを使えばパケットの様々な情報を確認できる。しかしWiresharkの機能では取得できない情報を見たい場合もある。その場合、パケットキャプチャーソフトを自分でプログラミングできれば融通が利く。また取得したパケットに同じ分析を繰り返し適用したり、処理を自動化したりすることも可能だ。 Pythonの実行環境を導入 プログラミング言語の種類は多いが、ここでは人気のプログラミング言語である「Python」を使う。Pythonには、ネットワーク管理のためのライブラリーが多数用意されている。 まずWindows 10にPythonの実行環境をインストールする。PowerShellで「python」と入力してEnterキーを押す。Windows Storeが起動し、「Pyth
ECSでマルチステージング環境を実現した設計と実装 | PR TIMES 開発者ブログ
こんにちは、普段PR TIMES STORY（以下STORY）の開発リーダーをしている岩下(@iwashi623)です。 PR TIMES STORYは弊社のMissionである「行動者発の情報が、人の心を揺さぶる時代へ」をそのまま体現したようなプロダクトで、「創業ストーリー」や「開発秘話」などの行動者の熱量をそのまま配信して、企業とメディア、生活者のより良い・多くのリレーションが生まれることを目的としています。 PR TIMES STORYトップページ 本記事では、私も今月から2年目となったので新卒の時よりさらにチームに貢献していきたい！と思っていたところ、STORYの現状の環境では開発速度が出しづらい状況を抱えていたので、そちらを解消するためにチームで行ったことを書いていきます。 現状 STORYは一部PR TIMESとは別リポジトリ、別インフラで独立して管理されており、独立している部
「実践的データ基盤への処方箋」から読み解く「データを扱うビジネスパーソン」のキャリアパス - Lean Baseball
なんやかんやで, ITコンサルタント（復帰）生活から半年経ったマンです. マネジメントからアーキテクチャ, はたまた技術的なLTまでやらせてもらえて楽しく過ごしております*1. 昨年の話になりますが, コミュニティーやその他の活動で色々とお世話になってる @yuzutas0さん達が執筆しました, 「実践的データ基盤への処方箋」を頂戴いたしました. 実践的データ基盤への処方箋〜 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ 作者:ゆずたそ,渡部 徹太郎,伊藤 徹郎技術評論社Amazon ひと言で言うと, データ活用のためにこういう本が欲しかったんや！！！ というくらい良著で, データ活用に必要な「人・組織・アーキテクチャ」をいい感じに網羅的に扱っていて良きでした（と, 読み終えた時の感想ツイートがそう言ってました）. データを扱う人すべてにおすすめしたい一冊です 読み終えた後も,
ユニットテストのガイドラインを作成しました | メルカリエンジニアリング
この記事は Merpay Tech Openness Month 2022 の15日目の記事です。 はじめに こんにちは。Credit Design Teamでバックエンドエンジニアをしている@tanaka0325です。主にメルペイスマート払いの開発をしています。 この記事では、先日私のチームで作成したユニットテストのガイドラインについて紹介します。 課題 現在私が担当している「メルペイスマート払い」のマイクロサービスは、もともと「メルカリ月イチ払い」として提供されていたコードを流用し、新規要件となる機能を追加して作られたマイクロサービスです。 マイクロサービス化するにあたり、「メルカリ月イチ払い」にあったデータはマイクロサービスリリース後に随時マイグレーションをする方針になったので、既存のデータをマイグレーションしつつ、定額払いなどの新規機能を追加してきました。メルペイスマート払いのマイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
