SchemaSpy を使って自動で ER 図生成してみた | メルカリエンジニアリング
メルペイのソフトウェアエンジニアの @syu_cream です。最近はもっぱらメルペイにて決済の仕組みを担うマイクロサービスの開発やログ収集を行うための基盤作りをして過ごしております。 本記事では、メルペイのログ収集基盤を構築するにあたって取り組んだ、 ER 図自動生成の話を書きます。 背景 メルペイのプロダクト開発 何度か発信させていただいている通り、メルペイが提供するさまざまなサービスの機能はマイクロサービスアーキテクチャに基づいて開発されています。 マイクロサービスとして機能を開発していく細かな経緯や思想などは、以下の記事を読んでいただけるとより深く知っていただけると思います。 mercan.mercari.com メルペイの各マイクロサービス開発は、各開発チームがオーナーシップを持って、非常に早いスピードで進めています。 下図はあくまでイメージですが、現在メルペイではこのように各マ
バッチ処理の採用と設計を考えてみよう | メルカリエンジニアリング
こんにちは。メルペイで、決済・振込申請のバックエンドソフトウェアエンジニアをしている id:koemu です。 今日は、バッチ処理を行う理由について、考察を深めて設計に活かしていく話をしたいと思います。 はじめに バッチ処理とは、ある決まったタイミングで1つのプログラムが複数のデータを 一括処理 することを指します。この反対の言葉として、オンライン処理があります。オンライン処理とは、お客様の操作を初めとしたイベントをもとに 逐次処理 されるものです。OLTP(Online Transaction Processing)とも言います。 本エントリでは、バッチ処理を採用するにあたり、どういったユースケースが適切なのかを整理して、今後のソフトウェアの設計の指針にできることを目指しています。今回は、「バッチ処理を採用するとき」と「バッチ処理の設計」の2つについて取り上げます。 バッチ処理を採用する
デブサミ2018「インフラチームからSREへ〜メルカリを支える新しいインフラのあり方」講演メモ #devsumi - 元RX-7乗りの適当な日々
楽しみにしていた kazeburo 先生のセッション。 電車が遅れていたおかげで間に合わないかと思ったけど、自己紹介が始まったところで、なんとか滑り込み。 メモを書いたので貼り付けておきます。 自己紹介 〜2006 京都のスタートアップ 2006〜 mixi 2010〜 Livedoor(NHN, Line) 2015〜 Mercari SREとの出会い インフラエンジニア？ mixi時代は「アプリ運用チーム」 インフラチームは別で存在 DCチームが用意したサーバの能力を目一杯引き出す アプリチームが開発したコードを最大限能力を引き出す オペレーションエンジニア？ オペレーション（ルーチンワーク）と捉える人も多い SREとの出会い 2012/7にIRCで友人から教えてもらう Googleの巨大なインフラとサービスの稼働・安定性を担保するチームがSRE 2015/11 メルカリにてチーム名と
メルカリの分析チームとは？その全ての疑問にひとつひとつ答えます | メルカリエンジニアリング
この記事はMercari Advent Calendar 6日目の記事です。 メルカリのBIチームのアナリスト/マネジャーの @hikaru が、メルカリの分析チームの事情についてお送りします。 ※ BIチーム…メルカリ内の分析を一手に担うチーム。Business Intelligenceチーム。 この記事について イベントやカジュアル面談などでメルカリの分析チームの内幕についてよく聞かれる質問があります。 いえ、それどころか場合によっては社内であまり一緒に仕事する機会がない方々からも、チームに関して質問されることがあります。 ※ カジュアル面談…メルカリでは、社内のポジションに興味ある方にオフィスに来ていただいて1on1でざっくばらんに話す会を頻繁に行っています。 正直、分析チームというのは外部から何をやっているか見えづらい面もあるため、理解できます。 よく頂く質問としては、 組織的なこ
KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 | メルカリエンジニアリング
メルカリのバックエンドを支える SRE(Site Reliability Engineering) チームに最近加わりました @syu_cream です。 本記事では KPI に関わる数値を計算してレポートを生成する集計システムの刷新に取り組んでいる話を紹介します。 現在は刷新の途中であり、集計項目ベースでいうと 1/3 ほどの実装が済み、現行システムと刷新後のシステムの一部を並行稼動させている状態です。 背景 メルカリではアプリケーションのログファイルやデータベースから、 DAU(Daily Active Users) などの KPI に関する様々な数値を集計するためのシステムを稼働させています。 この集計システムは毎日 Slack やメールにて KPI のサマリーレポートを送信し、全社員が数値を閲覧し、日々プロダクトの傾向を意識することを可能にしています。 集計システムの動作イメージは
第1回 Mercari Tech Conf を開催しました | メルカリエンジニアリング
tech.mercari.com 先日からお伝えしていた通り、9/30 （土） にベルサール六本木にて第1回 Mercari Tech Conf 2017 が開催されました。 テーマに Next を掲げ、過去から現在にいたるまでに実現してきたこと、そしてこれから実現する未来について発表しました。 togetter.com それでは、簡単に各発表を振り返っていきます。 基調講演 鶴岡 達也 (Head of Engineering, Souzoh) / 柄沢 聡太郎 (VP of Engineering) / 名村 卓 (CTO) 3名による基調講演でした。 メルカリ初期の話 – 鶴岡 この頃はとにかく素早くものを作る必要があった シンプルな LAMP 構成を採用した。LAMP なのは初期のエンジニアが一番触りやすい構成、言語だから。人のスケールをさせやすいから インフラはハイエンドな1つの
Microservices at Mercari
1) Mercari has transitioned some services to microservices architecture running on Kubernetes in the US region to improve development velocity. 2) Key challenges in operating microservices include deployment automation using Spinnaker, and observability of distributed systems through request tracing, logging, and metrics. 3) The architecture is still evolving with discussions on service mesh and c
Mercari Tech Conf 2017基調講演のまとめ - oqrusk’s blog
概要 Mercari Tech Conf 2017に行ってきました。 とても素晴らしい基調講演だったので、無我夢中でメモを取りながら聞き入りました。せっかくなのでまとめを公開します。 本編のスライドが全て公開されていますので、正しくはそちらを御覧ください。 感想 メルカリがなぜココまでの急成長を遂げられたのか、 国内にとどまらずグローバルで拡大し続けられるのか、 その理由がよく分かるような発表でした。 自分たちの実現したい事業コンセプトを徹底するために大胆に判断し、必要なところに最大限のリソースを投入する。 既存コードの作り直しを厭わず、冗長な作業を自動化することで本当に必要なことにフォーカスできる環境を作りあげること。 ミスをしても再発を防止する仕組みを作ることで、失敗を恐れない文化が作られたのだと感じました。 基調講演のまとめ 概要 メルカリの創業期の様子 US/UKへのグローバル進出
メルカリのデータサイエンスチームと分析エコシステムのはなし | メルカリエンジニアリング
※各プロダクト名の頭の”Google”は省略しています ※もちろん実際にはGoogle社のツール以外にも様々な分析用プロダクトが使われています 各ツールの詳細についてはWeb上の良質な情報がたくさんあるので、説明はそちらに譲るとして、ここではそれぞれの簡単な特徴とメルカリでの活用の仕方について主に述べていきます。 ◆ 1.BigQuery “弊社分析の中核的存在” 利用シーン： データの集計 どんなツールか Google BigQuery SQLの超速いやつ どんな大きなデータでも、複雑なクエリでも、高速で結果を返してくれる頼れるアニキ メルカリの分析での使い方 速いは正義 メルカリは多くのユーザを抱えているため、そのログデータも非常に巨大です。 そのため、通常のSQLでは計算に時間がかかりすぎるということが多々発生します。 BigQueryは とにかく「高速」の一言。なのでトライアンドエ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
メルカリにおける、継続的なアプリケーション改善を支える技術 #retty_tech_cafe // Speaker Deck