Elasticsearchのパフォーマンス問題をプロファイラを使って解決する | メルカリエンジニアリング
search infra teamのmrkm4ntrです。我々のチームではElasticsearchをKubernetes上で多数運用しています。歴史的経緯によりElasticsearchのクラスタは全てElasticsearchクラスタ専用のnode pool上で動作していました。ElasticsearchのPodは使用するリソースが大きいため、このnode poolのbin packingが難しくコストを最適化できないという問題がありました。そこで全てのElasticsearchクラスタを専用のnode poolから他のワークロードと共存可能なnode poolへ移行しました。ほとんどのクラスタが問題なく移行できたのですが、唯一移行後にlatencyのスパイクが多発してしまうものがありました。 この記事では、その原因を調査する方法と発見した解消方法について説明します。 発生した現象 共
強いエンジニア組織に必要な、6つの技術以外のこと – メルカリ編 | メルカリエンジニアリング
はじめに メルカリ Engineering Office マネージャーのhiroiです。 我々のチームでは「Establish a Resilient Engineering Organization」というミッションを元に、エンジニアリングにおける、組織横断課題の解決を目指しています。 組織横断というと、Platformチームや、インフラ周りのチームを想像する方も多いと思いますが、我々のチームでは、プロダクト開発における技術的な課題を除く、組織課題や横断的な取り組みを推進しています。 具体的には、各技術領域ごとの研修プログラムの構築、エンジニア向けのイベント企画運営、技術広報（このEngineering Websiteも我々の活動の一つです）、ナレッジマネジメント、エンジニア文化の言語化や醸成、技術戦略策定、果てはインド開発支部の立ち上げのプロマネなどをしています。 この記事ではそんな我
メルカリの2023年技術研修DevDojoの資料と動画を公開します！ | メルカリエンジニアリング
こんにちは！メルカリ Engineering Office チームの@aisakaです。 メルカリのエンジニア組織は、メンバーが相互に学び合い、メンバー自身が自走し、成長できる組織を目指し、「互いに学び合い、成長し合う文化」の醸成を行っています。 こうしたメルカリの「互いに学び合い、成長し合う文化」を体現する仕組みの一つが、社内技術研修「DevDojo」シリーズです。 昨年から、一部のDevDojoシリーズを外部公開(参考)していますが、今回さらに新しいコンテンツを公開することになりました！ 今日のブログでは公開するセッションとその内容をご紹介します！ Learning materials Website 技術研修DevDojoとは DevDojoは、技術開発を学ぶ場として「Development」と「Dojo(道場)」をかけ合わせて名付けられた完全In-houseの社内研修シリーズです。
Web パフォーマンスのための HTML 最適化 | メルカリエンジニアリング
Merpay Advent Calendar 2019 の2日目は @1000ch (id:hc0001) がお送りします。この記事は2019年11月16日に福岡で開催された Frontend Conference Fukuoka 2019 のセッション、HTML Optimization for Web Performance の書き起こし記事です。 docs.google.com なぜ HTML の最適化が重要なのか 先日公開された Chromium Blog: Moving towards a faster web をご覧になられたでしょうか。Google は Web ページのパフォーマンスの重要性を様々な形で啓蒙してきましたが、この記事では Chrome のもとになっている Chromium に、Web ページのパフォーマンスをブラウザ UI として表示する機能を追加し、ユーザーが
メルカリにおけるCDN利用の現在とこれから | メルカリエンジニアリング
こんにちは。メルカリ ネットワークチームの@kanemaruです。 メルカリのネットワークチームは、パブリッククラウドのネットワークをはじめとした様々なレイヤに関するコンポーネントの設計・開発・運用を担当しています (参考記事1, 2)。そうしたコンポーネントのうちのひとつが、Content Delivery Network (CDN)です。 メルカリは他の多くのウェブサービスと同様に、CDNを利用しています。現時点ではコンテンツのキャッシュやセキュリティの担保といった、基本的ながら重要な機能に重点を置いて利用していますが、そうした中で見えてきた運用上の課題もあります。この記事では、メルカリにおけるCDNの現在の状況と最近の取り組みを振り返りながら、今後の展望についてご紹介します。 なぜCDNを使うのか? CDNの分野では、コンテンツのキャッシュ機能をはじめとした多彩な機能を様々なプロバイ
メルカリの社内技術研修 ”DevDojo”の研修資料を公開します！ | メルカリエンジニアリング
この記事は、Mercari Advent Calendar 2022 の23日目の記事になります。 こんにちは！メルカリ Engineering Office チームの@aisakaです。 メルカリのエンジニア組織は、メンバーが相互に学び合い、メンバー自身が自走し、成長できる組織を目指し、「互いに学び合い、成長し合う文化」の醸成を行っています。 こうしたメルカリの「互いに学び合い、成長し合う文化」を体現する仕組みの一つが、社内技術研修「DevDojo」シリーズです。この度、一部のDevDojoシリーズを外部公開することになりましたので、今日のブログではDevDojoとその内容をご紹介します。 DevDojo page in Engineering Website 技術研修DevDojoとは DevDojoは技術開発を学ぶ場として、「Development」と「Dojo(道場)」をかけ合わせ
私たちはKubernetes SchedulerにWasm拡張の夢を見るか | メルカリエンジニアリング
この記事はMercari Advent Calendar 2022の21日目の記事です。 こんにちは。メルカリのPlatform Infraチームで働いている @sanposhiho といいます。 個人的にKubernetesやその周辺のOSSにコントリビュートをしていて、特にKubernetesのコントロールプレーンのコンポーネントのうちの一つであるスケジューラー周りを触ってることが多いです。 この記事では、現状のスケジューラーにおける拡張性の課題と、スケジューラーに現代の汎用バイナリとも言えるWasm（WebAssembly）ランタイムを通した拡張性を持たせることができるのかどうかを検証してみます。 Kubernetes Scheduler とは スケジューラーはPodをどのNodeで実行するかを決定しているコンポーネントです。 その時の様々なリソースの状況を見たり、ユーザーが指定した
SOLID原則に従って行うリファクタリング実践 | メルカリエンジニアリング
この記事は、Merpay Advent Calendar 2022 の21日目の記事です。 こんにちは。メルペイBackendエンジニアのfivestar（@fivestr）です。 本記事では「SOLID原則」と呼ばれる設計原則に沿って実際に行ったリファクタリングについて、メルペイの「あと払い」サービスの開発現場事情を踏まえながらご紹介していきます。 あと払いの歴史とコード負債 私が所属するCredit Designチームではメルペイの「あと払い」や「メルペイスマートマネー」といった与信サービスの開発を行っています。中でも「あと払い」はメルカリが2017年にリリースした「メルカリ月イチ払い」を前身とする歴史の長いプロダクトであり、単純な機能追加だけでなく、設計上大掛かりな変更を伴う修正を繰り返しながら今日まで成長してきました。 例えば、あと払いをメルカードの決済・清算のバックエンドとして統
メルカリiOSアプリのBazelを使った高速・高信頼性ビルド | メルカリエンジニアリング
ここまでBazel の利点をいくつか紹介しましたが、採用には懸念点もありました。次のセクションからは、どのような懸念があったか、それをどのように解決したのかを紹介します。 Xcode 統合 Bazel と Xcode の統合は Bazel の採用においてもっとも大きな懸念でした。 Xcode はビルドシステムと密結合したやや特殊な IDE なので、外部ビルドシステムとの統合が難しいのです。特に indexing や LLDB デバッグを正しく動作させるのは困難でした。 統合とはつまり、Bazel によるビルドのアウトプットを利用して Xcode がサポートする動作を再現することを意味していて、主に下記のような要件を満たす必要があります。 Bazel のビルド構成ファイル群を解析して Xcode プロジェクトを生成する Xcode ビルドの実行を抑制し、代わりに Bazel ビルドを実行する
決済システムを壊さずに拡張した話 | メルカリエンジニアリング
メルペイのBackend Engineerの @Hiraku です。与信決済システムのmicroserviceのTech Leadをしております。 この記事は、Merpay Advent Calendar 2022 の5日目の記事 メルカードの舞台裏編です。 2022年11月8日にメルペイ初のクレジットカードであるメルカードがリリースされました。これに伴い、システムにも広範囲に変更が加わっています。この記事ではその中でもちょっと分かりにくい、メルペイスマート払いの請求タイミングの変更について解説します。 月末ごろにメルカードによる決済を行うとわかるのですが、「処理中」と表示され、翌月の請求に含まれないものがあります。こちらはメルカード特有の実売上処理が終わってから請求する挙動です。順番に解説していきます。 カード決済の流れ 決済は大きく2段階の処理で成り立っています。「オーソリ」や「仮売上
Building secure web apps using Web Workers | Mercari Engineering
Security is paramount for our users, and we at mercari strive to provide a snappy and safe platform. We recently introduced an additional layer of defence by adding Web Workers to secure the access token. It now protects the users from various kinds of attacks, including token theft from Cross Site Scripting (XSS), Cross Site Request Forgery (CSRF), prototype pollution, zero-day npm package vulner
メルカリの取引ドメインにおけるモジュラーモノリス化の取り組み | メルカリエンジニアリング
この記事は「連載：連載：技術基盤強化プロジェクト「RFS」の現在と未来」として書かれたものです。 メルカリのトランザクションチームでバックエンドエンジニアをしている @adachang です。今回は前回の記事に引き続き、メルカリの取引ドメインに属するコードベースのメンテナンス性・拡張性を改善するための取り組みを紹介します。 前回の記事では、この取り組みの背景や課題、ドメイン分析や依存関係をデカップリングするアプローチについて説明しました。その中でメルカリの “取引” を扱う大きなドメインを、商品代金の支払いとそれ以降のプロセスに分割し、前者を「Checkout ドメイン」、後者を 「Transaction ドメイン」と呼ぶことにしました。この記事では、Transactionのドメインを取り上げ、PHPのモノリスをモジュラーモノリスに移行するための現在進行中の取り組みをご紹介します。私たちが
TerraformモノレポCIのセキュア化 | メルカリエンジニアリング
※本記事は2022年1月22日に公開された記事の翻訳版です。 この記事は、Developer Productivity Engineering Campブログシリーズの一環として、Platform Infraチームの Daisuke Fujita (@dtan4)がお届けします。 メルカリでは、すべてのクラウドインフラを宣言的構成で管理することがプラットフォームの中核となる考え方の一つです。メインのクラウドプロバイダーはGoogle Cloud Platform（GCP）であり、HashiCorp Terraformを使用してインフラをコードとして管理しています。Platform Infraチームは、すべてのTerraformワークフローを安全に管理するための社内CIサービスを提供しています。 Terraformはリソースプロビジョニングのためにクラウドプロバイダーのクレデンシャルを必要と
メルカリの新卒エンジニアは入社後どう過ごす？2022年4月新卒が経験した技術研修のすべて | メルカリエンジニアリング
こんにちは！メルカリ Engineering Office チームの@aisakaです。 私達のチームは「全てのエンジニアに最高の従業員体験を」というミッションを元に、様々な活動を行なっています。私はその中でも、よりよいオンボーディング体験を提供していくための戦略や仕組みづくりに携わっています。 メルカリでは、毎年様々なバックグラウンドを持つ新入エンジニアメンバーを国内外から採用しています。こうした、様々なバックグラウンドをもつ新卒メンバーがチームに配属してすぐに活躍できるよう技術研修 (DevDojo)を実施しています。 今日は、これまでの新卒採用の振り返りと今年の新卒メンバー向けに実施した技術研修 (DevDojo)を紹介します！ これまでの新卒採用をプレイバック！ 新卒採用について メルカリは2013年2月1日に設立し、設立から2年後の2015年から新卒採用を行い、最初の新卒メンバー
Goでテストのフィクスチャをいい感じに書く | メルカリエンジニアリング
Merpay Tech Openness Month 2022の6日目の記事です。 こんにちは、Merpay Credit Design Teamでバックエンドエンジニアをしている@youxkeiです。 テストを書く際、その前提条件としてデータベースの状態をフィクスチャとして準備して、データベースにデータを投入することがよくあります。このフィクスチャはYAMLなどの外部ファイルに書かれることもありますが、この記事ではテストコード上にGoで記述する方法を考えていきます。 この記事では、データベースはリレーショナルデータベースを想定していて、具体例として架空の図書館蔵書管理システムのデータベースを使っています。 素直にモデルを使う 多くの場合、以下のようにデータベースのそれぞれのテーブルに対してモデルが定義されています。 package model import ( "time" ) type
merpay Backend Talk 〜Backend×SREで取り組むサービスの安定化〜 を開催しました！ #merpay_backend | メルカリエンジニアリング
merpay Backend Talk 〜Backend×SREで取り組むサービスの安定化〜 を開催しました！ #merpay_backend 2022年3月18日に、『merpay Backend Talk 〜Backend×SREで取り組むサービスの安定化〜』 を開催しました。 この記事はイベントレポートです。配信当日の内容を簡単に紹介します！ 詳しくはYouTube上にある配信アーカイブ動画をご視聴ください。 イベント概要 今回のイベントテーマは「Backend×SREで取り組むサービスの安定化」です。 決済サービス「メルペイ」は、金融サービスであるがゆえ、常に信頼性が高いことが重要です。メルペイを利用するお客さまが常に当たり前のように使用できる状態を提供し続ける必要があります。 サービスの安定化にむけチーム体制、運用方針について、BackendとSREの責務範囲についてなどそれぞれ
ユニットテストのガイドラインを作成しました | メルカリエンジニアリング
この記事は Merpay Tech Openness Month 2022 の15日目の記事です。 はじめに こんにちは。Credit Design Teamでバックエンドエンジニアをしている@tanaka0325です。主にメルペイスマート払いの開発をしています。 この記事では、先日私のチームで作成したユニットテストのガイドラインについて紹介します。 課題 現在私が担当している「メルペイスマート払い」のマイクロサービスは、もともと「メルカリ月イチ払い」として提供されていたコードを流用し、新規要件となる機能を追加して作られたマイクロサービスです。 マイクロサービス化するにあたり、「メルカリ月イチ払い」にあったデータはマイクロサービスリリース後に随時マイグレーションをする方針になったので、既存のデータをマイグレーションしつつ、定額払いなどの新規機能を追加してきました。メルペイスマート払いのマイ
メルペイDataPlatformのCDC DataPipeline | メルカリエンジニアリング
こんにちは、メルペイ DataPlatformチーム(@rerorero, @darklore, @laughingman7743)です。 この記事は、Merpay Tech Openness Month 2022 の14日目の記事です。 今日はメルペイ DataPlatformで取り組んでいるCDCパイプラインについて紹介します。 CDCパイプラインとは何か CDCとは Change Data Capture の略称で、データベース内のデータの変更（新規作成、削除、変更など）を追跡するシステムです。データソースで発生した変更は、ニアリアルタイムでデータシンクに反映させることができます。 CDCの実現方法にはいくつかあるのですが、メルペイ DataPlatformでは以下の2つの方法を使ったパイプラインを構築しています。 Striim社のブログ がよくまとまっていたので、こちらから引用させ
Pull RequestをKubernetesで気軽に試せるOSS、KubeTempuraをリリースしました | メルカリエンジニアリング
Pull RequestをKubernetesで気軽に試せるOSS、KubeTempuraをリリースしました こんにちは、Mercari US Microservices Platform Teamの矢口です。 Mercariではこのたびテスト環境を簡単に作成できるツールをOSSとして公開しました！ KubeTempuraとは KubeTempuraとはKubernetesクラスタにお試し用環境を自動で作成するためのKubernetes Operatorです。 GitHubでのPull Requestの作成をトリガーとしてKubernetesのリソースを作成できます。 Pull Requestを作成したりPull Requestにcommitをpushするだけで簡単に自分やQAのメンバーが変更したコードを試すことができます。 動機 なぜこういったツールを開発したかについて説明します。 PR
E2Eテストのテスト結果を可視化することで気づきが生まれた | メルカリエンジニアリング
メルカリの自動化＆品質保証グループ（Automation & QA Group：通称AQA）の おれたま@AHA_oretama です。 私は普段、テスト自動化やCI / CD を主に行っています。 今回は、Appium×Android E2Eテストのテスト結果の見やすさを改善し、テスト結果を可視化することで気づきが生まれた話について、紹介していきたいと思います。 テスト結果の見やすさ、可視化の重要性について いま使っているテストレポートの課題 Allure Framework 並列化した分だけレポートも分かれてしまうことへの対処 スクリーンショット、スクリーンレコード以外のアタッチメントを追加することができないことへの対処 過去のテスト結果と比較できないことへの対処 他の改善点 テストのタイムラインが見える トレンドも表示できる Looker 生まれた気づき 課題 終わりに テスト結果の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
