Mercari Advent Calendar 2017 の15日目は id:koemu こと斎藤が担当します。 こんにちは。私は、サーバサイドのソフトウェアエンジニアとして、過去はメルカリ 米国版の開発、現在は日本版の開発に携わっています。 サーバサイドのソフトウェアエンジニアにとって、サービスの成長に伴うサーバの負荷との戦いは切っても切れない存在であると、私は考えています。初めから想定できる問題もあれば、サービスが成長して初めて明るみになる問題もあります。成長痛と言ってもいいかもしれません。 今日は、私が当社で働いていて携わった、サーバサイドのプログラムのパフォーマンスに関わる事象について、「Slave DBへの要求を memcached に向けていく」「PHP からサブシステムを呼び出そうとするときの工夫」そして「array_merge()の失敗談」の3点をピックアップして紹介します

Mercari Advent Calendar 2017 の16日目は@sota1235がお届けします。 この記事では私のチームが開発しているメルカリチャンネルでFirebase Realtime Databaseを使うにあたり行っている工夫をご紹介します。 同じ文脈の話を今年のPHPカンファレンスでも発表したのですが、この記事ではその時お話できなかったもう少し細かい工夫を4つ紹介したいと思います。 Realtime Databaseへのリクエストを間引く Realtime Databaseは非常に高トラフィックな通信を捌くことができます。 とはいっても無尽蔵にデータ更新処理をしたり読取処理をできるわけでは当然ありません。 メルカリチャンネルでは以下のように多くの用途にRealtime Databaseを利用しています これらを全て素直にRealtime Databaseに書き込むとすぐに

次世代Continuous DeliveryプラットフォームであるSpinnakerを体験してみよう！ Mercari Advent Calendar 2017 の17日目は SET(Software Engineer in Test)チームの @masudak がお送りします。 Spinnakerの登場 みなさんの会社では、どうやってサービスのデプロイを行っていますでしょうか。手で温かみのある配布しているという方もいるかもしれませんし、scp/rsyncでデプロイ、シンボリックリンクを駆使してデプロイ、botを使ってデプロイなど、色々な方法があるでしょう。 @deeeetが tech.mercari.com に書いたように弊社ではマイクロサービスのデプロイを少しずつSpinnakerに寄せています。 RED/BLACKデプロイや、承認フローの追加、カオスモンキーなど数多くのマイクロサービ

この記事は Mercari Advent Calendar 2017 20日目の記事です。昨日は @_hitima の「Mercari Web版 に Workbox で Service Worker を導入する話」でした。本日は研究開発組織の @ikkou が Mercari BOLD Internship に続く新しい企画 Mercari BOLD Scholarship をはじめる話をします。 メルカリにジョインするきっかけとなった xR(VR/AR/MR) のことや、研究開発組織については、この記事が公開される翌々日に メルカリ新研究開発組織オープニングイベント が開催されるので、そこから段々と明らかにしていく予定です。 はじめに メルカリでは、世界で戦うために、まずは、世界を見てきてください。というメッセージのもと、US・UKに100名の学生を派遣する Mercari BOLD I

Hello everyone! @vishal from Mercari’s SET team. This is the 12th entry for Mercari Advent Calendar. In this blog post, I will talk about rspec_html_reporter which is being used for Android E2E test automation at Mercari. Role of Test Reports in Mobile E2E Test Automation Test report is the end result of test automation execution. This is the only source of truth once test execution is finished. I

Mercari Advent Calendar 2017 の11日目はフロントエンドエンジニアの @sawa-zen がお送りします。 はじめに 2013年に Facebook 社から React がリリースされ多くのフロントエンドエンジニアから注目を集めました。React を使用したWebサービスも次々と現れており、Web 界隈では今やポピュラーなライブラリとなりましたが、React の活躍は Web だけに収まりません。React Native の登場によりネイティブアプリを React の記法で実装できるようになり、さらには Airbnb 社から react-sketchapp が登場し Sketch のデザインデータも React で管理できるようになりました。 しかし、完全に同じ記法で書けるというわけではありません。 Web, ReactNative, Sketchでの記法の違い

この記事はMercari Advent Calendar10日目の記事です。昨日は@syu_creamのメルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜でした。 本日はUSサンフランシスコのサーバサイドエンジニア@deme0607が、今年2017年にリニューアルしたUS版Mercariのサーバサイドについてご紹介します。 現在のアーキテクチャ Brand new US Mercari (Android 編)でもご紹介したように、US版Mercariは今年、より一層USマーケットにフィットしたアプリを提供しUSでの成長を加速すべく、大きなリニューアルが実施されました。前述の記事はAndroidアプリのリニューアルに関するものですが、iOSアプリやAPIサーバも同様にリニューアルしています。 以下の図は、リニューアル後のUS版Mercariのサーバサイドアーキテクチャです。 ここでは

Mercari Advent Calendar 2017の7日目です。 今回は、まだあまり知られていないAI同士の交渉についてメルカリでインターンをしている@keita0qがお話しします。 自動交渉とは 自動交渉とはマルチエージェントシステムモデルの一つであり、AI同士がそれぞれの合理性に従って合意形成を行うことを指します。 自動交渉において重要な構成要素は以下の４つです。 1. 交渉の目的 交渉の目的となる結果は、合意(Agreement)です。 交渉に参加するエージェントはその社会において個人的、社会的に満足の行く合意形成を行うために交渉します。 2. 交渉に参加するエージェント 二者の場合は二者間交渉、複数の場合はマルチパーティー交渉と呼ばれます。 各エージェントは3、4で述べるプロトコル、戦略を実装している必要があります。 3. 交渉プロトコル 交渉を行う場合にエージェントが相互に

Mercari Advent Calendar 2017の8日目はブロックチェーンについてです。 7日目は、@keita0qさんの tech.mercari.com でした。 「ブロックチェーン x 分散ファイルシステム」に興味がある方は、@stanakaさんの tech.mercari.com をご覧ください。 今日は、@zaq1tomoがサンフランシスコからお送りします。 はじめに 今回は、ブロックチェーンにおける主要技術のひとつ コンセンサスアルゴリズム（合意形成アルゴリズム）についての投稿です。 Proof of Work Proof of Stake Proof of Importance 他にも多くのアルゴリズムが提案されていますが、今回は最も代表的なBitcoinの Proof of Work（PoW） についてまとめたいと思います。 Proof of Work（PoW） W

今年からメルカリでもMercari Advent Calendar 2017と称してAdvent Calendarを始めることとなりました。 初日は id:stanaka / @stanaka がロンドンよりお届けします。 分散ファイルシステムという言葉を聞くと、トラウマを刺激され、うっと頭を抱える人も多いかと思います。私もその一人で、以前にPBクラスまではいかずとも数TBのHDDを数百台並べたシステムのお守りをしたことがあり、日々壊れ続けるHDDに負荷に悲鳴を上げるメタデータDBなどネタには困らない状況でした。そういう時にAWS S3を触ると、「ああ、これは天国だ..」ともはや過去には戻れない思いをしたものです。 最近では分散ファイルシステムを運用しているところもめっきり減っていて*1もう過去の分野かな、と思っていたのですが、ここ数年で「ブロックチェーン x 分散ファイルシステム」という

こんにちは、メルカリのQA-SETチームで自動化をぶりぶりしている tadashi0713 です。 これまではモバイルアプリ・WebアプリのE2Eテストを中心に自動化をしていましたが、最近ではプロダクト部門・カスタマーサポート部門・コーポレート部門の業務自動化にも挑戦しています。 今回はSelenium WebDriver (以下 Selenium) を使って簡単にできるブラウザ作業自動化についてご紹介します。 10/25にGitHub JapanでLT発表した資料もありますので、合わせてご覧ください。 english-lt.connpass.com 意外と多い、ブラウザを使った繰り返し作業 社内の色々な職種・チームの方々とコミュニケーションをしていると、ブラウザを使った繰り返し作業が多く感じました。 例えば 社内で使用しているWebサービスのアカウントを社員に付与する Chartio(h

tech.mercari.com 先日からお伝えしていた通り、9/30 （土） にベルサール六本木にて第1回 Mercari Tech Conf 2017 が開催されました。 テーマに Next を掲げ、過去から現在にいたるまでに実現してきたこと、そしてこれから実現する未来について発表しました。 togetter.com それでは、簡単に各発表を振り返っていきます。 基調講演 鶴岡 達也 (Head of Engineering, Souzoh) / 柄沢 聡太郎 (VP of Engineering) / 名村 卓 (CTO) 3名による基調講演でした。 メルカリ初期の話 – 鶴岡 この頃はとにかく素早くものを作る必要があった シンプルな LAMP 構成を採用した。LAMP なのは初期のエンジニアが一番触りやすい構成、言語だから。人のスケールをさせやすいから インフラはハイエンドな1つの

こんにちは。メルカリでQA-SETチームのマネージャ兼自動化エンジニアとして、スマホアプリのテスト自動化をぶりぶりしている@daipresentsです。 先日開催された Mercari Tech Conf 2017 において、自動テストのデモ展示を担当させていただきました。当日は多くの方にお越しいただき、スマホアプリの自動化への関心は大きいのかなぁと感じております。 この記事では、テスト自動化についてよく質問されたことをまとめてみたいと思います。どの現場も同じように悩んでおり、試行錯誤している点も似ていたので、ノウハウとして残れば幸いです。 Q. どんな技術をつかってアプリの自動化をしているのですか？ A: AndroidはAppium（Ruby) を使っています。 Gemが豊富なので以下のようなGemを使って実装を効率化しています。 # Gemfile sample gem 'appiu

#iosdc にメルカリとソウゾウから7名が登壇！ #MercariTechConf でもiOSについてお話します iOSエンジニアの@motokieeです。 9月15日から17日に開催されたiOSDC Japan 2017にメルカリとソウゾウから計7名が登壇しました。メルカリで実施しているA/Bテスト、USメルカリの新アーキテクチャー、CrashlyticsやFirebaseなどのサービス、プッシュ通知、Protocol Buffers、Go言語による開発など、様々な内容でどれも盛況でした。 @motokieeと@jollyjoesterはカンファレンスの運営にも参加し、コミュニティーの活性化に貢献してきました。 この記事では、発表資料をまとめて紹介します。 @chuganzy: メルカリで実施した過去最大規模のABテスト「ドロワー vs 下タブ」の舞台裏 @jarinosuke

はじめまして! Mercari Summer Internship 2017 機械学習エンジニアコースに参加していました上川優太です。 現在は大学院に所属し、機械学習を学んでいます。 レベルの高い環境で成長したい！あのメルカリの社内の雰囲気を感じてみたい！と考え、メルカリのインターンに参加しました。 8月1日から8月31日まで機械学習を用いた業務を行ったので、それについて紹介します。 商品の色推定 私が取り組んだのは、商品画像から商品部分の色を推定し、自動的に色情報をタグ付けするというタスクです。 私自身、よくメルカリを利用するのですが、欲しい物を選ぶ基準として色というのは重要であると考えています。 実際に、欲しい物を検索するときに【Tシャツ 青】みたいに検索をするのですが、 明示的に色の情報が記載されている商品は少なく、欲しい商品にたどり着けないことも多々あります。 そこで、出品者が明示

こんにちは。@daipresentsです。メルカリでは、QA-SETチーム（後述）のマネージャをぶりぶりしています。 8月24日に発売される『WEB+DB PRESS Vol.100』において、「1日100万出品のフリマアプリの舞台裏！メルカリ開発ノウハウ大公開」という記事を書かせていただきました。 執筆陣はメルカリの開発を支えるエンジニアたち。内容もタイトルの通り、メルカリでの開発ノウハウがぎっしりと詰まっています。 今日は宣伝も兼ねまして、ちょっぴりその内容をご紹介させていただきます。 第1章 グローバルで闘うメルカリの開発組織 メルカリのVP of Engineering @sotarokによる開発組織の解説です。 メルカリにはプロダクトの開発に関わるメンバーが所属するプロダクトチームという大きなチームがあります。そして、それぞれのメンバーは、プロジェクトチームに単位で小さなチームを

こんにちは。SREの @kazeburo です。8月17日に株式会社ハートビーツ様が主催する「hbstudy#75」において、メルカリSREの取り組みについての発表をしてきましたので、資料を公開します。 hbstudyでは、SRE大全というテーマで、#74において先日発売となりました「SRE サイトリライアビリティエンジニアリング ―Googleの信頼性を支えるエンジニアリングチーム」の翻訳者の発表があり、また#76にてXFLAG スタジオのSREによる発表が予定されています。 発表内容 トークの時間が2時間ありましたので、前半、後半にわけて資料を作成しました。内容も多く盛り込んでおります。 メルカリがSREを採用した理由 メルカリSREチームの紹介 OnCall/運用当番について 先日のCDN変更での個人情報漏洩について PHPアプリケーションの最適化 セキュリティの取り組み(パスワード

ソウゾウのエキスパートチーム所属の@mhidakaです。今回はソウゾウのエキスパートチームが、どんな活動をしているのか紹介します。 エキスパートチームについて ソウゾウでは「技術をアウトプットするところに技術は集まる」という思いから、 稼働の50%以上を技術コミュニティへの貢献や技術の普及に取り組むエキスパートチームが存在します。 私以外に@tenntennが居て、ふたりのミッションにはコミュニティへの貢献も含まれています。 現在、チームは二人で構成されており、メンバーごとに担当する技術分野が違います。 Go/GCPであればGo Conferenceやgolang.tokyoなどを運営している@tenntenn、 AndroidであればDroidKaigiや技術書典などを運営する@mhidakaという役割分担をしています。 エキスパートチームは次のような目的を持って活動をしています。 社内