この記事は？ この記事は、リクルートライフスタイル Advent Calendar 2019 の16日目の記事です！ 自分が所属している CETチーム で、Kubernetes を中心としたアーキテクチャにおける Monitoring as Code を実現した監視基盤の紹介をしたいと思います。 自分の所属するチームでは、バッチ基盤や API 基盤を GKE 上に構築しています。 この記事では、Terraform・Grafana・Prometheus・Jsonnet を利用して、Kubernetes のリソース監視・Job の実行状態・API レイテンシのモニタリング・外形監視などを改善したアーキテクチャやフローを紹介したいと思います。 Who am I ? @ko-da-k (Twitter: @ko_da_k) です。新卒2年目で、1年目は主にデータ解析やモデリング等を行っており、現在

本記事は リクルートライフスタイル Advent Calendar 2019 1日目の記事です。 CETチーム の寺下です。 本日は 2019 年 12 月 1 日ですが、12 月といえば Advent Calendar ですね。 リクルートライフスタイルも Advent Calendar をやっていきます。 さて、初日となる本日は Istio 検証で得られた知見について書いていきます。 我々のチームでは 2015 年頃から基盤開発に Kubernetes を利用しており、 最近では Observability や Traffic Management のために Kubernetes 上に Istio の導入も行っています。 Istio は Kubernetes 上のトラフィック管理やテレメトリを行ってくれる Service Mesh であり、 例えば Istio の Traffic Ma

CETチーム兼ホットペッパービューティーコスメ開発チームの寺下です。 先日 ホットペッパービューティーコスメ という新サービスをローンチしました。 コンセプトは「『似合う』が見つかるコスメ投稿・検索アプリ」で、現在はiOS版のみ配信を行っています。 本記事ではホットペッパービューティーコスメ（以下HPBコスメ）のアーキテクチャ・開発チームについて簡単に紹介していきます。 なお、iOSアプリの開発については今回は割愛します。 アーキテクチャ インフラはGCPを利用しています。 GCPを採用した理由としては主に以下の点が挙げられます。 Kubernetes(GKE)を利用して高可用・スケーラブルなインフラを手軽に構築・運用できる点 分析環境(BigQuery)との統合が強力な点 弊社内で運用実績が多くあり、運用のノウハウが確立されている点 また、原則として運用負荷を下げるために可能な限りマネー

こんにちは、CET チームの田村です。データ基盤を構築・運用したり、チャットボット（スマホ用です）を開発したりしているエンジニアです。 皆さん、実サービスで機械学習、活用できていますか？ 正直、難しいですよね。高精度なモデルを作ること自体も難しいですが、実際のサービスにそれを組み込むには、そこからさらに数々の難所が待ち構えているからです。 でも、そのほとんどはエンジニアリングで解消できます。 私たちのチームでは、数年にわたる経験をもとに難所とその対処法を整理し、すばやく成果をあげられる機械学習基盤を開発しはじめました。 本記事では、この基盤の設計とその背後にあるアイデアをご紹介します（機械学習工学研究会の勉強会での発表資料がベースです）。 イテレーションを何度も回せ 基盤そのものの前に、まず機械学習を成果につなげるためのポイントを説明させてください。 私たちは、機械学習の活用において必要な

はじめに Chief Technology Officerの高丸です。 シンガポールは11-1月は雨季と言われますが、12月に入ってからは全然雨が降らなくなりました。（降ることは降るのですが、夜にさっと降ったりする程度です。） 梅雨明け太夫が、梅雨明け宣言したんですね。 日本のみなさん、シンガポールは暖かいですよ〜。 Heroku で画像変換 さて、HerokuなどのPaaSで運用している場合、たくさんのアドオンが用意されているので、基本、機能実装に困ることはないのですが、 ちょっとサーバーサイドで凝ったことをやろうとしたり、コスト安く済ませようとするとどうしようか考えることがあります。 その一つに画像変換があると思います。 Cloudinaryのアドオンを使えば、500MBまでであれば無料で使えますが、 それを超えると、次は$50/月（10GBまで）のプランになり、継続的に使っていくとコ

はじめに みなさん、こんにちは。 データエンジニアリングG CET チームの菅沼です。 普段は、分析基盤の開発や機械学習モデリングなどを担当しています。 弊チームは、「RLSMeetup#7 プランナー・サイエンティスト・エンジニア三位一体！年間十数億稼ぐチームの舞台裏」のレポートにあるように、 一つのチームに複数人のプランナー・データサイエンティスト・エンジニアが在籍しており、 弊社におけるビッグデータを活用して利益創出することを目指したチーム体制となっています。 じゃらんなどの大規模なサービスでは、データ分析によるコンテンツ出し分けやレコメンドシステムの性能評価に A/B テストを用いており、 本稿では、そのようなデータドリブンな A/B テストを高速に回すための取り組みとして、 新たに開発した DevOps 基盤の導入経緯や仕組みについて紹介していきます。 A/B テストを高速に回す

ビューティ事業ユニットでエンジニアをしている索手です。 1月まではAndroidを担当していましたが、今ではバックエンドを担当しAPI開発を行っています。 今回は昨年行ったホットペッパービューティーのアプリリプレイスについて、Androidチームで採用した技術や実装方針についてお話ししたいと思います。 プロジェクトの背景 ホットペッパービューティーのネイティブアプリは、約6年間、様々な機能追加・変更を経る中で多くの技術的負債が溜まっていました。一方で、事業におけるアプリの重要度は高まっており、今後の更なる成長を見据えると、当時の状態で開発を続けることは困難でした。 そのような背景があり、アプリリプレイスがスタートしました。 プロジェクトの概要 本プロジェクトは、「安定かつ高速な開発」を目指し、仕様はそのままにネイティブアプリのコードを全て書き換えるというものでした。ドキュメントや既存のコー

(images: github.com/egonelbre/gophers) こんにちは。 データエンジニアリンググループ（CETチーム）の寺下です。 自分の所属するCETチームでは今まで主にScala、Pythonなどを使ってAPIや基盤を実装してきましたが、最近では徐々にGoによる実装も増えてきており、GAE/GKE上で本番運用を行っています。 本記事ではGoのプロダクトにおいてDDDライクなpackage構成で実装する際の注意点や、汎用的に通用するであろう実装のTipsについて書いていきます。 本記事で紹介する例がベストプラクティスだというわけではありませんので、あくまで実装の一例程度に捉えて頂けると幸いです。 Goのアーキテクチャ Goは言語仕様がシンプルかつフォーマッタが強力なため、syntaxレベルでは開発者によってコードの品質がブレにくいというメリットがあります。 しかしなが

ホットペッパービューティーのアプリを担当している外崎です。 エンジニアとして入社し、現在は開発を兼務しつつUXディレクターとして働いています。 はじめに 2017年10月にホットペッパービューティーのiOSアプリのバージョン5.0.0が配信されました。 こちらはObjective-Cで書かれていたアプリをフルスクラッチでSwift(3.2)に書き換えたものになります。 以前に配信されたインタビュー記事でもリプレイスの背景について語られています。 https://www.wantedly.com/projects/78442 今回は年間7000万件以上(2017年11月現在)の予約が行われているホットペッパービューティーでどのようにアプリのリプレイスを行ってきたのかを話したいと思います。 プロジェクトの背景 インタビュー記事にもありますが、僕が新卒で入社して最初の仕事がホットペッパービューテ

SREの@deeeetです。 新しい機能を素早くリリースしフィードバックを得てすぐにPivotの決定を行う、もしくはリスクを抑え小さな改善を継続的に行うContinuous Deliveryはソフトウェア開発において非常に重要です。 メルカリではこのContinuous DeliveryのためのPlatformにSpinnakerを採用し始めました。現在は主にkubernetes（k8s）へのコンテナアプリケーションのDeployに利用しており、既にいくつかの本番アプリケーションがSpinnakerによりDeployされています。 本記事ではなぜSpinnakerを採用したか、Spinnakerとは何か、実際にメルカリでどのようにSpinnakerを使っているか、について簡単な紹介をします。 kubernetes上でのDeploy問題 k8sへのコンテナイメージのDeployは非常に簡単で

recruit-lifestyle.co.jp

2017 - 04 - 24 去年度から現在に至るまで、その振り返り、リクルートであったことの話 一年前の今頃、私は新卒エンジニアとして リクルート に採用され、出向先の リクルート マーケティング パートナーズで実務をやっていた。 就活は自分にとって ロシアンルーレット みたいなものだった。どんな会社でも入ってみないと善し悪しがわからない。だからここは運試しだろうと、内定した企業のうち一番提示年収が高くサービス内容が興味のあるジャンルである（いわゆる英語教育系のサービスであった） リクルート に入社した。 でも、２ヶ月後に休職し、気づけば入社半年後には退職していた。 リクルート では、内定が出る時点でミッショングレードというものが提示される。平たく言うと、そのランクに応じて与えられる業務目標が設定され、年俸が変わるというものだ。 だいたいの新卒は同じミッショングレードを与えられる。私も標

recruit-lifestyle.co.jp

NTTデータ流Infrastructure as Code～ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿～（NTTデータ テクノロジーカンフ...

recruit-lifestyle.co.jp

recruit-lifestyle.co.jp

recruit-lifestyle.co.jp

ag(The Silver Searcher) GitHub - ggreer/the_silver_searcher: A code-searching tool similar to ack, but faster. ファイル名で検索 $ ag -g ファイル名 一致したファイル名のみ表示 $ ag -l ファイル名 一致していないファイル名のみ表示 $ ag -L ファイル名 正規表現で検索 $ ag -G 検索ワード 正規表現を無視 $ ag -Q 検索ワード 大文字小文字の区別 デフォルトは検索キーワードに大文字が含まれてない限り大文字小文字を区別しない 下記 -S オプション時と同じ $ ag -S 検索ワード 大文字小文字を区別する $ ag -s 検索ワード 大文字小文字を無視する --ignore-case $ ag -i 検索ワード 隠しファイルを検索対象にする $ a

ネットに情報はあるけど、サクッと設定できなかったので 情報をまとめておきます。 最新ctagsをインストール Mac標準のctagsでは上手く動作しない場合があるとのことなのでインストール brew install ctags vim上での使い方 # ジャンプしたい箇所にカーソルを当てて Ctrl + ] # ジャンプ元に戻る Ctrl + t # 該当結果が複数ある場合に、リスト表示 :tjump # 明示してジャンプ（例:Userモデルにジャンプ） :tag User vim-tagsの設定 vim-tagsでファイル保存時に自動で、tagsファイルを更新できるようにする。 .vimrcへ以下の設定を追加する。 NeoBundle 'szw/vim-tags' let g:vim_tags_project_tags_command = "/usr/local/bin/ctags -f