Serverlessconf Tokyo 2018に登壇しました - Tech Blog - Recruit Lifestyle Engineer
Serverlessconf Tokyo 2018 The Design for Serverless ETL Pipeline こんにちは。分析基盤エンジニアの秋本です。 先日9月29日に行われたServerlessconf Tokyo 2018(以下、サーバレスカンファ)に登壇し、弊社の サーバレスETL(Extract Transform Load)基盤 に関して発表を行いました。 また、サーバレスカンファに出展した弊社ブースでは、 サーバレスとビッグデータに関するクイズ大会 を開き、多くの方に参加して頂きました。 本エントリでは、発表したサーバレスETL基盤の内容と、弊社ブースの内容をお伝えしたいと思います。 サーバレスETL基盤の概要 背景 私たちは2013年から分析基盤を運用し続けており、社内からの分析要望に応える形で、現在までシステムのアップデートを重ねてきました。しかし直近
TechなPodcastやってます - ゴールデンTechGuy酒場#0,#1
TechなPodcastやってます - ゴールデンTechGuy酒場#0,#1 #0:データ分析・機械学習回, #1:コンテナ回 こんにちは。データマネジメントGでデータエンジニアをしている白鳥（@irotoris)です。 今日はリクルートライフスタイルが協賛しているTechなPodcast、「ゴールデンTechGuy酒場」についてお話しします。 こんなPodcastです。 きっかけ エンジニア仲間との飲みの席や懇親会って、面白い技術やアイディア、エンジニア組織論みたいな話が赤裸々に、夢と現実感が入り混じって最高に面白いですよね？自分はそれが最高に楽しく、この話を飲みの席だけに留めておくのはもったいないと思ってました。 ある日、新宿のゴールデン街でエンジニア仲間と飲んでいたところ、 「もういっそのこと、この飲みの席のテックトークを配信してしまえばよいのでは？」 「毎回ゲストも呼べばさらに楽
serverlessconf tokyoに登壇しました
serverlessconf tokyo Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤 こんにちは。データ基盤の構築、運用をしている山田（@nii_yan)です。 先日開催されたserverlessconf tokyoに参加させていただき、登壇もしてきました。 登壇内容 弊社は来春トリップAIコンシェルジュという商品をリリースする予定です。 こちらは宿に対する「お風呂は何時から入れますか？」などの問い合わせに対し、botが人間の代わりに応答してくれるという商品になっていまして、裏側で機械学習をしています。 今回話した内容はこの機械学習のバッチを動かす基盤についてになります。 Step functionsとaws batchでオーケストレートするイベントドリブンな機械学習基盤 新しい基盤を作る上で１番気をつけたいと思って
アジリティの高いシステムを目指すSREチームの取り組み
はじめに こんにちは。ホットペッパービューティーの開発をしています。長谷川です。 みなさん、夏休みはいかがでしたでしょうか。私は、久しぶりに田舎の祖母の家に遊びに行ってきました。いくつになっても（アラサーになっても…）孫扱いしてくれるのはうれしいですね！ さて、以前同僚の寺下が、ホットペッパービューティーのリプレイスのことを紹介していました。 Spring + Railsによるサービス分割の取り組み 同じプロジェクトで、Site Reliability Engineeringチーム(以下SREチーム）として、私も参加していたので、今回はインフラ面を中心に、リプレイスプロジェクトでの取り組みを紹介したいと思います。 背景となるいくつかの課題 私がこのプロジェクトに参画したのは、後半からだったので、方針であったり構成であったり、大まかなところは決まった状態でjoinしました。 その為、私が課題
S3 から BigQuery へ簡単にデータをロードする仕組み
S3 から BigQuery へ簡単にデータをロードする仕組み AWS x GCP で最適なシステムを作ろう！ こんにちは。データエンジニアリンググループの川崎です。まだここにない出会いを求めて、日々コードを書いています。 この記事では、 S3 から BigQuery へデータをロードするときに使っている汎用的な仕組みについて紹介したいと思います。 なぜそんな仕組みが必要なの？ 弊社では、日時のバックアップや外部の協働者とのデータの受け渡しのために AWS の S3 をよく使っています。 一方でデータの分析には Redshift や BigQuery を使っています。 そのため受け取ったデータを分析するには適宜ロードする必要があるのですが、そのロードの方法がバラバラだったため、いくつか管理上の問題がありました。 データを取り込む手法がバラバラでメンテナンスしづらい S3 のファイルを Bi
2017-08-01-lignum
こんにちは。Lignumの開発を担当している明智と浅井です。 Lignumは今回紹介する配信基盤の名前です。 先日開催されたGoogle I/Oでも多くの新機能が発表されたFirebaseですが、弊社では昨年度からFirebaseを活用した機能開発に取り組んでいます。 今回は、その中でも『Firebaseを活用したアプリプッシュ通知の配信基盤の構築』について紹介したいと思います。 「アプリプッシュ通知の配信基盤」構築の背景 見えてきていた課題 弊社ではこれまで、リクルートグループ横断で利用できる独自開発された配信基盤を利用していました。 しかし、施策が高度化するにつれて 実施できる施策の制限 配信の見立て/結果の振り返りに利用したいデータが不足 といった「弊社独自の業務要件に追いつかなくなってきている」という課題が見えてきていました。 そこで、PDCAサイクルの回せる新たな配信基盤が必要だ
【書評】サーバーレスシングルページアプリケーション | PSYENCE:MEDIA
それぞれ読者の立場になってこの本をどう読み解いていくかが紹介されているので、流し読みするよりもより理解度が深まると思います。 読み終えた感想 本書を読むことで、AWSを使ったサーバーレスのSPAを作るうえでどのようなマネージドサービス使って実現できるかが理解出来ます。私自身サーバーレスでSPAを作ったことはないので、Cognitoなどが特に参考になりました。 題名に『シングルページアプリケーション』とありますが、フロントエンドとしてiOSやAndroidなどのネイティブアプリを作る場合でもCognito、DynamoDB、Lambda、API Gatewayを使ったサーバーレスの構成は参考になることでしょう。 本書でサーバーレスの基本を学び、より複雑なアプリケーションが必要になったらAWSの他のマネージドサービスと組み合わせることで、より高度なサーバーレスアプリケーションを作れると思いまし
「AWSからGCPに切り替えたらコストが1/10になった」CETエンジニア 吉田啓二氏インタビュー - Tech Blog - Recruit Lifestyle Engineer
前編（「ビッグデータは“リアルタイム”でこそ価値がある」）では、リアルタイムなビッグデータ解析プロジェクト「CET（Capture EveryThing）」が始まったきっかけから、いまのチームまで組織に焦点を当てました。 後編では、いよいよビッグデータ解析のシステムについて深掘りしていきます。 Amazonのクラウドサービスを活用して作り上げた現状のシステムを捨て、Googleで作る構成に変えようとしているそう。その意図とは。 クラウドサービスのコストパフォーマンスなど、エンジニアやアーキテクトには気になる情報が満載です。 「CET」で基盤構築や分析・集計アプリケーションの開発を行っている、吉田啓二さんに聞きました。 聞き手／構成／編集／写真：小川楓太（NEWPEACE Inc.） AWSで本格的に運用するのは厳しいかなという印象です —— 今回構築された基盤の具体的なシステム構成はどのよ
SparkRをEC2上で動かして分散処理してみる
こんにちは！美味しいコーヒーを飲むために、毎朝早くにデスクでコーヒーミル回してます、アナリティクスチームの高柳です。 アナリティクスチームでは、じゃらんnetやホットペッパービューティーをはじめとしたリクルートライフスタイルのサービスに対して、基礎集計やレポーティング、また、データマイニング（データ分析）を活用し、高速にサービスを改善していくというミッションを担っています。 本記事では、データ分析環境としてのApache Spark、特にver 1.4から利用可能になったSparkRを、当チームのAWS上の分析環境に導入検討していたので、その辺について書きたいと思います。 SparkRは、まだリリースから日が浅いことから、日本語の記事が相当に少ないので、この記事がみなさんの"Happy SparkR ライフ"のお役に立つことを願っております。 Apache Spark導入の背景 サービスを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
