この記事はRecruit Engineers Advent Calendar 2018 - 8日目の記事です。 注意点 タイトルは煽りです。「新規事業におけるデータエンジニアリングの勘所」の方が正しいかもです。 クオリティというか記事の信頼度は、投稿時間がギリギリになってしまったことから察してもらえるとありがたいです。 本エントリーの内容は個人的な見解であり、所属する組織を代表するものではありません。データの取り扱いは非常にセンシティブなトピックでもあるため気軽に発信すべきではないということは重々承知しております。もし誤りや考慮不足だと感じる点があれば、それは全て私個人の力不足によるものですので、どうぞ私個人当てにご指摘のコメントをいただけると幸いです。 もくじ 注意点 もくじ 背景 前提 体制 システム 開発スコープ 機械学習WebAPIは分離 データ基盤設計 全体の設計ポリシー データ

この記事は、下書き供養 Advent Calendar 2018 - Adventarの2日目の記事です。 めっちゃ専門的な内容になってしまいました。ごめんなさい。 某Slackでの議論内容をブログに書こうとしたのですが、下書きのまま放置していました。 Wednesday, August 15th と書いてあるので、約半年前の内容となります。 もくじ もくじ はじめに 「データ基盤の3分類」と「（一般的な）技術要素」 1.データレイク（Data Lake） 2.データウェアハウス（Data Warehouse） 3.データマート（Data Mart） 私が考えるデータ基盤の定義 私が考える「あるべき構成」 技術要素を分けるのはアンチパターン 進化的データモデリングを容易にしよう チームとアーキテクチャを選ぶ まとめ 参考 余談 追記 はじめに データ基盤と世間一般で言われるシステムには分類

概要 先日、Tech Night @ Shiodome # 4というイベントに参加して、LTをしてきました。 どんなイベントか 「DevOpsと自動化」をテーマに、事例・知見を共有する場でした。 もとはソフトバンク様の社内勉強会で「外部ゲストを呼ぶ → 公開イベントになった」とのことです。 社会にシェアする姿勢が素敵だと思いました。 他の参加者の発表 あたりまえのことをあたりまえにやる難しさ AWS ECS （EC2 Container Service）を用いた AWS へのDocker コンテナデプロイ 自動化におけるコード管理 送信メールサービスをユニットテストしてみた DevOps、本当のところ こちらのConnpassのページに資料が上がっています。 どんな話をしてきたか こちらが当日の発表資料になります。 ざっくり説明すると DevOps（全体最適化）の前に、業務標準化（ドキュメ

以下ブログ記事に対するアンサーエントリーです。 リクルートのインターンに参加しました | monolog ※本稿は個人の見解であり、所属する組織を代表するものではありません。 うちのチームで先月までインターンをしていた @sukukyon から献本が届いたw pic.twitter.com/80XqVaz9Em— ゆずたそ (@yuzutas0) 2018年4月4日 短い期間ではありましたが、インターン生である@sukukyonのメンターを務めました。 あまりメンターらしいことは出来なかった気もしますが、何とか無事に修了しました。 総論：最高のインターンだった 最高のインターンで最高にやっていきを発揮して最高の成果を出しました。 ということで、概ね上手くいきました。 成功要因としては「関係者全員がお互いをリスペクトできたから」だと思っています。 非常に良い関係性を築けていました。 まず何よ