TECH PLAY Conference 2017 の発表資料となります ビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ 鈴木 翔太 / 吉田 龍馬 === 弊社ビッグデータ部では、オンプレミス環境で Hadoop をベースとしたデータ基盤の保守運用を行っており、それに加えアドホック分析には Presto、エンジニア・アナリストが利用するBIツールとして Zeppelin / Re:dash、ETLにワークフローエンジン Digdag など様々なOSSを積極的に採用し、より快適な分析基盤の構築に努めています。当セッションでは、ビッグデータ部発足時の分析基盤の課題を解決するためにこれまでにどのような取り組みを行ってきたかをご紹介します。

こんにちは、バックエンドエンジニアの塩崎です。 先日、会社の広報のためのインターン生紹介記事にメンターとして掲載していただきました。 大学四年生のインターン生と一緒に写真撮影を行ったのですが、見た目だけではどちらが年上かわからなかったので、「メンターの塩崎（右）」という表記をされてしまいました（笑） インターンでも実際のサービスに触れ、課題を解決！〜VASILY DEVELOPERS BLOGが公開されました〜 さて、VASILYではData WarehouseとしてGoogle BigQuery（BigQuery）を利用しています。 BigQuery内にはプロダクトのマスタデータとユーザーの行動ログが格納されています。 そして、それらに対する横断的なクエリを発行することでプロダクトの成長のためのKPIをモニタリングしています。 そのためAmazon Relational Database

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

ジャパリパークは個性を認め合う社会だ。人間と違って野生動物はできることよりもできないことのほうが多い。大抵の動物は泳げないし空も飛べないし足も大して早くない。だからこそ、擬態がうまいとかジャンプ力が高いとかとか、できることが光る。できないことはできなくてあたりまえ。でも、できることはすっごーいと褒め合う。この多様性を認め合う姿勢こそがジャパリパークの素晴らしさだ。 中学生の時、勉強の大変さからやる気を無くして不登校になった俺は、そこしか行けるところがなかったから偏差値30の高校に通った。今思うと、偏差値30の高校は、間違いなくジャパリパークだった。周りは不良や元不登校ばかりだった。俺も含めて皆親が貧乏だったし、勉強も進学校と比べるとおままごとのようなレベルだった。でも、だからこそできることが光った。皆個性が強かった。 アルファベット26文字すべて書ける人はすごい、分数の割り算ができる人はす

2017 - 05 - 02 入社2年目のエンジニアが初めての登壇で学んだ3つのこととは？ 15新卒 勉強会 Tweet Share on Tumblr こんにちは！DMM.com Labo ビッグデータ部の 吉田 です。 先日ブログでも書かせて頂いたように ヒカ☆ラボ で初めて登壇する機会を頂きました。 今回は初めての登壇を終えるまでに得た３つの学びをお伝えしたいと思います。 先にお伝えしておくと、どうしゃべるか、どう見せるかの HOWTO ではないのであしからず。 その1. ターゲットと伝えたいことを明確にする 本番1週間前、スライドレビューや発表練習の意味を込め、 社内勉強会の時間を使って本番に近い形で発表を行わせて頂きました。 同じ部署の先輩もいますし、同期も応援に来てくれています。 タイトルに興味を持って下さった他部署の方々もいらっしゃいました。 今の自分でできる全力を出

2017 - 04 - 06 DMMにおけるビッグデータ活用の事例紹介！Presto x Golang x Docker を用いたセグメントバナー施策とは？ 15新卒 勉強会 資料公開 はじめに こんにちは！ DMM.com Labo ビッグデータ部の 吉田 です。 2017年3月28日(火) に開催されたレバレジーズ株式会社主催の ヒカ☆ラボ で登壇してきました。 今回は、そこで発表した内容を資料公開も含めて報告させて頂ければと思います！ どんな内容だったか？ タイトルはこちら。 ビッグデータを使ってバナーを動的表示させたらコンバージョンが 350% 増加した話 atnd.org 弊社ビッグデータ部では、1日あたり2億レコード以上の DMM.com 上でのユーザーの行動ログを中心に、 会員データや、各サービスのコンテンツ情報、地域情報のようなオープンデータを収集し、 データドリブンマーケ

※前回記事にてトラブルシューティング実施にあたって準備しておきたいこと(作業ログの取得方法など)を記載しておりますので、本記事では割愛します。 はじめに 前回の記事の続きとなります。 新米エンジニア(アプリ・インフラエンジニア問わず)に知っておいてほしいトラブルシューティング入門 はじめの一歩編 前回に記事を書いたあと、現場でも意外と基礎を押さえた切り分けができない人が多いのではと思い、よりいろんな方に読んでいただきたくタイトルをかえてみました。 前回の記事では、トラブルシューティングの前に実施しておきたい事や心構えについて記載しました。 今回はそれを受けて実際にトラブルが起きた際の簡易的な切り分け方法についてまとめてみます。 本記事の対象と扱う範囲 前回記事と同様に、初めてエンジニアとして働くことになった方々向けです。 本記事のゴールが「○○できないですのですが、、」といった事象に対して

カルディ（KALDI)は女性を中心に人気なコーヒーと輸入食品のお店です。コーヒー豆の取り扱い数や、お酒、お菓子、おつまみになるようなものまで、取り揃えており、女性スタッフの対応も素晴らしいお店カルディ。そこで今回はカルディに行ったら必ず買っておきたいおすすめの商品を目的・好み別に紹介します。ぜひこれを読んでカルディを楽しんでみてください！ 以下の商品のカテゴリでカルディのおすすめ商品を紹介していきます！ 【カルディの定番商品】カルディといったらこれ！のおすすめ商品 【カルディのお菓子】女性におすすめのお菓子 【カルディーのコーヒー】カルディーの中でもおすすめのコーヒー 【カルディの紅茶】コーヒーが飲めない人にもおすすめ 【カルディの調味料】普通のスーパーでは売ってない調味料 【カルディのカレー】めっちゃ美味しいカレー 【カルディでオシャレな料理に挑戦】おすすめの食材 【カルディの定番商品】

第2回目の Elasticsearch 入門は「データスキーマ設計のいろは」です。 設計と言うほどでもないのですが、例えば RDB で検索にフォーカスした設計や、他の検索エンジンも経験していると、これまでの制限や習慣で Elasticsearch の特徴を生かせない設計をしてしまう事があるので、このテーマにしてみました。 それではインデックスするためのデータ構造を Elasticsearch でどのように設計するのか解説したいと思います。 設計フローまで変えてしまう画期的なドキュメント指向型検索エンジン Elastic 社のホームページを見てみると Elasticsearch の特徴の１つとして「Document-Oriented」と言う記載があります。直訳すると「ドキュメント指向」です。 簡単に説明すると 現実世界の複雑なデータをJSONドキュメントにしてインデックスするだけで、デフォル

Docker Meetup Tokyo #6 - connpass http://dockerjp.connpass.com/event/26538/ https://zlab.co.jp/ もみてね！！！

そろそろMacの買い替えの時期なので、以下のものを使って個人のMacをバックアップしつつ同じ開発環境を別のMacへと移行できるよう準備をする。 homebrew homebrew-bundle homebrew-file mas mackup + Dropbox atom apm RubyGemとかもあるけどgemはプロジェクト毎にbundle installsすればいいよね、ということで除外。なのでeditorのAtom, dotfiles, brew設定が移行できればよいかな、と。 Mac 環境構築の自動化 2015年末版 ( homebrew + homebrew-cask + homebrew-brewdle + mackup + crontab )にて同様のことをされているのでこちらも参考に。こちらではcronでバックアップを自動でとっています。 でこちらではこれに加え、私が普段

2016年2月25日、世界をログする書き起こしメディア、ログミーが初のリアルイベント「ログミーLIVE」を開催しました。第1回目のテーマは「働き方」。1人目の登壇者、ギットハブ・ジャパンの堀江大輔氏は、同社が最も大切にしている“幸せの最適化”という価値観を紹介。その上で、社員の半数以上がリモート勤務を導入するGitHubのワークスタイルについて語りました。 第1回 ログミーLIVE「GitHubの働き方」 堀江大輔氏（以下、堀江）：今日はGitHubがどういう働き方をしているか、どうしてそういう働き方をしているかを紹介しようと思っています。 いきなり言い訳から始めるんですけど、花粉症がすごいひどくて、じゃあ薬を飲もうと思ったら、いつも以上にとろんとしていて、忘れそうなのでここにコンピューターを置いておきます。 堀江氏のプロフィールとGitHubの社風 まず自己紹介なんですけど、私、堀江大輔

2023 追記 2023 年現在では、以下の文章では採用を見送っている OpenAPI を使えば OK という雰囲気です。 Web APIの設計 作者:Arnaud Lauret翔泳社Amazon TL; DR ドキュメント生成にはkevinrenskers/raml2htmlを使った ドキュメントはRAML - RESTful API modeling languageで書いた RAMLにはJSON SchemaとJSONを記載できる APIで返ってくるJSONはRailsアプリのrequest specでJSON Schemaを使ってテストした JSON Schemaはr7kamura/json_worldで生成した ドキュメントに載せる例示のJSONもJSON Schemaからgin0606/screijiを使って生成した 上記の方法だとリクエストパラメタとドキュメントの整合性を担保

Carta, a once-high-flying Silicon Valley startup that loudly backed away from one of its businesses earlier this year, is working on a secondary sale that would value the company at…

Qiita の 「見逃せない投稿」 を独自に評価してランキングするサービス Qaleidospace を作りました。 本投稿では、そのようなサービスを作ろうと思った理由、投稿を評価するアルゴリズム、システム構成について書きます。 余談ですが、今なら Yearly Ranking がほぼ 2015 年の投稿ランキングとなっており、眺めていて楽しいです。 TL;DR Qiita の「見逃せない投稿」をランキングするサービス Qaleidospace を作った。 適切な評価システムがあれば、書き手も読み手もみんな幸せになれるはず。 ストック数だけで評価すると、初心者向けの投稿やキャッチーなキーワードを散りばめただけの投稿が注目されやすい。誰がストックしたのかを重視して「見逃せない投稿」を評価する。 風変わりなシステム構成: GitHub Pages でホスティング + Swift で書かれたバッ