Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 Backend Author: cubicdaiya エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り組んできました。ログの種類はいくつかありますが、中でも代表的なのがアプリケーションサーバで出力されるアクセスログやアプリケーション固有のログです。これらのログはサイズが大きいので効率良くログデータを転送するための工夫が必要になります。そこで活躍するのがFluentdです。 大雑把に説明するとアプリケーションサーバで出力されたログはFluentdから最終的にBigQu
データがどのように更新されてきたのか追跡する - クックパッド開発者ブログ
こんにちは。技術部の吉川です。 みなさんは、異常なデータを見つけたが、どうしてそのような状態になったのか追跡できず困ったという経験はないでしょうか。 今回は、そんなときにクックパッドで利用されているAuditログについてご紹介します。 Auditログとは クックパッドでのAuditログは特定のデータレコードに対して発生したイベントをコンテキストとともに記録するものです。 一般的に監査ログ、証跡ログといったものがありますが、それらとは多少異なっています。 ここでのイベントとは、あるデータレコードが 作成された 更新・変更された 削除された といったものです。またそれ以外にもログインした、ログアウトした、セキュアな情報が閲覧された、といったイベントも含まれています。 コンテキストは以下のようなものを記録します。 いつ どこで 処理が行われたホスト 何が イベント 何を 対象データの情報 スキー
モバイルアプリのログ収集ライブラリ「Puree」をリリースしました - クックパッド開発者ブログ
モバイルファースト室の @rejasupotaro です。 クックパッドでは、サービスをリリースしてログを収集して分析して改善してまたリリースして、というサイクルを素早く回すことでより良いものを作るということをウェブではやってきました。 クックパッドのサービス開発のフレームワークをモバイルアプリでも適用したいのですが、モバイルアプリにはウェブアプリと違ったロギングの難しさがあります。 今回はモバイルアプリのロギングの問題点とPureeというログ収集ライブラリについて話します。 モバイルアプリのロギングの難しさ ウェブアプリでは、基本的にはサーバー側でログを収集することができますが、モバイルアプリの場合は画面の制御はアプリ側で行われ、APIを介してデータを受け取るため、クライアント側でログを収集して送信する必要があります。 アプリのログを収集するのに、画面遷移をしたりタップするたびにサーバー
サービス改善とログデータ解析について発表してきました - すずけんメモ
『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』の出版記念イベントで発表してきました。会場を提供していただいたGMOのみなさま、主催のTreasure Data / 技術評論社のみなさま、そして聴きに来てくださった方々、どうもありがとうございました。 http://eventdots.jp/event/137658 各特集の著者によるそれぞれの特集の導入が前半にあり、後半はnaoyaさんとのパネルディスカッションがありました。 サービス改善はログデータ分析から from Kenta Suzuki 養成読本、おかげさまで多くの方に読んでいただいており、嬉しい限りです。僕のところは導入の章ということで、「なぜログの分析をするのか？」という点に絞って発表しました。内容としてはざっくりいうと、 ElasticsearchやFluentdを使いつつも、何をやりたいかによって使うツールは変え
元ヤフーのエンジニアに学ぶ！GrowthHackのためのログシステム設計［無料勉強会］ | エージェントが語るテック業界 - Levtech Time [レバテックタイム]
こんにちは！石川です。 最近「GrowthHackに興味がある」というエンジニアさんが多くいらっしゃいます。 エンジニア視点からだと、GrowthHackの基盤ともいえるログ解析とユーザ分析の能力は市場価値が高くなりそうですし、注目ですよね！ ですが「実際に経験してみないと分からない事が多そうで、なかなか足を踏み入れにくい」という方も多いのではないでしょうか。 そこで・・・ ヤフー株式会社でユーザ行動解析を担当されていた菊池さんに「アクセスログ可視化、ユーザ属性解析を行うためのシステム設計」をテーマにイベント登壇していただきます！ 同窓会GrowthHack！×データログ集計、解析！をテーマに事例をまじえお話します！ 16年ぶりの再会でも参加率6割の同窓会を開くには？Yahoo出身のエンジニアが語る、アクセスログ可視化、ユーザ属性解析を行うためのシステム設計のコツとは？ 2014/4/2
![元ヤフーのエンジニアに学ぶ！GrowthHackのためのログシステム設計［無料勉強会］ | エージェントが語るテック業界 - Levtech Time [レバテックタイム]](https://cdn-ak-scissors.b.st-hatena.com/image/square/575c1bd0a7afc49967bb5cb7f5321329febfbba7/height=288;version=1;width=512/http%3A%2F%2Flevtech-time.jp%2Fwp-content%2Fuploads%2F2014%2F04%2Floghack1.jpg)
トラブルに備えるJVMオプション - n-agetsumaの日記
以前の記事でトラブルが起きた後の初動対応を書いてみたが、いざトラブルに遭遇すると、まず再起動してからどうするか考えるケースが多いと感じている。しかし何も情報がないと『情報がない/再現方法が不明』などの理由からそのままお蔵入りになってしまう。今回はトラブルに事前に備えるために、地味だけど大切なJavaVMのオプションをまとめてみる。 GCログの出力とローテーション OutOfMemoryError発生時のヒープダンプ自動出力と出力パス設定 JavaVMクラッシュログの出力パス設定 JVMオプションの設定 (OpenJDK/OracleJDK) JavaVMにはGCおよびヒープメモリの状態をロギングする仕組みや、OufOfMemoryError時にヒープダンプを自動的に出力するような障害に備えて自動的に情報を出力する機能がある。おすすめのオプション*1は以下の通り。 java -Xms?g -
習慣を作るウェブサービス "Lift" は目標達成支援サイトに進化する
人生を劇的に変える劇薬などありません。しかし、今日あることに使っていたその１時間を別のことに切り替えるだけで、ゆるやかに航路を買えてゆくことはできます。 新年に新しい習慣をはじめてみようと考えている人も多いと思いますが、習慣に「チェックイン」し、記録をおこなうウェブサービスLiftが大進化を遂げようとしています。 これまでは「読書」といった習慣に登録して、毎日それを記録するだけでしたが、新しいLift 2.0では習慣は「プラン」という、目標を実現する具体的なステップを記述する形に変更されます。 もちろんこれまで通りのやり方でLiftを使うことも可能ですが、より習慣への定着を意識して21日単位、30日単位といったプランを繰り返し実行することも可能になるのです。 「ブログ更新」という Lifehacking.jp 読者むけのプランを作成してみましたので、ここからその新機能をみてみましょう。##
自動で運動ライフログがとれる Fitbit Ultra は連携ワザが最強！
先日 fitocracy を紹介したばかりというのに、その直後にこの fitbit ultra を手に入れて最近ちょっと夢中になっている @mehori です。 そもそもライフログというのものはその始祖といえるゴードン・ベル が追究したとおり、なるべく自動で情報を集められてなんぼです。がんばってアプリに情報を入力しなければいけないのは、それしか方法がないからそうしているまでのことで、本来は自動でログができることが理想的です。 そこで運動については、身につけることで自動で運動をログしてくれる万歩計のようなものから、nike+ fuelband や Jawbone UP といった製品がありました。 ただ、これらの製品はリストバンド型のものが多くて、腕時計さえまめにつけない私にはなかなか面倒でした。そこで注目したのがクリップ型で服などに付けておくだけでよい Fitbit Ultra です。 そし
日常業務の改善につなげる「ライフログ」ツールの使い方
企業では社員のさまざまな行動内容が「ログ」として蓄積、管理されますが、ログの新たな活用が企業のモバイル化によって注目されています。今回はログを社員の行動改善につなげる方法を紹介しましょう。 会社は社員の仕事の内容を「記録」として管理しています。さまざまな業務の記録は、日報などの形にして、仕事の成果としています。ITの分野ではPCの操作記録を「ログ」として記録し、管理します。今回はこのログの新たな活用方法を取り上げたいと思います。 最近はスマートフォンなどのモバイル機器の登場で、ログ管理の方法が変わりつつあります。スマートフォンを活用して、自分の日常生活の体験を映像、音声、位置情報などのデジタルデータとして記録をする「ライフログ」を残す人が増えています。ライフログのためのツールには、ユーザーが自分で操作して記録を取る手動ツールと、自動的に記録を取ってくれる自動ツールがあります。手動ツールの代
Apacheログに色を付けて快適tail生活 - y-kawazの日記
ツイッターで「Apacheログをtail中にステータスコード部分だけに色つけしたい」ってのを見たので作ってみた。 #!/bin/sed -f ## MEMO # [0m reset # [1m bold # [3m italic # [4m underline # [5m blink # [30m black # [31m red # [32m green # [33m yellow # [34m blue # [35m magenta # [36m cyan # [37m white s/\(HTTP\/1..\"\) \(2[0-9][0-9]\) /\1 \x1b[34m\2\x1b[0m / s/\(HTTP\/1..\"\) \(3[0-9][0-9]\) /\1 \x1b[32m\2\x1b[0m / s/\(HTTP\/1..\"\) \(4[0-9][0-9]\) /\1
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス改善はログデータ分析から