【進撃の巨大データ】Log集計用DBとシステム構成の美しい設計を考える - Y's note
[:W560] Log集計用DB設計 考える問題 Document無しのAgile開発をガチで推奨したい@yutakikuchi_です。【進撃の巨大データ】の第2回目として巨大アクセスLog集計用DBの設計について勉強した内容についてメモしたいと思います。DB周りはそこまで詳しく無いので詳しい皆様からの突っ込み大歓迎でございます。また図々しいですが知恵をください(笑)。 今日の主目的は下の2要件を叶えるためのDB設計を考える事です。特に問題になるのがRealTimeの話でTableにLogDataを書き込む処理と集計のSQLをどのように組み立てるか、それ以外にもSystemPerformanceとArchitectureにも関わってきます。 リアルタイムで大量データを集計したい 定期処理で大量データを集計したい 使うもの Fluentd : Fluentd: Open Source Log
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
fluentdでnginxのログをElasticsearchとBigQueryに保存するお話 - ハウテレビジョンブログ
こんにちは。夏休みに長野に行って居酒屋で馬刺しをたらふく食べていたら 地元のおっさん人生の大先輩の絡み酒に付き合わされた祖山です。 4月に入社して以降、サーバサイドのWeb開発やスクラムの導入、サイト内検索の改善など様々な業務に 取り組んでいますが、最近の大きな案件としては、アクセスログ解析基盤の整備がありました。 nginxのアクセスログを分析しやすい環境を作るため、ElasticsearchとBigQueryにログを蓄積し始めたのですが、 その際に一番のキモとなるのは、みんな大好きfluentdです。 今回は、我々ハウテレビジョンがどのようにアクセスログを収集、保存しているのかについて、fluentdの設定を中心にご紹介します。 アクセスログ収集の目的 現在の我々のサービス環境を考慮すると、アクセスログの収集には下記2つの目的が存在します。 アクセス情報をもとにユーザーの行動を解析 閲
いまさらだけど fluentd に入門した - えいのうにっき
仕事で僕が担当してるプロダクトでも、「そろそろ fluentd を...」という話題が出始めた。 社内の別プロダクトでは既に導入されてるものもあったりして、たぶん会社的にはノウハウも溜まり始めてきてるとは思うんだけど、なにせ僕自身が fluentd について雰囲気しかわかってないままだったので、それじゃイカンなと、いまさらだけどようやく fluentd に入門した。そのついでにメモった内容を晒す。 入門前のイメージ みんな「アプリは何も考えず、とりあえず fluentd に投げとけば幸せになれる」って言ってる なので、そういう感じの存在なんだろうな fluentd は、くらいの理解しかない 具体的にどう幸せになるのかはあんまり想像が付いてない "d" がついてるので、デーモン的な何かかな？ ロゴがイカしてる くコ:彡 ゴール 実際に導入するとなったら具体的にどんなことをしなければいけないの
OSS開発支援の一例: Fluentdとその関連ソフトウェア - 2016-08-29 - ククログ
クリアコードではOSS開発支援サービスの一環でTreasureDataさんが中心になって開発し公開しているFluentdとそのプラグインなど1の開発を支援しています。 かれこれ一年ほどやってきたので、どのようなことをやってきたのかふりかえります。 TreasureDataさんの目的はFluentdの普及促進です。Fluentdが普及すると、TreasureDataさんのサービスを利用する人が増えるためです。 クリアコードはTreasureDataさんの目的を達成するために以下のことをやっています。 TreasureData さんが手の回っていないところをサポートする IssueやPRに対応する メンテナのいないプロダクトでよく使われているものはメンテナンスを引き取る 新機能の開発 バグの修正 その他、Fluentdの普及促進につながること Fluentd やその関連ソフトウェアに関する技術
RubyConf 2014 - Norikra: SQL Stream Processing in Ruby by Tagomori Satoshi
Data streams (ex: logs) are becoming larger, while analytics in (semi-) real time is also becoming more important today. Moreover, there are many non-programmers who wants to write queries in this big data era. Norikra is an open source server software that provides "Stream Processing" with SQL, written in JRuby, runs on JVM. We can write and add queries for stream easily on Norikra, without any
Fluentd Hacking Guide (Fluentd ソースコード完全解説) - RubyKaigi 2014
Talker: Naotoshi Seo http://rubykaigi.org/2014/presentation/S-NaotoshiSeo Fluentd is a fully free and open-source log management tool designed for processing data streams. In this presentation, I will explain the internal implementation details of Fluentd such as: The bootstrap sequence of Fluentd, and how Fluentd loads plugins How Fluentd parses the configuration file How an input plugin pass
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
ElasticSearch + fluentdでログ分散管理
前々回、前回と、ElasticSearchについて勉強をしました。繰り返しになりますが、ElasticSearchの特徴は「RESTfulで全てがJSON」です。そうするとJSONデータであれば何でも食わせて全文検索が出来るわけですね。またCluster機能によって保持データを分散させることで可用性も確保出来ます。 高い可用性が必要で、全文検索したいもの...ログだ！ そこでfluentdです fluentdはイベントログ収集のためのオープンソースソフトウェアで、インプットされたイベントログをJSONに変換してアウトプットします。「Log everything in JSON」です。開発元であるTreasure Data, Inc.の古橋氏のBlogに詳細があります。 構成
『サーバ／インフラエンジニア養成読本 ログ収集～可視化編』出版記念！執筆者が語る大講演会！ レポート［セッション編］ | gihyo.jp
『サーバ／インフラエンジニア養成読本 ログ収集～可視化編』出版記念！執筆者が語る大講演会！ レポート［セッション編］ 9月9日、シナジーカフェ GMO Yoursにて『サーバ／インフラエンジニア養成読本 ログ収集～可視化編』出版記念！執筆者が語る大講演会！が開催されました。主催はトレジャーデータ株式会社と株式会社インテリジェンス「dots.」です。本稿では、このイベントの模様をレポートします。 司会進行はトレジャーデータの池内さんです。 池内さんが今回のイベントの経緯を話した後、本書『サーバ／インフラエンジニア養成読本 ログ収集～可視化編』を執筆した4人の著者から、一人あたり持ち時間15分間の発表がありました。 鈴木健太氏『サービス改善はログデータ解析から』 鈴木健太氏は本書の特集タイトルと同じ「サービス改善はログデータ解析から」というタイトルで発表しました。 鈴木さんはVOYAGE GR
ServerEngine at RubyKaigi 2014 - Go ahead!
RubyKaigi 2014でServerEngineについて発表してきました． 最初はFluentdで発表しようかと思ったんですが，別の有用なプロジェクトの話もそろそろした方がいいかな，ということでServerEngineにしました． @sonotsさんがFluentdの発表をしてくれたので，被らなくて良かった… 画像は技評さんから． 以下がスライドです．書いてないことも発表では色々と話したので，動画もセットで見た方が良いです． fluent/serverengine ServerEngineはTreasure Dataで開発・運用されている分散キューや分散スケジューラ，それとFluentdなどの経験を元に，汎用的な部分を抽出してフレームワークにしたプロダクトです．発表で言及した機能の他にもBlockingFlagなどのユーティリティがあるので，Rubyでデーモンやバッチワーカーを書くと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
構造化ロギング | Cloud Logging | Google Cloud
SoundCloud - Hear the world’s sounds
Fluentdのお勧めシステム構成パターン
サーバ／インフラエンジニア養成読本 ログ収集〜可視化編 [現場主導のデータ分析環境を構築！] | Gihyo Digital Publishing … 技術評論社の電子書籍![サーバ／インフラエンジニア養成読本 ログ収集〜可視化編 [現場主導のデータ分析環境を構築！] | Gihyo Digital Publishing … 技術評論社の電子書籍](https://cdn-ak-scissors.b.st-hatena.com/image/square/60dc9b2cbbc63234eddec5f9d395021569e2bd37/height=288;version=1;width=512/https%3A%2F%2Fimage.gihyo.co.jp%2Fassets%2Fimages%2Fogp%2F2014%2F978-4-7741-6698-8.jpg)
[LT] Norikraで作るPHPの例外検出システム![[LT] Norikraで作るPHPの例外検出システム](https://cdn-ak-scissors.b.st-hatena.com/image/square/8c9cdc7e884aef8ddf788928c5ef58b5ea57c9fb/height=288;version=1;width=512/https%3A%2F%2Fi.ytimg.com%2Fvi%2F4aCobNIkuWM%2Fhqdefault.jpg)
ピクシブ新広告サーバー構築物語
Fluentd ソースコード完全解説 at RubyKaigi2014 : sonots:blog
Takumi Sakamoto's Ignite presentation, "3+ Useful Ops Tools in Japan", at Velocity 2013.
Domain error