nginxのrewriteを使ったリダイレクト | サバカン屋テックブログ
サーバーがスケールするので、ログをサーバ内に持たせたくない！ json形式だと見にくい or json形式だと扱いにくい！ →だから生ログのままs3に転送したい！！！ といった場合の方法 1．fluentdインストール 至って基本的なインストール方法になります。 ※rubyは既にインストール済みとします curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh mkdir /tmp/td-agent chown td-agent:td-agent /tmp/td-agent mkdir /var/log/td-agent/buffer chown td-agent:td-agent /var/log/td-agent/buffer 2.fluentdのconfを書き換えます ここでは/var/w
ログをS3にひたすら溜めるんだ！ fluentd編｜アドカレ2013 : CFn #15 | DevelopersIO
よく訓練されたアップル信者、都元です。アドベントカレンダー2013「AWS CloudFormationビッグバンテンプレート」、本日は15日目です。 昨日は植木さんのソンナコトモアロウカト編でした。ナニコノナマエー( ´,_ゝ｀)ﾌﾟｯ fluentd ログっすよ、ログ。システムを物理サーバ1台で回していた時代において、全てのログがローカルファイルシステムに存在しました。grep等を駆使して動きを追いかけたりすることがそこそこ簡単にできましたね。しかし、今はクラウドの時代。サーバインスタンスの数が増えたのはもちろん、Immutable Infrastructure等の考え方が生まれたことにより、インスタンスの使い捨てリソース化が加速しています。 「XX月YY日ZZ時頃にサーバがおかしかったっぽいんだけどログ追ってよ」と簡単に言われるものの、そのファイルどこだよ、ってのがスタートです。当時
fluentdでアクセスログをS3へ送信 - Carpe Diem
概要 fluentdを用いてアクセスログをS3に保存する方法です。 今回はApacheのログをS3に送信します。 環境 Ubuntu 14.04 fluentd 0.12.12 Apache 2.4.7 事前準備 バケットの用意 fluentd-log01という名前で作成します。 注意としてS3のバケット名は他の利用者と重複できないので自分独自のものになるようにしてください。 Apacheログのアクセス権変更 apacheのデフォルト設定だと読み取るログにアクセス出来ないので、権限を付与します。 $ sudo chmod o+rx /var/log/apache2/ $ sudo chmod o+r /var/log/apache2/access.log fluentdの設定 fluentdのインストール $ curl -L https://td-toolbelt.herokuapp.co
FluentdでアプリログをS3へ - Qiita
目的 ログ欠損を防ぎ、完全性の高いログ収集基盤を作る 方法 今回はAggregatorやProcessorを用いず、シングル構成で任意のアプリログをS3へdailyでUploadする 環境 Amazon Linux AMI 2015.09 (HVM) td-agent-2.2.1-0.el2015.x86_64 fluent-plugin-s3 fluent-plugin-forest rubygems-2.0-0.3.amzn1.noarch 設定 前提 S3へのUploadが可能なIAMを持っている S3の構成はBucket/Folder1/Folder2/Folder3/Objectとする Bucketは任意、Folder1は任意のアプリ名で事前に作成する Folder2はログ種別 Folder3にはノード名を自動登録する Objectはファイル名_yyyymmdd_prefix.g
Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio
ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。 それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。 一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは
fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど） - Qiita
fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど）CentOSFluentdElasticsearchtd-agent fluentdを使う時にまず知っておいたほうがよさそうなこと はじめに 朝からElasticsearchへのデータの投げ込み方を考えていました。 データベースやメッセージキューなどにデータを投げ込んでおいて、ニアリアルなバッチでElasticsearchに投げ込むよりも、fluentdを使う方が圧倒的に簡単で信頼性が高いものができますね。自分で作りこむのがバカらしくなりますね。 ということで、fluentd利用時に気を付けておきたいことについて調べてみました。内容は公式ドキュメントの内容をベースに自身で調べたことを追記しています。公式ドキュメントへのリンクも貼ってありますので適宜そちらをご覧いただければと。 環境
Fluentdとはどのようなソフトウェアなのか - たごもりすメモ
Fluentd というソフトウェアがある。日本国内ではそこそこ話題になってきたが、何ができるのか、何に使うと嬉しいのか、何に使えるのか、という点について詳細をよく知らないという人もおそらくまだ多いことでしょう。 なので、簡単にまとめる。 http://fluentd.org/ なお以下の個別項目ごとに書いていくが、その手前にまとめを置いておくので忙しい人はそれだけ読むとよい。インストールや設定については導入部分については日本語の記事はもう多くあるので、触れない。 概要 できること ログの収集 センサデータ等の収集 汎用データ処理プロセッサとして 頻出ユースケース ログの収集 データの集約 簡単なリアルタイム集計 ソフトウェアとしての特徴 コア プラグイン 安定性 性能 開発体制 コミュニティ ぶっちゃけどうなの？ まとめ 現時点で、複数の場所に分散したデータや常に増え続けるデータの安全な転
MQTTに配信したメッセージをfluentdでS3に保存する | DevelopersIO
AWS IoT が使えるなら、Device Gateway の MQTT ブローカーに配信したメッセージは Rules 定義により簡単に S3 に保存できます。 今回は、AWS IoT が使えない制約があり、代わりに EC2 上で MQTT ブローカーの Mosquitto を動かしているようなケースにおいて、MQTT に配信したメッセージを fluentd を使って S3 に保存する手順を紹介します。 今回の手順では Mosquitto 固有の機能・設定は使っていないため、Mosquitto 以外の MQTT ブローカーでも同じ手順で動作するかと思います。 事前準備 EC2 上で Mosquitto をインストールしておきます。 同じインスタンスに td-agent をインストールし、S3 にオブジェクトを PUT します。 AWS クレデンシャルと権限管理をするために、EC2 インスタ
Service-Oriented Architecture: Scaling the Uber Engineering Codebase As We Grow
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Like many startups, Uber began its journey with a monolithic architecture, built for a single offering in a single city. At the time, all of Uber was our UberBLACK option and our “world” was San Francisco. Having one codebase seemed “clean” at the time, and solved our c
Designing Schemaless, Uber Engineering's Scalable Datastore Using MySQL
While all three systems are able to scale linearly by adding new nodes online, only a couple systems can also receive writes during failover. None of the solutions have a built-in way of notifying downstream dependencies of changes, so we would need to implement that at the application level. They all have indexes, but if you’re going to index many different values, the queries become slow, as the
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
