This domain may be for sale!
〜 大晦日に秒間 1 万ユーザを捌くためにやったこと (ログ収集編) 〜今回は、大晦日のイベント用に EC2 インスタンスを複数台立ち上げておいて、年が明けたタイミングで全て Terminate してしまう予定でした。 ただ、Terminate した際に、そのままログも一緒に消えてしまうと何かあったときに困るので、Nginx のログやアプリケーションのログの収集に Fluentd を使い、とりあえず S3 にぶっ込んでおくことにしました。 Fluend は標準では 1 つの CPU コアしか使ってくれないので、複数の CPU コアをもっているサーバで動かす際は、マルチプロセス化することで CPU を効率的に使えるようになります。 具体的には、ログ集約用のサーバは in_multiprocess プラグインで複数のポートから受信できるようにしつつ、送信側は out_forward プラグイン
最近話題のDockerやGoogle Cloud Platformを用いて大規模データのための解析基盤を作ります。今回はデータソースとしてTwitter Streaming APIを利用しますが、アクセスログなどに応用することももちろん可能です。コードは一行も書きません。解析基盤をつくためにマシンを用意する必要はもちろんありません。 BigQueryについては、 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja が参考になります。 利用するプロダクト/サービス Google Cloud Platform Google Compute Engine BigQuery Docker fluentd fluent-plugin-twitter fluent-plugin-bigquery Twitter Streamping API 想
サーバーのセットアップ fluentdのインストール公式ドキュメントのとおり、インストーラーを実行してインストールします。 $ curl -s http://toolbelt.treasuredata.com/sh/install-redhat.sh | sudo bash 実行すると、TresureDataのリポジトリ(/etc/yum.repo.d/td.repo)が作成され、RPMパッケージがインストールされます。 [vagrant@fluentd-server ~]$ curl -s http://toolbelt.treasuredata.com/sh/install-redhat.sh | sudo bash This script requires superuser access to install rpm packages. You will be prompted f
こんにちは。プラットフォーム開発部の阿部です。 IDCFクラウド のYAMAHA vRXを使ってIDCFクラウドローカルとAWS間をVPN接続する方法を紹介します。 背景と目的 前提条件 構築の流れ 構築手順 1.ゲートウェイ構築 1-1.IDCFクラウド 仮想マシン作成(vRX) 1-2.IDCFクラウド 仮想マシン作成(サーバ) 1-3.vRX基本設定 1-4.パブリックIPアドレス作成 1-5.SSH接続 1-6.vRXオプション設定 1-7.サーバのゲートウェイ設定 2.VRRP構成 2-1.IDCFクラウド 仮想マシン作成(vRX) 2-2.vRX②設定 2-3.3つ目のIPアドレスの取得 2-4.VRRP IPアドレス設定 2-5.シャットダウントリガー設定 2-6.NATするIPアドレスの変更設定 3.AWSとのVPN接続 3-1.AWS カスタマーゲートウェイ(CGW)の作
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。 プロジ
昨夜、ドリコムさんで行われた「最新インフラエンジニア技術勉強会 〜Fluentd, Elasticsearch,Chefの実践実例〜」に足を運んできました。 タイトルにもありますように、Chef, モニタリング, Fluentd, そして elasticsearch が使われている現場の情報を伺える機会となりました。 それでは、いつものようにノートをアップしておきます。 概要 2014-05-23 ドリコム 本社 (目黒アルコタワー) 19:30-20:00 ひらしー ドリコムのInfrastructure as Code 20:00-20:30 mickey Winning the metrics battle 20:30-21:00 外山 寛 Fluentd プラグイン開発講座 21:00-21:30 yoshi_ken MySQLと組み合わせて始める全文検索エンジン「elastics
近年、自分の中で集計/可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計/可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ?」「Graphiteってなんじゃ?」「InfluxDBってなんじゃ?」 など、このツール達は一体何なんだろう…?というのが前々から気になっていました。 今回良い機会なので ◯◯は何をするものなのか? というのを一つ一つ調べてみました。 いわゆる「触ってみた系」の記事なので だいぶ浅い感じです。 大分類 大きく分けると、可視化ツールは以下の3つに分けられそうです。 ログ収集/集計 時系列DB(+API)の担当。バックエンド側。 可視化部分の担当。 今回は バックエンド と 可視化部分 に焦点を当ててみます。 バックエンド 全文検索時エンジン+Restfu
English article 以前からスキーマレスなストリーム処理をSQLで!というソフトウェアとして作っていたNorikra、このたびあちこち機能改善したりしたので、既にお仕事で絶賛稼働中ということもあるし、区切りとして v1.0.0 としてリリースした。 ついでにロゴとかも作ったので、なんとなくいい感じになりつつある。 https://rubygems.org/gems/norikra/versions/1.0.0-java http://norikra.github.io/ 修正点は リポジトリ のChangesに書いてあるが、curlだけで操作できるようHTTP JSON APIが加わってたり、GCまわりでハマらないようなデフォルトオプションが入ってたり、分析系クエリを書きたい人のために Group-by with Rollup や Grouping sets, Cube などの
"古きよき時代から来ました、真面目なSE、真面目にSE" 広告系技術兼pixiv開発マネジメント担当 @bash0C7です。 2014/5/14(水)に開催された2014/5/14 ハックガールズpresents システムライトニングトークBar on Zusaarというイベントに発表者の一員としてご招待いただき、わたしが日常で培った技術の話をしてきました。 イベント概要 著名なエンジニアが続々登壇決定! 「リアル脱出ゲーム」でお馴染みSCRAPの公式アイドル、 「パズルガールズ」の内部ユニット、 プログラミングが出来るアイドル「ハックガールズ」主催のシステムライトニングトークBarを開催! お酒とおつまみ片手に個性豊かな登壇者のLTを聞き、 勿論お客様同士でも交流頂けるエンジニア向けのBarです。 提示資料(公開版) 「セキュアで安心!2014年の生活自動化プラットフォーム」というタイト
2014年05月16日 02:06 カテゴリ Fluentd Meetupで発表してきました Posted by steelwool_oxide こんにちは、スチールです。 ものすごーく久しぶりに勉強会で話してきました。 参加したイベントはFluentd Meetupです↓ Fluentd Meetup 新しい応用事例とv1に関する発表 自分だけ写真がちょっとおかしい人みたいなかんじですね。 僕の発表は「マゾいログ回収の話と未来」というタイトルでして、所属するフリークアウトでのログ回収の今までとこれからというような話をしてきました。 発表スライドはこちら。 実際にマゾいかどうかはみなさまの判断にお任せしますが、 限られたリソースの中で大量に発生するログを集めるのはちょいちょい工夫がいるね、というのが伝われば幸いです。 今後やっていきたいこととして、全てのログを集めるということと、リアルタイ
5/13(火)に開催されたfluentdのイベント「Fluentd Meetup - 新しい応用事例とv1に関する発表 -」に参加してきました! 会場は六本木ヒルズクロスポイントの5階、株式会社フリークアウト様の本社「Hills-Garage」。超オシャレなスペースでした。ライブハウスみたいですね。 本イベントはトレジャーデータ様と.dotsというサービスを提供している株式会社インテリジェンス様の共催でした。主催者様、会場提供者様、ありがとうございました。 レポート Fluentd v1 and Roadmap by 中川 真宏氏 (@repeatedly) ・v1をどうするかについてはgithubのissueに全て書いてある。 →そこに書いたものをまとめたのが今日のスライド。 ・fluentd概要 →MxNをM+Nにする、ログの収集・配送を一本化することを目標にしているのがfluentd
今日はhttp://eventdots.jp/event/49560 に参加してきました。 会場のフリークアウトさんがとにかくシャレオツでビックリ!! せっかくなので興奮が冷めないうちに、ざっくりですが、発表の内容をまとめました。 登壇者の方のスライドは公開され次第リンクさせて頂きます 情報に誤りがあればご指摘ください 誤字脱字もご指摘頂けると幸いです Fluentd v.1に関するアップデートと今後のロードマップ(仮) トレジャーデータ シニアソフトウェアエンジニア 中川真宏さん (@repeatedly) Fluentd v1 and Roadmap from Treasure Data, Inc. v10(現在)のFluentd logのフォワーディングを安全に ハイパフォーマンスに 任天堂他、著名な企業で使われている 公開されているプラグイン数250以上 CRuby想定で書かれてい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く