AWS Summit Tokyo 2016 Developer Conference (2016/06/03)
![秒間数万のログをいい感じにするアーキテクチャ](https://cdn-ak-scissors.b.st-hatena.com/image/square/514736b92aa1fa122351882b8c7bde4b196901ea/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F301e2514a87e43bfa11cdb625287cea8%2Fslide_0.jpg%3F6393545)
こんにちは。インフラストラクチャー部 セキュリティグループの星 (@kani_b) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理といった様々な分野で「ログの処理」がホットですが、アプリケーションのログ (行動ログなど) に関する話題が多くを占めています。 そうしたログの他に重要なのが OS や各種ミドルウェアのシステムログです。これらはトラブルシューティングであったり、セキュリティ上の問題を見つけたり、といったことに使われますが、最低限 syslog でどこかに集約しているだけ、といった例をよく見かけます。 これらのログをきちんと検索可能にし、分析することで、今まで気づかなかったような問
TODO: 必要なら図を足す 他に書いた方が良いPros/Consのリクエストがあったら追記 内部のイベントストリームの扱い Pros: Inputがスケーラブルに実装しやすく,データストリームを正常時/エラー時で切り替えやすい Cons: エラーハンドリングがブロッキングモデルよりも複雑になりやすい 以下長々と理由書きます. Fluentdはイベントストリームを効率良く,またロバストに扱うことを目的に設計されています.そのため,独自の転送プロトコル(forwardプラグイン)を実装していますし,内部のイベントのハンドリングもそれに沿うようになっています.ただ,それによって相性の悪い操作とかもあります. Fluentdはバッファ機能を提供しており,これによって転送の効率化とエラー時のデータロスを防ぐ設計になっています.が,あまりにも書き込み先が遅いなどの問題があると,バッファの制限を超えて
スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…
実機で開発中のアプリの動作確認を行う際、Xcodeと接続していないときにもNSLogやprintf等で出力したログを確認したい場合があるかと思います。 iConsoleはアプリ内でログ閲覧するためのライブラリで、 このようにコンソールライクなウィンドウをアプリ内に表示してログを確認できるようになります。 iConsoleの特徴 アプリ内でログ閲覧できるようにすること自体は 出力したい文字列(=ログ)をプールする ログを確認するための画面を表示する という2つの機能が最低限あればよいので、実際のところ自作しても大変ではないのですが、iConsoleは上記機能をラップしている以外に、多くの特徴を備えています。 たとえば、 5段階のログレベルを指定することで、ログ出力量を段階的にコントロールできる クラッシュ時に自動的にスタックトレースをロギングしてくれる コンソール画面の起動方法として、スワイ
1 :以下、\(^o^)/でVIPがお送りします :2015/02/04(水) 20:18:35.23 ID:XUKO+QBl0.net お勧めのピコピコ音楽とかチップチューンの曲を貼ってくよ 主にYouTubeとSoundCloudから紹介してくね 1曲目 Chipocrite - Little Computer People 2 :以下、\(^o^)/でVIPがお送りします :2015/02/04(水) 20:21:14.98 ID:XUKO+QBl0.net Sabrepulse - Supernatural https://soundcloud.com/sabrepulse/supernatural 5 :以下、\(^o^)/でVIPがお送りします :2015/02/04(水) 20:24:21.53 ID:XUKO+QBl0.net Fragment Fiction 8 :以下、
ランキングと口コミからレストランを検索できる「食べログ」は、さまざまなユーザーの意見を参考にできるので、レストランを選ぶ際には重宝します。そんな食べログはレビュー点数の不正操作を防ぐために、点数が「3.0~3.5」に収縮する方式を採用していますが、その点数を正しく表示してくれるGoogle Chromeの拡張機能「Tabelog-HonestStars」が登場しました。 miyagawa/Tabelog-HonestStars · GitHub https://github.com/miyagawa/Tabelog-HonestStars/ 食べログの「ランキング・点数について」のページを見ると、食べログの点数はお店のジャンルへの「食通度合い」から算出している「レビュアーの影響度」が関係しており、単純に平均点を算出したものではありません。 独自の算出方法で計算した結果、食べログで「3.50
Javaの1.4からjava.util.logging(以下JULと表記)というロギングパッケージが標準で使えるようになって、ログ出力のためにlog4jなどのサードパーティライブラリをいちいち導入したりする必要がなくなりみんな幸せになりました。 と言いたいところですこいつが超不便なAPIをしていてとてもとてもとっっっても使い辛い。ふざけんな。 まずさらっと使ってみましょう。Java 7です。 Logger.getGlobal().info("log") Logger.getLogger("foo").info("log") 出力はこうなります。 Jan 15, 2015 5:11:41 PM JUL main INFO: log Jan 15, 2015 5:11:41 PM JUL main INFO: log はい、キモイですね。軽くつっこむと なんで2行なんだよ 日時AM/PM表記か
プロセスアカウンティング用に広く利用できる物として "Process Accounting Utility" があります。環境によって、パッケージの名前が、 psacct もしくは acct になっているものです。 $ # インストール (ubuntu) $ apt-get install acct 用意されているコマンド lastcomm: 実行されたコマンドの表示 ac : ユーザの接続時間の表示 sa: 過去に実行されたコマンドの集計/フィルタ ※ 質問の要件を満たすために、一般ユーザーからはこれらのコマンドが実行できないようにしてください。 アカウンティングサービスの実行 $ # サービスの開始 $ /etc/init.d/acct start $ # サービスの停止 $ /etc/init.d/acct stop 実際は、accton コマンドによってプロセス監視が始められます。
2015年01月05日20:00 正月だし画力の高い漫画家を紹介していきます Tweet 1: 名無しさん@おーぷん 2015/01/04(日)13:48:19 ID:pDi 漫画の絵の上手さというと人それぞれ評価基準があると思います 丸みを帯びたデフォルメの上手さ、写実性、コマ割りや演出の上手さ、キャッチーさ、描くスピード等 端的に言うなら漫画の絵の魅力というのは記号化と芸術性のせめぎ合いです 芸術になってしまっては漫画ではありませんしかし 漫画家の多くは絵の記号化と芸術性のはざまで表現の形を模索し続けています 一見写実的な絵の漫画でも巧みなデフォルメを施しストーリーに乗せていたり 適当に描いたような漫画でもテンポや空気を重視した努力が隠れているのです 転載元:http://hayabusa.open2ch.net/test/read.cgi/news4vip/1420346899/ 俺
インフラストラクチャー部の星 (@kani_b) です。 Heartbleed, ShellShock, XSA-108 (a.k.a. EC2 インスタンス再起動祭), POODLE など、今年は話題となるような脆弱性が各地を襲う一年でした。 脆弱性への対応に加え、いわゆるセキュリティ対策に日頃頭を悩ませている方も多いのではないかと思います。 一言にセキュリティ対策と言っても、実際やるべきことは多岐にわたります。今回はそのうちの一つとして、OSSEC という IDS (侵入検知システム) を使ったセキュリティログ監視についてご紹介します。 OSSEC とは OSSEC は、いわゆるホスト型の IDS (HIDS) です。以下のような機能を持っています。 ログ解析、監視 ファイルの変更監視 rootkit の検知 それらをトリガにしたプログラムの自動実行 (Active Response)
TOP > 話題 > 【羽生】フィギュアスケート選手によるダイナミック湯切りをごらんください(コラ) Tweet カテゴリ話題 0 :ハムスター2ちゃんねる 2014年12月21日 16:03 ID:hamusoku 湯切り 湯切り#羽生結弦 pic.twitter.com/pEpzFyv7en— わかもと (@Banane54) 2014, 12月 20 アンコールにお応えして アンコールにお応えして #羽生湯切る pic.twitter.com/1N1x42m61p— わかもと (@Banane54) 2014, 12月 20 3 :ハムスターちゃんねる2014年12月21日 16:05 ID:dAoQASJd0 これが世界クラス… 2 :ハムスターちゃんねる2014年12月21日 16:05 ID:7Z79XFm30 これは絶対美味しい麺だ 7 :ハムスター名無し2014年12月21
女の子がカワイイ漫画教えてくれーーーーーーーーーーーーーーーーー!!! Tweet 1: 以下、\(^o^)/でVIPがお送りします 2014/12/10(水) 21:12:27.47 ID:Kwf9M33ya.net 冬川基とか大岩ケンヂとか、ちょっと気色ちがうが冬目景みたいな感じの作画がすき 【Android】パズルとモンハンを合体させたようなボリューム満点のゲームが登場! 3: 以下、\(^o^)/でVIPがお送りします 2014/12/10(水) 21:13:00.83 ID:e93nFXCPa.net 咲-saki- 18: 以下、\(^o^)/でVIPがお送りします 2014/12/10(水) 21:17:51.65 ID:Kwf9M33ya.net >>3 マージャンわからんねん… 6: 以下、\(^o^)/でVIPがお送りします 2014/12/10(水) 21:13:13
ハマると病みつき!東京の麻婆豆腐の名店!麻婆豆腐は清の時代の成都で、一人の女性によって生み出されたとされる料理です。ありあわせの食材を使って客人をもてなそうとして考案された料理で、この由来から、非常に家庭的な料理であると言えます。 日本には、1952年に来日した陳健民氏によってもたらされ、今や知らない人はいない程の、代表的な中国料理となっております。麻婆豆腐とは本来は唐辛子の辛さ「辣」と、花椒の辛さ(痺れ)「麻」の力強い協奏が魅力的な料理。 日本料理には無い「麻辣」こそが麻婆豆腐の味わいと言えます。最近ではその麻辣の魅力が再認識され、現地仕様の麻辣味を楽しめるお店や、本格的な豆板醤と花椒の使い方をしつつ上品にアレンジするお店などが出てきました。 1 神田 雲林【神田】香り豊かで端正な麻婆豆腐 主人が中国・四川で食べ歩き開発した四川麻婆豆腐。 よりストレートな辛さと刺激的な痺れ感の中に旨みが
Norikra とは Norikra とはリアルタイムイベントストリームに対して SQL ライクな言語で処理できる cool なプロダクトです。 例えば、Nginx のアクセスログを Norikra に流し込み、n分あたりのアクセス数やレスポンスタイムをリアルタイムに集計するといった事が可能です。 もちろん Nginx だけではなく、ご自身が書かれたアプリが出力するログも流し込んで集計できます。 更に Fluentd を組み合わせると GrowthForecast や Mackerel といったツールに集計結果を渡して可視化するなどといったことも容易なので、速報値集計やシステム運用状況の可視化に持ってこいです。 Fluentd と Norikra を活用して可視化する例 fluent-plugin-norikra と可視化ツール(GrowthForecast等)を組み合わせるとすぐに可視化
TOP > twitter > 腰痛や猫背が治ると噂の筋トレフロントブリッジきつすぎwwww Tweet カテゴリtwitter 0 :ハムスター2ちゃんねる 2014年11月23日 09:00 ID:hamusoku 筋トレのススメ、フロントブリッジ(プランク)編 pic.twitter.com/hN0fwnk18P— 筋肉性一代大佐ー@冬2日目ナ08b (@1dtsa) 2014, 11月 22 4 :ハムスターちゃんねる2014年11月23日 09:07 ID:wFx7ucs20 10秒ももたん(´・ω・`) 5 :ハムスターちゃんねる2014年11月23日 09:07 ID:XGiQMxcJO 枕とマットレス変えるだけでかなり改善されるぞ腰痛 あと運動か 7 :ハムスター名無し2014年11月23日 09:08 ID:NFOSdg2W0 腕が駄目になりそう・・・ 10 :ハムスター
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く