#fluentd な今だからこそふりかえる scribed のすべて - たごもりすメモ
最近 fluentd というツールのことがたいへんよく話題に上がっており、かく言う自分もささやかながら使用している身なのだが、それはそれとして比較対象に上がってくるツールに scribed というものがある。これがどういうものなのか、話には聞いていてもよくは知らないという人が多いようなので、これもささやかながら触ってみている自分としてはここらで一度まとめておかねばなるまい、と思った次第である。 日本全国に10人くらいはいるかもしれない scribed のヘビーユーザ各位に捧げる。 なお記憶と経験だけを頼りに書き殴るので、意思決定の重要な局面とかで「これこれこういうブログにたごもりすなる者がこのようなことを書き残しており」などと引用するのはくれぐれも避けていただきたい。 また途中から思いっきりビール飲みながら書いたので文章自体の品質にも問題のある可能性がある。 そも scribed とは何か
簡単にscribedにログを転送するためのエージェント scribeline を作った - たごもりすメモ
まあ実際のコード自体はずいぶん前に書き上がっててGitHubにあったんだけど。 tagomoris/scribe_line · GitHub 何で作ったの scribedはログ収集サーバとしてはグッドなんだけど、なぜかエージェント側、ログを送出する側のコード例が極めて貧弱で、たとえば俺はいますぐApacheのログをscribedに送り付けたいんだ！ というときにどうしたらいいのかがよくわからない。というか簡単な方法が世の中に転がっていないように見える。 ので、しょうがないから作った。 ついでにデフォルト設定ファイルを読むようにしたりとか、各ログファイルの転送を一発で開始/終了できるようにしたりとか、接続先の scribed が死んだらセカンダリサーバに接続をフェイルオーバできるようにしたりとか、してある。前に 障害に強いscribeサーバ構成と設定 - tagomorisのメモ置き場 で書
障害に強いscribeサーバ構成と設定 - たごもりすメモ
scribeによるログ配送についていくらか試したりしつつ実戦投入しているのでその話。 今のところピーク時で20Mbps程度の流量で、100Mbpsを超えてくるようになると流量制限をシビアに考えたり中継サーバを複数台構成にしたり考えることになるのかなーと思っているが、現状はまだそこまでやってない。世の中には考えている人がぜったいいるはずなので話を聞いてみたいなあ。なんか「動かしてみた」レベルの話しかぐぐっても見付からない。悲しい。 サーバ構成 各サーバからログを(ほぼ)リアルタイムにscribedに流すのはいいとして、1台立ててるだけだと障害があったら全て終了してしまう。これはまずいので、複数台構成にする。 scribedはdeliverとcentralの両方で起動する。(設定はもちろん異なる。後述。) 通常は各サーバはすべて deliver サーバに接続してログを送る。deliverサーバ
Exploring the Software Behind Facebook, the World's Largest Social Media Site - Pingdom
At the scale that Facebook operates, several traditional approaches to serving web content break down or simply aren’t practical. The challenge for Facebook’s engineers has been to keep the site up and running smoothly in spite of handling over two billion active users. This article takes a look at some of the software and techniques they use to accomplish that. Facebook’s Scaling Challenge Before
Product: Scribe - Facebook's Scalable Logging System - High Scalability -
In Log Everything All the Time I advocate applications shouldn't bother logging at all. Why waste all that time and code? No, wait, that's not right. I preach logging everything all the time. Doh. Facebook obviously feels similarly which is why they opened sourced Scribe, their internal logging system, capable of logging 10s of billions of messages per day. These messages include access logs, perf
中国のアンダーグラウンド事情について：収益化の仕組み |
本ブログ記事は、中国のアンダーグラウンドについて解説するシリーズの第2弾です。第1弾のブログ記事およびホワイトペーパーは、以下をご一読ください。 セキュリティブログ： ・中国のアンダーグラウンド事情について：最新リサーチの成果から /archives/5725 ホワイトペーパー： ・China Education and Research Network Computer Emergency Response Team（CCERT） http://igcc.ucsd.edu/publications/igcc-in-the-news/news_20120731.htm 中国のアンダーグラウンドは、相関する「バリューチェーン」ごとに以下の4つに大別することができます。 1.現実の金銭の窃取 2.仮想の資産の窃取 3.インターネット上における機器および端末、またインターネットサービスの悪用 4
Netflix のスケール
現在日本でサービスを提供していないため目にすることは少ないですが、AWS のベストプラクティスと呼び名が高い Netflix のスケールをメモ。ベストプラクティスと言われるだけあって、記事も解説も豊富です。まー規模が桁違い過ぎるので読み飛ばしていたってのが正直なところですが、V 先生ドリブンで資料を読み直しました。AWS の How-to 記事は日本語でも山ほどあったので、自社データセンターから AWS へ移行した過程を中心に書きたいと思います。Netflix のテクノロジーについては以下を参考にしました。 The Netflix Tech Blog @slideshare @github >>> サービスの規模 Netflix は主に北米で VOD と DVD 郵送レンタルサービスを提供している会社です。ほとんど VOD で、今後 DVD 郵送レンタルは縮小するらしい。AWS の資料も
Listen-IT: coworkerとcolleagueの違い
どちらも「同僚」と習うかもしれませんが、実際に使われるときは違いがあります。coworkerは、日本語の「同僚」とほぼ同じ意味。同じ会社の、同じランクの人。上司はbossで、coworkerとはまず呼びません。日本的にちょっと意外なのがcolleague。かなり広い意味で利用可能。「社外の人であっても、一緒に仕事をしたことがある人」が軒並み全てcolleagueとなります。coworker同様、あまり上下関係のないイメージ。日本語だと多分一番近いのは「仕事仲間」だと思いますが、「仕事仲間」よりもより多くのシチュエーションで使われる感じです。colleagueは、社外コンサルタントやコントラクタを多用しがちなシリコンバレーでは大変有効な言葉ですので、覚えておくと便利だったりします。
Kaazing's PaaS Solution Brings Real-time Data to Any Device
Kaazing, developer of "the world's only enterprise solution for full-duplex, high-performance communication over the Web," now offers its WebSocket Gateway as a PaaS offering. Its goal in producing Kaazing's product as a cloud-based solution is to offer "its high-performance web communications Platform that is optimized for rapid development and easy deployment." says BusinessWire. According to Ka
How APIs Are Fueling the Mobile Banking Wars
While some folks tend to think about APIs are being little bits of arcane code that only developers care about it, the truth of the matter is that billions, possibly even trillions, of dollars are at stake in what will soon be a series of API wars. In no place is this more important than in mobile banking, where companies ranging from Google, the PayPal unit of eBay and lesser known entities such
JavaScriptのメモリリークを発見してくれるツール「Leak Finder」をグーグルが公開
ガベージコレクションの機能を備えるJavaScriptのような言語で開発されたアプリケーションでは、基本的にメモリリークは生じないはずですが、それでも回収されないメモリ領域がどんどん増えていくというメモリリーク的な状況は起こりえます。 leak-finder-for-javascript - Tool for finding memory leaks in JavaScript programs. - Google Project Hosting メモリリークは最終的にはそのソフトウェアの動作を遅くしたり不安定にしますが、短期的には問題なく動作しているように見え、単純なテストでは症状が表れにくいため、発見は難しいものです。 グーグルはこうしたJavaScriptのメモリリークを検出してくれるツール「Leak Finder」を公開したことを、ブログ「Leak Finder: a new to
「私がFacebookで働いていて嫌いな10個のこと」が面白い
2012年08月16日08:00 by oklahomer 「私がFacebookで働いていて嫌いな10個のこと」が面白い カテゴリ小ネタ 15日の14時過ぎにFacebookの開発ディレクターが「現役社員がこんなことを書くなんて信じられない」というコメント付きでシェアしていた「Ten Things I Hate About Working at Facebook（私がFacebookで働いていて嫌いな10個のこと）」という記事が面白かったので共有です。 いきなりニュースフィードに流れてきたので、IPO後の初業績報告だとかIPO以来の幹部入れ替わりが話題になってるから社内はピリピリしてんのかなぁ、まだエイプリルフールじゃないしなぁと思いつつ帰宅してジックリ読んだわけですが、読んでみて納得です。考えてみたら、本当にマズい内容だったら開発ディレクターが拡散したりしませんよね。 以下、本文和訳で
オバケン なぜこんな所にお化け屋敷が！？
これを機会にオバケンや他の素敵な楽曲に 興味を持っていただけますと幸いです。 お化け屋敷で紅茶が飲めるなんて なかなかない体験だと思います。 是非お友達やご家族、 職場の皆さんに自慢してくださいね🫖 小川）今回はお化け屋敷が苦手という方から 色んな方に参加していただき、 オバケンを知っていただけて とても嬉しかったです！！ 紅茶じゃなくても世の中上手い話は 沢山あります、、、。 私自身も上手い話に騙されないように 生きていこうと思います！！笑 みなさんも気をつけて！！！ かすが）楽しんでいただけた のでしたら幸いです。 ご参加いただき 誠にありがとうございました。 梨本）皆様とシスターが紡いだ物語は 唯一無二です。 素敵な思い出を胸に、 シスターはまた新たな地で迷い子を 救っていらっしゃることでしょう。 ご縁に感謝いたします！ 青葉）皆様ありがとうございます！ 今回のオバケンイベント 【
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.tbray.org/ongoing/When/201x/2012/08/11/Software-Axes
Google Code Archive - Long-term storage for Google Code Project Hosting.
https://jp.techcrunch.com/2012/08/15/20120814police-bust-prostitues-using-airbnb-apartment-in-stockhom/