サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
80legs - Custom Web Crawlers, Powerful Web Crawling, and Data Extraction
We're hiring! Awesome adventure awaits for big data geeks, web search enthusiasts and distributed computing studs. Get Data Feeds with Crawl Packages Our crawl packages offer access to ongoing data feeds from major websites. Click to learn more! Social Network Data Publicly-available profiles, fan pages and more from major social network websites. Product Listings & Consumer Reviews Product data
Scribeでログの集約・収集【中編】 - フタなしカンヅメ
前編ではScribeのインストールと動作確認までおこないました。実際にWebサーバのログをScribeで処理していくわけですが、その前にネットワークを経由して正常にログの受け渡しができるかどうかを調べていきます。 別のサーバにもScribeをインストールして試したほうがいいのですが、今回はローカル内にポートを変えて二つのscribedを起動して検証します。 ## ログサーバ側と仮定 ### ## 今回は設定サンプルのcentralというのを使ってみる $ mkdir /tmp/scribetest $ /usr/local/bin/scribed examples/example2central.conf ## Webサーバ側と仮定 ### ## 別のシェルから同じように設定ファイルを変えて立ち上げる $ mkdir /tmp/scribetest2 $ /usr/local/bin/sc
Scribeを使ってアクセスログを集約する - スコトプリゴニエフスク通信
Webサーバーが複数台ある時、そいつらからアクセスログを集めてきてアクセス解析を行いたい時、2010年にもなってlogrotateをかけた後にrsyncするのかなぁと思ってしまうわけです。そういう用途にはFacebookで鍛え上げられたScribeが一番いいと分かっていながら、インストールが非常に面倒なので躊躇していました。./configure && make installでインストールするのも面倒ならば、RPMを作るのはさらに面倒。(Thriftはまだ何とかなるが、fb303、Scribeは本当に面倒)しかし、偉大な先人はすでにいるものです。「scribe centos」とかでググってCentOS用のSRPMを作っている人を見つけました。http://www.silassewell.com/blog/2009/05/07/scribe-scalable-real-time-log-a
障害に強いscribeサーバ構成と設定 - たごもりすメモ
scribeによるログ配送についていくらか試したりしつつ実戦投入しているのでその話。 今のところピーク時で20Mbps程度の流量で、100Mbpsを超えてくるようになると流量制限をシビアに考えたり中継サーバを複数台構成にしたり考えることになるのかなーと思っているが、現状はまだそこまでやってない。世の中には考えている人がぜったいいるはずなので話を聞いてみたいなあ。なんか「動かしてみた」レベルの話しかぐぐっても見付からない。悲しい。 サーバ構成 各サーバからログを(ほぼ)リアルタイムにscribedに流すのはいいとして、1台立ててるだけだと障害があったら全て終了してしまう。これはまずいので、複数台構成にする。 scribedはdeliverとcentralの両方で起動する。(設定はもちろん異なる。後述。) 通常は各サーバはすべて deliver サーバに接続してログを送る。deliverサーバ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Extractiv
Good night, Posterous
scribe/examples/README at master · facebookarchive/scribe
