『Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました』
(この記事は、Hadoop Advent Calender 2013 の12日目の記事です) こんにちは、Amebaのログ解析基盤Patriotの運用をしている、鈴木(@brfrn169)と柿島大貴です。 Patriotについては以下をご覧ください。 http://ameblo.jp/principia-ca/entry-10635727790.html http://www.slideshare.net/cyberagent/cloudera-world-tokyo-2013 今回、Amebaのログ解析基盤PatriotにCloudera ImpalaとPrestoを導入しました。 Cloudera ImpalaとPrestoのインストール方法や詳細ついては、下記URLをご覧ください。 Cloudera Impala http://www.cloudera.com/content/clo
[Fluentd Advent Calendar]広告配信にFluentdを使っていますという話 @katzchang.gist
readme.md ワイワイ！これはFluentd Advent Calendar 12日目の記事です。 私は現在、VOYAGE GROUPの子会社であるZucksというところで、Zucks Adnetworkという広告配信サービスを作っています。で、その中でFluentdが活躍しているよーという話をしてみます。事例紹介ってやつです。 置かれた状況 Zucks Adnetworkは、いわゆる広告配信サービスです。 広告配信サービスは配信した結果を何らかの形で集約して、よーするにお金がどうチャリンチャリンしてるかを確かめる必要があるわけです。その一つのやり方として、「配信結果を1件ずつ行分割したテキストファイルの出力しておいて、そいつをいい感じにまとめて、数え上げる」みたいな方式があって、つまるところ、私たちはそうやってます。 よくある課題と解決策 集約されるサーバに負荷が集中する 一次的な
![[Fluentd Advent Calendar]広告配信にFluentdを使っていますという話 @katzchang.gist](https://cdn-ak-scissors.b.st-hatena.com/image/square/1ef26f6cb4349557952890dbe3e567f7f98dc151/height=288;version=1;width=512/https%3A%2F%2Fgithub.githubassets.com%2Fassets%2Fgist-og-image-54fd7dc0713e.png)
Norikra等JavaアプリケーションのGCをチューニングしたい - Qiita
Javaアプリケーションを運用していると必ず突き当たるのがGCの問題である。JVMの上で生きている限りこの問題を避けて通ることはできない（し、この問題に手をつけたら終わりだとも聞いたことがある）。NorikraはJRubyで記述されているJavaアプリケーションであり、用途からして大量のオブジェクトを作って破棄していることが容易に想像できるので、GCのチューニングは重要であることが考えられる。 GCのログをとりたい チューニングしたいのであれば、まずはともあれロギングである。ログなくしてチューニングすることなどできない。ということでまずはGCのログをとる。 $ norikra start -Xmx4g -Xms4g -Xloggc:/var/log/norikra/gc.log -XX:+PrintGCDateStamps -XX:+PrintGCDetails
memcached おすすめ起動オプションまとめ - blog.nomadscafe.jp
ここを書き直して転載 memcachedに関する記事は「第1回 memcachedの基本：memcachedを知り尽くす｜gihyo.jp … 技術評論社」など何回か書いていますが、最近のmemcachedでの起動オプションのおすすめをまとめてみようと思います。なおこの記事はMemcached Advent Calendarではありません。 まとめるとこんな感じです。 $ memcached -v -p 11211 -U 0 -u memcached -m 1024 \ -c 100000 -t 4 -C -B ascii ひとつずつ簡単に紹介します。 -v ログ出力 ログを verbose モードで起動します。エラーや警告が表示されます。弊社ではmemachedをdaemontools経由で起動し、ログを記録しています。 -v -vオプションは -vv、-vvv と v の数を増やす事で
隠れていたNode.jsの4バイトメモリリーク、Walmart問題の解決 - ぼちぼち日記
この記事は、 Node.js Advent Calendar 2013 - Adventar の12日目です。 1. ありがとう Ben Nodeの情報に普段アンテナを張っている人は既にご存じでしょうが、Nodeコア開発の中心的エンジニア Ben Noordhuis がNodeのコアチームから離れました。Node.jsの公式ブログに「Ben Noordhuis's Departure」としてアナウンスされています。 なぜ彼がNodeの開発を止めなければならなかったのかその経緯をここで述べることは控えますが、彼のこれまでの貢献なしでは今のNodeは存在し得なかった、と言えるほど彼は重要な存在でした。Benは、Nodeやlibuvのコードの開発だけでなく、github の issue の回答やPRのレビュー、 MLの質問の返答などNodeコミュニティにも精力的に対応し、去年来日した isaac
ISUCON3 チームごとのベンチマーク試行回数 - 酒日記 はてな支店
すっかりISUCONのことも忘れかけたある日曜日のこと… @fujiwara ISUCON3のチーム毎のベンチ回数が公開されてないと思うんですが！ 2013-12-08 02:09:12 via Twitter for iPhone to @fujiwara そういえば公開していませんでしたので公開します。 success, fail, 順位とベンチマーク試行回数の相関はあまりなさそうに見えますね。 rank name count(*) Miami 11 50ms or die. 15 Noder 25 1 LINE選抜「チーム生ハム原木」 25 白金動物園 27 ( (0) / (0)) ☆祝☆ 28 :ok_woman: 28 5 山形組 31 4 くらげとみかんと江戸幕府 34 6 銀杏絶滅しろ 34 ぜかまし 40 チームぽわわ2 40 かまたまうどん 40 勝浦タンタンメン 41
Resource Manager HA の概要と動かし方 - Qiita
本文章には，2013年時点での内容が含まれています．2017年04月13日に typo の修正を行いましたが，内容に関しては更新を行っていませんのでご注意ください． この記事は，Hadoop Advent Calendar 2013 の 11日目の記事です．記事を書いている今現在，私は GMT で活動していますので，時間的にはセーフだと思います．また、TPO によらずHiveはかわいいです. 背景 YARN とは YARN は，Yet Another Resource Negotiator の略で， Hadoop v1 の JobTracker が行っていたリソース管理部分を MapReduce 以外にも利用しようと試みたものです．JobTracker は Map Slot/Reduce Slot という単位でリソース管理を行っていましたが，これをコンテナというより汎用的な単位でリソースを
fluent-logger について - komamitsu.log
こんにちは。Fluentd Advent Calendar 11日目担当の @komamitsu です。ワイワイ。 Fluentd Advent Calendarにノリで登録したもののfluentd本体やプラグインに余り関わっていないので途方に暮れていましたが、fluent/fluent-logger-java のメンテナンスをしていることもあり、fluent-logger周りのことを書いてやりすごしたいと思います。 fluent-logger-javaの一年 地味な見出しですね。自分でも書いてみて素でちょっと引きましたが、とりあえずfluent-logger-javaに関連した出来事などを... fluent/fluent-logger-java/commits いくつか細かいバグの修正や改善を入れていますが、その中でもTCP切断後の再接続処理やタイムアウトの問題が改善されているので、地
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Azul Systems Launches Open Initiative for Improving Managed Runtimes | Azul Systems: Run, Scale, Simplify Your Java Application Platform