タグ

2014年12月22日のブックマーク (4件)

  • fluentd elasticsearch 送信と受信でログ行数に差異がある時 - Qiita

    かなり、感覚的な表現で申し訳ないですが参考程度に。。。。orz fluent plugin elasticsearch で detached forwarding server とかゆー送信サーバでエラーが出て retryとか勝手に何回かされると ログが重複する。。。orz 300万行ぐらい送って、elasticsearch側では330万行ぐらいになってた。。。orz fuluentdのバッファメモリをバッファファイルへ変更 ・送信先のバッファファイルが3個以上になったら送信を待つ ・送信元のバッファファイルが2個を超えたら処理を待つ みたいな監視をこさてゆっくりゆっくりと送ってあげる。 送信元のfluentDのchank limitあたりを調整 300万行を90分かけて送ってあげたらドンピシャだったぜ。 【追記】 fluentDが買ってにリスタートしやがった。 しかも送信行数と受信行数に

    fluentd elasticsearch 送信と受信でログ行数に差異がある時 - Qiita
    girled
    girled 2014/12/22
    過去ログをバルクで読み込ますのにelasticsearchで重複登録が発生しててバッファサイズとかチューニングで試行錯誤中。chunk_limitを256kとかにすると発生しないけど処理すげー遅い。CPUもメモリも余裕あるのに。。
  • 小高孝之(蕎麦職人): 情熱大陸

    girled
    girled 2014/12/22
    来週の情熱大陸、神田まつやだ。今年は藪そばも営業再開して中の人たち的にはまた多少は去年とは違う年末営業になるんだろうなあ。まつやはにしんそばが好きです。
  • 【炎上】Rettyが悪質なスカウト採用を行っているとして被害者が怒りの告発

    グルメ情報を集約したサイトRettyを運営する株式会社Rettyが許されざる採用活動を行っているとして被害にあった人が12/20、はてな匿名ダイアリーで一部始終を説明した。 ある日ビジネス系SNSのLinkedInを使っていたところ突然Rettyの武田和也社長から「会ってみたい」とスカウトメールが届いた。 被害にあった男性は当時の状況を以下のように説明している。 Rettyという有名クチコミグルメ情報サービスの武田さんという創業者の方からLinkedInで直接メッセージが来ましてですね 「はじめまして、Retty株式会社 代表取締役CEOの武田と申します。突然のご連絡申し訳ございません。」 「まずは一度、お会いさせて頂き、Rettyの今後の事業展開やビジョン、貴殿のお考え等、ざっくばらんにお話させていただければと思っております」 「ご来社頂いた際には、メンバーともお話いただき事業については

    【炎上】Rettyが悪質なスカウト採用を行っているとして被害者が怒りの告発
    girled
    girled 2014/12/22
    スカウトされるほどのエンジニアともなると目の前の仕事以外にもいろいろと大変なことも多いんだな。
  • 東京駅suica騒動を報告 続・妄想的日常

    東京駅100年Suicaで大混乱 「日を改めて販売」 http://www.asahi.com/articles/ASGDN2RW0GDNUTIL005.html 67 名前:名無しさん@おーぷん[sage] 投稿日:2014/12/20(土)19:13:59 ID:Tzk [1/4] 折角だから今日の東京駅suica騒動を報告。 とりあえず現場にいた俺が見た一部始終です。 俺んち最寄り駅が東京駅なんで、歩いて現地まで行く。 ツイッターで徹夜組がいるのは知っていたが気にせず。 4:20、現地到着。地上に並んでいるのは数百人程度。 徹夜組は地下にいて、駅員が「寒いでしょう」と 気を利かせて地下の暖かい奇麗な場所に案内されていた。 徹夜組は椅子など持ってきているので寝たり、場を離れて 飯をいに行ったり、自由に優雅に過ごしていた。 一方俺たち地上列は寒空の元、完全放置であった。 着いたときは最

    girled
    girled 2014/12/22
    なんかプロジェクションマッピングの時のアレも、起こるべくして起きたというような変な納得を感じるリアルなレポートでした