スケーラブル tail -f | grep on AWS - KAYAC engineers' blog
こんにちは。組長こと @fujiwara (id:sfujiwara) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記事は Tech KAYAC Advent Calendar 2016 の24日目の記事です。 TL;DR 多種多様なホストから発生するログの末尾を tail -f で追いかけたい fluentd + ローカルファイルで行うのはちょっと面倒 Amazon Kinesis + Lambda を使ってスケーラブルな仕組みを考えてみた kinesis-tailf というツールも作った 既存の仕組みと問題点 techblog.kayac.com 弊社の Lobi とソーシャルゲームでは、この記事で紹介されたような Fluentd を活用したログ集約の仕組みを整備しています。この
ネットワークでなぜ遅延が生じるのか
Kubernetesでの性能解析 ～なんとなく遅いからの脱却～（Kubernetes Meetup Tokyo #33 発表資料）NTT DATA Technology & Innovation
Goについて思うこと 2016
あんまりこういう内容のポエム的なものは広まってほしくないなあ・・と思うのでこっちにひっそり書くことにする。 今年は僕にとってはGoの存在がとても大きい年だった。 5年前、僕が書くのはWebアプリケーションが中心で、PHPをメインで触っていた。それが気がつけばエンジニアリングのレイヤが広がったなあという所感があって、ここ最近Goがそれを加速してくれた。第二の言語としてのGoはとても良くできていて、小回りが聴くし、ミドルウェアをちょろっと書くにも心地よい。やっぱり最近の言語ならではの良さがある。たとえば、 * テストが標準ライブラリに組み込まれている * net/httpがとても良くできている。フレームワークを必要としない場面も多い。 * concurrencyを堅牢に扱える（うまい言葉が見当たらない） * そしてそれなりに速い というのがあげられる。特にgo toolの充実はすごい。Race
技術カンファレンス会場での託児所の考察
RubyKaigi 2016 託児室運営記録（技術カンファレンスにおける託児サービス提供について） ## 概要・目的 RubyKaigi 2016 は2016/9/8-10の3日間の会期中、参加者に対して3歳〜6歳のお子様を対象に保育… こういう施策を行えるPyConもRubyKaigiもすごいなー、と思うのですが、二人の幼児を持つ親として、やはりイベント運営側がこういう仕組みを作るのは難しいなぁ、と思ったので備忘録的な読んだ感想。 まず全般的に：素晴らしい取り組みだとは思う。こういうサポートがあったほうが良いに決まっている。 それでもやはり自分が主催するカンファレンスで似たような取り組みをするかどうかはスゴく微妙なところで、現時点の素直な感想としては「この仕組みではやれないな」と思っている。 最も気になったことはこのプログラムへの参加人数の少なさ。結局これに尽きる。子持ちのエンジニアも一
陛下に一本取られた話
陛下に一本取られた話 （注：この記事に関しては、 転載、まとめサイトへの引用は禁止 です。また、取材等もお受けしません。） 実は、約２年前に天皇陛下と皇居で食事をするという奇跡に恵まれたことが有る。もちろん、私自身はそんなVIPでは無いので、偶然と幸運が重なったためではあるが。 数年前に、神経科学の重鎮であるN先生が、天皇陛下の御前で「ご進講」（天皇・皇后・皇族に学者等が業績などをご説明申し上げること：weblio辞書より）をしたのがそもそもの始まり。ご進講の１カ月後に、陛下が講師を皇居に招き、お礼の意味で食事会開く、のが慣例となっているそうで、その時に、２名の随行者を連れていくことが許されるとのこと。N先生はK大学医学部教授の先生を１人と、もう一人になんと私を指名しくれたのだ。 指名してくれた理由は、はっきりしている。N先生は、私が専門とする魚の模様研究が、ネタとして「使える」と考えた
ベンチャー系行ったらレベルが高すぎて辛い。 - 負け犬プログラマーの歩み
今の職場で働きだして少し経つが、既にエンジニアとしての自信を割と失っている。 俺は自分のことを少なくとも「そこそこのエンジニア」と思っていた。でも今の職場では、俺は下から数えた方が早い。「技術は有るが人間的にはクソ」と自負していた俺は今「技術者としても人間としてもクソ」となりかねない事態に陥っている。 言い訳の材料はある。周囲のレベルが高いのだ。 自分で言うのもなんだか経歴は豪華な人が集まっている。コアメンバーは最高学府(あえて誤用)卒はザラだし、某世界時価総額トップとか某金融会社とか某大手ゲーム会社に居たとか、某ソシャゲーの幹部とか、あのフリマサービスを作ったとか、別会社の元CTOでしたとかはたまた現役CTOやってますとか集えば、下流エンジニアも皇帝、四天王、１０傑（俺含まない）などの超一流だ。 文系で有名企業どころか正社員歴すらなく、名のしれた商品やサービスに協力会社の人間としても一度
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
物理サーバを選定する際のポイント – Eureka Engineering – Medium