muddydixonのブックマーク - はてなブックマーク

750,000MPSを達成したsurgemqの秘密に迫る - Qiita
(かきかけ)つい先日、surgemqの速さについての記事「SurgeMQ: MQTT Message Queue @ 750,000 MPS」が製作者本人により書かれ自分の周りのTLではにぎわいを見せました。現時点ではまだまだ未実装な点が多いsurgemqですがgoでこの速度を達成した、ということは驚異に値します。 nsqdが約10万msg/sec、私のgoのmqttサーバーが4万msg/sec、ということで普通にgoでああいったTCPサーバーを書くと何もしないとSingle Coreで1〜2万に行くのがやっとこなはずなので凄さがわかると思います。 LMAX Disruptor style RingBuffer surgemqの実装周りの参考にしたのがLMAX DisruptorのRing Bufferだそうです。 Disruptorは高速な汎用QueueをRing Bufferを使って
muddydixon 2015/02/10
mqtt

surgemq

server

golang
リンク
異常検知でGo！ - Qiita
こんにちは。ちょびえです。4日めですがいかがお過ごしでしょうか？今日はGoで異常検知を試してみましたのでレポートしてみたいと思います。異常検知の世界ふつうのWebプログラマーの私がデータマイニングによる異常検知読んで、機械学習ってなんて便利なんだろう！？と驚いたと共に機械学習の魅力に引き込まれていきました。 https://github.com/muddydixon/fluent-plugin-anomalydetect のSDAR部分を再実装したものです。私は高校をドロップアウトしてるので線形代数周りの理解・実装でだいぶ難儀しましたが、良き実装があればなんとかなるもんだなぁ、、、とｗ anomalydetectorはChangeFinder部分のスムージングなどの実装は含んでいないのでこんな感じで作ってみてください。 package main import ( "fmt" "buf
muddydixon 2014/12/05
golang

anomalydetect
リンク
TreasureData x MQTT translator - Qiita
こんにちは、ちょびえです。私の専門はPHP CoreとかWeb Serviceを勢いでつくったり、とかなんですが最近だと広く浅くをモットーにGREEのインフラ周りのお仕事に携わっています。はてさて、Treasure Data AdventCalendarを勢いで始めてみましたが、当初のアイデアだとGREEの現場で実際につかってる例を紹介しようかなー、と思っていたのですがそれを空き枠の16記事ぐらいでやると社内での確認とるの大変！　とか全記事書くのにフルスイングしないと無理！　となってしまいそうです。そんなこんなで、僕が担当する記事では、こういったアイデアどうなかな？とか実際に現場でカジュアルに使っていたしている事柄について書いていこうかと思いますのでクリスマスまでお付き合いいただければと思います。一発目の今日はアイデア系から言ってみたいと思います Webhookを受けとる上で企業内で
muddydixon 2014/12/01
mqtt

td

treasuredata
リンク
1