はてなブックマーク

Erlang AdventCalendar 14日目です。ちょびえと申します。 普段はGoやPHPがメインなのですが、前々からErlangは気になっておりまして、今回は 初めてErlang/OTPにチャレンジしてみた、という記事を書いてみたいと思います。 まずはやってみよう、ということで。 Erlangへのモチベーション Golangでも簡単に動くサーバーはつくれるのですが、TCP接続を保持しながらhotswapをするという機能をGoで書くのは（少なくとも私にとっては）非常に面倒ですし難しいです。 既にビルドして動作しているGoバイナリに対してPlugin的なことをするのもPlatform依存になってしまうのでなんともなー、というところがあります。 自分はGoでMiddlewareを書いたりしていますが、そこらへんの機能に対しての解は気合でメモリ状況のMigrationを書く、とかそういう

こんにちは。TDアドベントカレンダーも12日目になりました。 主にアプリケーション周りでのTDの使い方に関して記載している私の記事ですが、今日はエラーの可視化について書いてみようと思います。 ##前振り アプリケーションのエラー可視化はみなさん行っていますか？自分たちのサービスでどれくらいエラーがでているか、どれくらいの影響がでるのか、といったことをチームのメンバーで把握できていますか？ 例えば大まかなMySQLへのエラーの確率とか、そういった所まで把握できていれば理想だと思います。 こういったエラーログの収集は直接的な収益に繋がるわけではありませんが、お客様の問題の調査に役立ったり、複雑なアプリケーションの実装における問題の発見、トラッキングなどに役立つのでとても重要な項目です。 この事から、エラー関連のログも上手に収集してアプリケーション運用を楽に出来るように構築しておきましょう。 エ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? (かきかけ)つい先日、surgemqの速さについての記事「SurgeMQ: MQTT Message Queue @ 750,000 MPS」が製作者本人により書かれ自分の周りのTLではにぎわいを見せました。 現時点ではまだまだ未実装な点が多いsurgemqですがgoでこの速度を達成した、ということは驚異に値します。 nsqdが約10万msg/sec、私のgoのmqttサーバーが4万msg/sec、ということで普通にgoでああいったTCPサーバーを書くと何もしないとSingle Coreで1〜2万に行くのがやっとこなはずなので凄さがわか

こんにちは、ちょびえです。私の専門はPHP CoreとかWeb Serviceを勢いでつくったり、とかなんですが最近だと広く浅くをモットーにGREEのインフラ周りのお仕事に携わっています。 はてさて、Treasure Data AdventCalendarを勢いで始めてみましたが、当初のアイデアだとGREEの現場で実際につかってる例を紹介しようかなー、と思っていたのですがそれを空き枠の16記事ぐらいでやると社内での確認とるの大変！　とか全記事書くのにフルスイングしないと無理！　となってしまいそうです。 そんなこんなで、僕が担当する記事では、こういったアイデアどうなかな？とか実際に現場でカジュアルに使っていたしている事柄について書いていこうかと思いますのでクリスマスまでお付き合いいただければと思います。 一発目の今日はアイデア系から言ってみたいと思います Webhookを受けとる上で企業内で

異常検知でGo！ こんにちは。ちょびえです。4日めですがいかがお過ごしでしょうか？ 今日はGoで異常検知を試してみましたのでレポートしてみたいと思います。 異常検知の世界 ふつうのWebプログラマーの私がデータマイニングによる異常検知読んで、機械学習ってなんて便利なんだろう！？と驚いたと共に機械学習の魅力に引き込まれていきました。 https://github.com/muddydixon/fluent-plugin-anomalydetect のSDAR部分を再実装したものです。私は高校をドロップアウトしてるので線形代数周りの理解・実装でだいぶ難儀しましたが、良き実装があればなんとかなるもんだなぁ、、、とｗ anomalydetectorはChangeFinder部分のスムージングなどの実装は含んでいないのでこんな感じで作ってみてください。 package main import ( "

GoはデフォルトではHTTP_PROXY環境変数を使うことでHTTP Proxyを使うことが出来るのですが、SOCKSは対応していません。 hailiang/socksがSOCKSのライブラリを適用してくれているのでTransportに突っ込むことでSOCKS経由で通信することができます。 package main import ( "fmt" "github.com/hailiang/socks" "io/ioutil" "net/http" ) func main() { dialSocksProxy := socks.DialSocksProxy(socks.SOCKS5, "127.0.0.1:1080") tr := &http.Transport{Dial: dialSocksProxy} httpClient := &http.Client{Transport: tr} re

MySQLでMetrics系のデータやるのも色々面倒だな～、ということでInfluxDBをかるーく試してみました ドキュメント http://influxdb.org/docs/ https://speakerdeck.com/pauldix/the-internals-of-influxdb Paul Dixのspeakerdeckの資料はとてもわかり易くお勧めです フォーラム(なにか困ったらまずはここで) https://groups.google.com/forum/#!forum/influxdb おおまかな仕組み Write系 ざっくり言うとWALでログを書きつつ、ShardされたLevelDBやClusterにデータを書き込んでいくという方式です。 Read系 ちゃんと読んでないけど速度からしてふつーに舐めてConditionにあうものをフィルタリング、グルーピングなどというオ

Googleが2008年にオープンソースとして公開したProtocol BuffersをPHPで利用するための手順を記します。 Protocol Buffersとは？ Protocol Buffersはprotoファイルという共通のIDLから言語を問わずにやりとりが行えるシリアライザが簡単に書ける素敵なツールです。protoファイルは下記のようなデータを定義する独自の言語となり、このファイルからprotocコンパイラを利用して対象の言語のシリアライザを作成します。 Protocol Buffersのライブラリを選ぶ上でのポイント Protocol Buffersはprotoファイルから言語別のシリアライザを生成するため、protoc対応（もしくはprotoファイルのパーサー/ジェネレーター）の対応が出来ていることが一つの大きなポイントです。 初めての場合は下記の4点について確認をしておけば