はてなブックマーク

OpenCensus Google 発案の分散トレース/メトリクス収集の仕様および実装、のはず。 opentracing.io とは似て非なるもの。 分散トレーシングについての仕様がいくつかあるようなのだけれども、部分的なものや似たようなものがあるので、それを整理して一括りにしてみた、というイメージです。 組み込む方のインターフェースやスキーマ とか、ライブラリ構成 もあれば、伝播のための仕様もあります。 んで、その Scala Wrapper があるじゃあないですか、ということで試しました。 Github グループ OpenCensus OpenCensus Ecosystem GitHub グループが 2 つあったんですねー、気が付かなかった。 1 つ目が OpenCensus のメイングループで、先ほど挙げた仕様もこのグループに所属してます。 2 つ目がメインを補完するグループで、今

Elasticsearch はややこしい ややこしいというか難しいというか、面倒くさいというか… で考えたところ、そも JSON を組み立てるのがそこそこ以上にしんどいんですよね。末尾の , とか。 Kibana も補完はあるのですが、そのあたりが面倒くさくて、なんか学ぶのが億劫になっておりました。 で、表題の話。elastic4s です。 sksamuel/elastic4s: Elasticsearch Scala Client - Non Blocking, Type Safe, HTTP, REST API, TCP Scala で Elasticsearch を扱うためのライブラリになってます。 かなーり頑張っていて、検索結果を safeTo で変換できたりとか、ややこしい aggs に型の誘導があったりします。 あと 6.0 以上であれば AWS Elasticsearch S

概要 前回 やるといってたやつです。 AWS Lambda が Golang を公式サポートしたので、これまでやってきたのと同じような Lambda を作って計測してみました。 先に結果だけ書くと、 Rust: 55.8 k レコードを 23.4 秒で処理 => 1 秒あたり約 2384.6 レコードを処理 Python: 56.7 k レコードを 397 秒で処理 => 1 秒あたり約 142.8 レコードを処理 Golang: 52.4k レコードを 13.4 秒で処理 => 1 秒あたり約 3910.4 レコードを処理 表にするとこんな感じ。 Runtime record/s Python 142.8 Rust 2348.6 Golang 3910.0 すごい。 仮説 当初立てていた仮説では、Rust とそんなに差はでないかな、と考えていました。 というのも、風の噂でGolang の

前回 Golang サポートしたらやってみるといってたので、まずは雛形作成と調査だけ。Golang しっかり書いたことないですし。 CodeStar で雛形作成 AWS Lambda Supports Go をよむと CodeStar に対応しているぜー とかいてあったので、そちらで作りました。 github.com 物としては、API Gateway 経由で起動して、ローカルファイルを読み込んで返す Lambda でした。 仕組みについてはこちらをありがたく読ませていただきました。 CodeStar のよかったところ: クロスコンパイラ環境の準備と設定ができてる CodeStar の利点としてはビルドやデプロイの設定がしてあることですね。とくにクロスコンパイラ環境。 家に帰る途中で調査の段取り考えてた時に、ビルド環境の準備面倒そうだなーとか思ってたので。 実際は $ GOOS=linux

概要 Rust コードを Lambda 上で動かせたーと喜んだんですが、活用どころあるんだろうかと考えてみて検証してみました。 結果として Python 比較で1秒当たりで 15 倍ほど多く処理できました。 以下でつらつらと書いていってます。 前提: Lambda の環境について Python比で起動時間に差がない Rust はそこそこバイナリサイズが大きくなります。 前回書いた Kinesis から S3 へ保存するコードも、Lambda のコンソール上で 1MB という数字になってました。 ライブラリ結構使っているとはいえ、やっぱりでかいです。 当然デバッグ情報の削除やならんやらで小さくはなるのですが、 Python なら500 B 程度。 結果として初期の起動速度の差がでてるのかなーと考えてます。 ので、Rust を使うなら起動してすぐ結果をかえす場面でなく、そこそこじっくりと処理す

yapcjapan.org というわけで、↑のあれこれやってました。 すべては下に集約されるわけですが。 あーーー、よかった。— 萬屋 rohki (@r_ohki) 2017年3月4日 会場に関してやっていたことを以下つらつらと。 ことの発端 @__papix__ です。すべてはヤツが原因だったのです… 誇張であっても嘘ではなく、papix から会場の候補として挙がっているので、ちょっとメンバー交えて相談させてほしい、ってのが発端でした。 で、スタッフの方たちのSlackに入ってやり取りがスタートします。 前夜祭まで 会社案内したり、場所として確定した後で下見いただいたり、事前の打ち合わせしたり、質問したり答えたり。 社内でスポンサー特典のためのロゴのデータもらったり、パンフレット広告作っていただいたりをしてました。 受け答えをしつつSlackを眺めて、カンファレンスとかイベントやるのっ