はてなブックマーク

YAPC::Asia Tokyo 2015 今年で最後となるYAPC::Asia Tokyoで，データ分析基盤まわりについて発表してきました．部屋は満席だったようで，聞きに来てくれた皆さん，ありがとうございました．会場はD言語erにふさわしくD会場でした． データ分析基盤を支える技術 - YAPC::Asia Tokyo 2015 これが今どきのデータ解析基盤だ！初心者のためのデータ解析講座 #yapcasia #yapcasiaD - Togetterまとめ どういう展開にしようか悩んだんですが，データ分析基盤の構築に使われる様々なソフトウェアが，どういう問題を解決するために導入されているのか，またその一方どういう問題を持っているのか，を一からデータ分析基盤を作るという流れで話していくことにしました． 既にガリガリやっている人向けではなくて，これからやろうとしている人，やってるけど現状の

TODO: 必要なら図を足す 他に書いた方が良いPros/Consのリクエストがあったら追記 内部のイベントストリームの扱い Pros: Inputがスケーラブルに実装しやすく，データストリームを正常時/エラー時で切り替えやすい Cons: エラーハンドリングがブロッキングモデルよりも複雑になりやすい 以下長々と理由書きます． Fluentdはイベントストリームを効率良く，またロバストに扱うことを目的に設計されています．そのため，独自の転送プロトコル(forwardプラグイン)を実装していますし，内部のイベントのハンドリングもそれに沿うようになっています．ただ，それによって相性の悪い操作とかもあります． Fluentdはバッファ機能を提供しており，これによって転送の効率化とエラー時のデータロスを防ぐ設計になっています．が，あまりにも書き込み先が遅いなどの問題があると，バッファの制限を超えて

第１回 Vertica 勉強会 DeNAでVerticaの勉強会が開かれるということで行ってきた．皆さんお疲れ様 & ありがとうございました． VerticaはMPPデータベースと呼ばれるプロダクトの一つ．まとめみたいなのはすでに他の人が用意してくれているので，そちらを参照してください． 第1回 Vertica 勉強会 - Togetterまとめ 第1回Vertica勉強会に参加してきた - INPUTしたらOUTPUT! 第１回 Vertica 勉強会に行ってきた - wyukawa’s blog はじめてのVertica！（はじめのて方にも、20分で分かりやすく解説） Verticaの基本的な話．C-Storeが元になっていて， やはりC-Storeの論文に書かれている機能がベースになってた． ここで出てきた 列指向フォーマット そして列毎の圧縮 Shared Nothing ANSI

著者のmizzyさんから頂きました．ありがとうございます！ Serverspecそのものの説明はいらないとは思いますが，公式サイトと書籍へのリンクを張っておきます． Serverspec - Home O’Reilly Japan - Serverspec 本の感想 ソフトウェアの書籍でよくあるような「Serverspecはこう使う」といよりも「Serverspecはなぜこうなっているのか？」という所に重みを置いている書籍です．D言語のTDPLもそうですが，メイン開発者だからこそ書ける書籍になっています． もちろん，Serverspecの説明のために使い方や機能の説明もありますが，個人的には1章と4章がこの本の肝だろうと勝手に思っています． 1章 Serverspecの誕生から，どういう時に使うのか，また今どういう哲学でmizzyさんがServerspecを開発しているかについて書かれてい

YAPC::Asia 2014に初めて参加した． Perl使ってないし最初は行く気なかったんだけど，登録中のセッション見るとPerlじゃないの多いし， 個人スポンサーになればTシャツやパーカーも貰えると言うことで，個人スポンサーでチケット入手． 0日目は参加せず，1日目は朝から，2日目は昼から参加． 1日目 完成されたシステムなどない。完成された人間もいない。あるのは成長し続ける未完成なシステムと、それを支える未完成な人間だけだ YAPCでのTEDを目指したという発表．大ホールの暗い雰囲気と，宇宙に覆われたスライドによって， 宗教的な感じがしたプレゼン． 発表時間の半分で発表そのものは終わったのだけど，質疑応答をもっと盛り上げれば，完成度は上がったんじゃ無いかと思う． お待たせしました。Perl で BDD を簡単に実践する最高にクールなフレームワークができました 一番Perlっぽい話かな

Fluentd，最近だと海外でも露出が増えてきていて，軽量・柔軟・ロバストという所で， 新規の他，既存のログコレクタのリプレース含め，採用する所が増えてたりします． より改善するため色々とユーザにヒアリングした結果，「フィルタ機能が欲しい」というのが一番多い意見でした． Fluentdは元々Treasure Dataへロバストにデータを転送するためのミドルウェアで，「ETLとかはTreasure Dataで」 というのもあり，組み込みでフィルタ機能はありませんでした． 今現在のOutputプラグインによるフィルタ実装は，タグの書き換えが必要だったりして少し慣れが必要で，初心者にはちと難しい． ということで，より簡単に効率よくデータストリームを扱えるフィルタ機能を入れることにしました！ 前置きが長くなりましたが，次のバージョンであるv0.12ではFilterとLabelの導入が目玉機能になり

「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るはず． ただ，Fluentdはタグベースのルーティングを持ち，単体でもキューのように動作させることが可能で，既存のものより複雑な問題を解決しようとしているので，少し工夫が必要かもしれない． Fluentdそのものについては公式ドキュメントや，Fluentdとはどのようなソフトウェアなのかを参考に． クライアントから直接保存する いきなりFluentdを使わないパターン．JavaScript SDKを提供している解析サービスやモバイル端末

Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre

Presto ソースコードリーディング #4 いつものようにLINEでやりました！ @frsyukiが帰国する前に，という流れで開催決定・募集が1週間前というタイトなスケジュールでしたが， 無茶ぶりにつきあってくれた@ueshinさんに感謝． 当日の内容 togetterのまとめを見れば，なんとなく大まかな流れは把握できるはず…！ ueshinさんが第二回のashigeruさんの論理計画実行の後を継いで， 物理計画実行周りの話をしてくれました(資料のgist)． バイトコード生成しての高速化の話とか，Presto以外でも有用な話が出てました． frsyukiが現在のPrestoの開発体制の話，Treasure Dataでハックしている所の紹介， CREATE VIEWなどの実装がなぜこうなっているのか(これはfrsyuki案が通ったらしい)， 今後Prestoチームがやろうとしていることな

今回の発表は，今までのv11やv1に関してのまとめ的な発表になっています． 以下のリンク集を見れば，発表内容の大抵はカバー出来ると思います． また，他の方もまとめ記事とかを書かれているので，そちらも参照してください． そろそろFluentd v11についてひとこと言っておくか Plan for v1 release #251 Support JRuby #317 FluentdのWindowsブランチ Add –use-v1-config option to enable new configuration format #293 td-agent2のパッケージリポジトリ 俺の方から言えることは，Fluentd v0.10.46以降を使っている方は， 積極的に--use-v1-configオプションを使ってくださいということです． 既存のフォーマットとの違いはドキュメントを参照してください

リリースは永遠にされません！ 日本では色々なところでv11の噂がまことしやかに囁かれていますが， 俺がメインメンテナである限りv11がリリースされることはないので，諦めてv0.10.xを使ってください！ 以下まじめな話になります． v11が生まれた背景と現状 v11が生まれたのは1年以上前です．背景には，v10と呼ばれる今のバージョンがプロトタイプを兼ねたリリースであり， 「利用者のフィードバックを取り込んで，ダメな所をガッツリ書き換えて互換性を壊してメジャーバージョンアップや！」という流れがありました． しかし，v10は十分に柔軟でかつパフォーマンスも発揮しており，コミッタ陣はそれほどモチベーションがあったわけではありません． また，プラグインによって解決出来た問題も多く，v11が生まれた時ほどユーザから「v11が欲しい！」という要望は聞かれなくなりました． 当たり前ですが，ユーザからの

Sensu 最近人気が出てきているようなので試して見た． 仕組みに関しては本家のドキュメントとかスライドとか見ると大体分かる． 雑感: server, client, api, dashboardに分かれているのは良い 実装はRubyでシンプルに書かれているように見える．多分弄るのは簡単 RabbitMQとRedisが必要なのが試すのに結構つらい．chefとかpuppetを使うと良いらしい？ なんかテストモードがあるなら知りたい ドキュメントは最低限はある．Advancedなことしようとするとgithubとか先人を頼ることになる 設定がJSONなのはいいけど，ログすらJSONなのは徹底している RabbitMQにはクライアントから登録しにいくようで，勝手に監視対象が増えるのは楽 マスターからのpullは限界があるので，この仕組みはモニタリングでは筋が良さそう プラグインは簡単に書けるが，現

Fluentd -> Elasticsearch 大量データ転送でトラブル 上の記事にあるように，Elasticsearchに大量のデータを一気に流し込むと色々と問題が起きます． 元々検索エンジンはスケールさせるのが難しく，よく当たる問題だと思います． また，Fluentdとかだとガンガンログを流し込むことも多く，この辺で詰まる云々はたまに聞きます． 第3回elasticsearch勉強会 で，Elasticsearch勉強会にFlorianという本家のエンジニアが来ていたので， 懇親会でこの辺どうすればいいのか聞いてみました． 実際Elasticsearchユーザの中でもちょくちょく問題になるらしく， 大きくわけて二つの方法(またはこの組み合わせ)で回避しているようです． 書き込み先のノードを増やす 1ノードへの書き込みで詰まるなら，もっとノードを増やせば良いというアプローチ． 今のfl

Presto ソースコードリーディング #1のATND @tagomorisさんに場所を確保してもらって，LINEで第一回をやりました． 開催の流れ CROSS辺りでPrestoのソースコードリーディングしたいね，という話が出て， じゃあ俺が立てるので場所はLINE辺りで〜というその場のノリで決まった． どうせ10人前後だろうということでかなり適当な感じで募集とかやってたんだけど， 応募人数が40人越え，当日参加が25人前後くらいだったので，予想より多かったかなという感じ． やったこと 全体の概要 俺が軽めにやりました．Prestoの生まれた背景とか，依存している主要なライブラリ， @frsyukiのスライドを拝借しての主要なクラス群の紹介，現在サポートしている型， Slice使ってのデータの持ち方とか．後，最近の変更周りも少し紹介した HTTPレイヤー @tagomorisさんが担当で，

今現在見えている機能群について一通りその背景とか，v10ではどうだったのかを絡めて話したので，上のスライドだけ見ても少しわかりにくいかもしれません．新しい機能の確認みたいな感じで眺めて貰えると． 特勉は今回はログ・データ解析がテーマでしたが，色々とテーマを変えて定期的にやるようなので，随時チェックしておくと良いと思います． その後… Fluentd v11 なんてなかったんだ で，実はこの発表の次の日にTwitterで色々とやりとりがあり，上記のスライドに書かれているいくつかの機能は，v10に取り込まれる可能性が高いです．というか，v11そのものが消える可能性は普通にあります． Fluentdそのものの改善では色々と考えていることはあるので，定期的にチェックして頂けると！後「v10でこういうところが使いにくい」とかあると，開発陣にフィードバックして貰えると助かります． それでは！

「FacebookがプロダクションでD言語の利用を始めた」ことに関する記事が少し話題になってます．で，これだけだとD言語が他の言語のようにプロダクションreadyと勘違いする方もいるかもしれないので，今の現状について書いておきます． この記事の一言まとめ 手軽にプロダクションで使えるわけではありません！ 詳細が知りたい方は以降をお読みください. 今回の話 FacebookのAndreiはTDPLという本を出した，D言語界隈でも主要なコミッタです．その一方，C++界隈でも有名な人物で，そういう人物がついにC++をやめてプロダクションでD言語を使った，というのが一つの大きなニュースです． また，Facebookにはこの記事を書いたBenなど，D言語を使えるエンジニアが他にもいます． プロダクションでつかえるのか？ 簡単に言うと，「品質的には問題が無い，が今広まってる言語ほど楽ではない」です．J

Librato Metricsをうちではモニタリングに使ってるんですが，日本で全くと言って良いほど記事を見ないので，紹介記事を書いてみる． 何が出来る？ おおまかに分けて以下のようなことが出来る． メトリックスを作れる メトリックスに対してアラートを設定出来る ダッシュボードでメトリックスの一覧が見れる JavaScript SDKを使って自分のサイトに埋め込むことが出来る APIが提供されていて，いくつかの言語のクライアントがある 以下それぞれ簡単な説明． メトリックス LibratoにはMetricというのがあり，これが最小の単位．Metricに監視したいメトリックスの値を入れていき，他のMetricと混ぜたりすることでモニタリングを行います． 上の例のように，一つのMetricに複数の軸の値を入れることが出来ます．これはソースと呼ばれていて，保存する時にsourceを指定すれば良いで

Search logs using Fluentd and Kibana Apr 17th, 2013 | Comments Fluentd is a flexible and robust event log collector, but Fluentd doesn’t provide own datastore and Web UI. So if you want to search stored events, then you can use Kibana and ElasticSearch :) ElasticSearch is a easy to use Search Engine and Kibana is a great Web UI for ElasticSearch with LogStash format. Setup Pre requirements Java fo

JAWS DAYS 2013というイベントがあって，2日目にTreasure Dataとして発表してきました．実は1日目には弊社CTOがパネルディスカッションに登壇したりしてました． Slideshare Ustream Video streaming by Ustream 最初はfrsyukiが登壇予定に上がっていたんだけど，今彼はアメリカということで代打で役割が回ってきた，というのが発表の経緯． なんかラベルが”Dev”と”Ops”という超大雑把なくくりで「AWSで”Dev”って何発表すれば…」という状態だったので， AWS上で展開しているTreasure Dataサービスの仕組みについてつらつらと話しました． AWSべったりな感じではなくて Treasure Dataのサービス内容と目的 どうAWSのプロダクトを使っているのか なぜこのAWSのサービスを使わないのか というのを大まか

知ってる人はもう知っているとは思いますが，10月をもって1年と10ヶ月勤めた謎のベンチャーPreferred Infrastructure, Incを去りました．PFIの方々，本当に有り難うございました！ エントリを書けと色々な人に脅されているので，てきとうに書きます． 環境 インターンで飛び込み，そのテンションのまま大学を辞めて入社．俺みたいな機械学習や情報検索の基礎すらなかった人間が，今では機械学習プロジェクトで開発をやっていたわけですから，岡野原さんを筆頭に本当濃い社員の人達には感謝しかありません． 学習の高速道路という言葉がありますが，間違いなく超高速，時には事故るんじゃないかという環境でした．右を見ても左を見ても怪物だらけであるこの魔窟で，エンジニアとして勤めることが出来たのは本当に良い経験でした． 俺が入社した時は正社員は15人くらいだった気がしますが，今では既に26人で，もう

分散パフォーマンステスト関係を書こうと思っていたんですが，よくよく考えたらMongoプラグインについて日本語でまともな記事を書いたことなかったので書きます． このエントリはウィークリーFluentdユースケースエントリリレーの参加エントリです． 概要 MongoプラグインはMongoDBに対するInput/Outputプラグインを提供します．またユーティリティとして，MongoDBのcappedコレクションに対してtailを行うmongo-tailコマンドも付属しています． リポジトリ: https://github.com/fluent/fluent-plugin-mongo MongoDBは内部はBSONですが，API的にはJSONでやりとりしており，また明示的なスキーマもいらないため，Fluentd周辺では集計サーバやテンポラリサーバとして広く利用されています． td-agentには

Recently, Travis CI announces “Multi-OS feature” on their blog. Multi-OS Feature Available If this feature is enabled, our project can be tested on both Linux and Mac OS X. Multi OS feature has been enabled for Fluentd repository. See following build: fluent/fluentd on Travis CI This is very useful for checking commit and PR. Thanks Travis CI and Facebook team! Cool.io was revived after I became a

Fluentd meetup in Japan was held on Feb 4th. This meetup included more than 120 over hackers. It has been really exciting and I had a great time. Thanks to Fluentd developers and users! My presentation I talked about “Dive into Fluent plugin”. The purpose of this presentaion shares know-how of Fluentd plugin. I hope this presentation helps your developing of Fluend plugin. I didn’t talk about some