結局3月からそのまま働くことにしました。 先日のエントリを書いて以来、本当に多くの方から声をかけていただきました。ありがとうございました。本来なら個別にご報告するべきところですが、ちょっと数が多くて厳しいので、このエントリをもって報告にかえさせていただきます。 またいろいろと話を伺う中で考えたことなどもあるので、そちらについては別途エントリを書くつもりです。 様々な話を聞いた上で、1月末の時点では自分でもわかっていなかったことがわかりました。最終的に重視したのは以下の点です。 技術ベンチャーであること ベンチャー企業として大きな成功を狙っていること、またそれが有望に見えること 優秀なプログラマが同僚に多いこと 退職エントリに書いた観点のほかに、この3点が今回の自分にとって重要だということは後から見えてきたことでした。 ということで Treasure Data に入社しました。Softwar

先にまとめ 現在の勤務先を退職することにしました。本日が最終出社日です。 次はまだ決まっていません。というか、どことも具体的な話はまだしていない、という段階です。面白そうな職場はどこにあるかなと探している段階ですので、魅力的なところに心当たりがある方はぜひご連絡ください。色々な人と話ができるといいなあと思っています。 現職について 11月半ばくらいまでは転職はまったく考えていませんでした。が、その頃の世間の技術的な流れなどを見ていて、ちょっと技術的に異なることをやろうかなあ、と考えたのが直接的な理由です。今後どうするかを考えたとき、せっかくなら働く環境なども変えてしまった方がこれからの人生が刺激の多いものになりそうだということで、現職を退職することを決めました。 やりたいことを変えるだけなら社内でやればいいだろう、という話を会社側からはされましたし、もっともなことでもあるのですが、同時に前

今からちょうど4年前の2010年2月、某巨大SIerの片隅でExcelやPowerPointばかりを眺めて過ごしていた頃、おれは仕事でも仕事以外でもコードなんかまったく書いていなかったし、GitHubのアカウントも持ってなかった。毎日見積書とWBSと納品書と請求書と、Excel方眼紙の詳細設計書と格闘してた。 当時おれは30歳だった。一度はプログラマとして生きるのは自分には無理だと思って入社したSIerで数年やってて、そこそこ成功した数年を送っているとは思っていたけど、でもやっぱり、そんな毎日に飽きていた。 技術力を重視とか言いながらプロパー社員にコードを書かせようとしない会社の方針にも、svnもgitも閉じられててガチガチに監視されたネットワークに繋がせておいてオープンソースがどうのと言う文化にも、手順や履歴を重視とか言いながらロクにバージョン管理システムを使おうとしない一部の同僚にも、

あるいは http://yugui.jp/articles/879 へのreply。 システム監視をfluentdに統合してしまうべきか否か システム監視は分けておいた方がいいと思う。分けるべき、とまでは言わないけれど。 それらの仕組みには相応の必要な機能セットがあり、それらは長い歴史の中で比較的決まった機能セットに収斂してきており、その収集・モニタリング・可視化・アラート通知など決まりきったパターンを様々な項目について停止なく行う必要がある。 Fluentdの各種プラグインを用いることで同じような機能は実現できる。そのプラグインのうち数割は自分が書いものだったりする。とはいえ各ホストのシステム監視までそこで行うことを想定して書いたかというと、もうちょっと高いレイヤでの監視・集計、つまりサービス単位などを目的としたものが多い。サーバ単位で行おうとしたときに設定が雑多なものになるのはおそらく

前にこんなblogエントリを書いた。 dmmのエンジニアと話をしてみたいという話(追記あり) - たごもりすメモ このエントリ、Cassandra Casualという勉強会でCassandraのようなそうでないような話を聞きながら、しかもビール2本飲んだ状態で書いたものだった。書いてさっさと公開して放っておいた*1ところ、だいぶ経ってはてブがやたらとついていることにびっくりしたものだった。 正直に言おう。対象はなんでもよかったんだ。世間に知られている大規模インターネットサービスを運営していて、会社としての・中の人としての雑誌記事やイベント登壇やblogエントリがあまり見られない企業であれば。DMMでなくても、たとえばFC2でも楽天でもNTT docomoでもY!Jでもドワンゴでも。 もちろんどんな会社の人でも行くべきところに行けば中の人がいるのは知っているけれども、そういう話じゃない。単に

クラウドに限らず、データセンタの設計全般に言えることだけど。 コンピューティング基盤をどのように設計するかには根本から異なるアーキテクチャが様々あって、ある特定の方向のアーキテクチャについても実現するためのソフトウェアやハードウェアに様々なものがある。 合議制で決めてはいけない。何を採用するか、どのように設計するかについては、誰かが英知をもって決断するべきだ。それも可能な限り素早く。 今更言うまでもないことだが、この世界は技術の変化が非常に速い。おそらく3年経てば優位な技術は入れ替わっていて、何か新しいトレンドとか技術要素だとかいったものが登場しているだろう。 そんな中で何を採用するかについて、長い時間をかけるのは簡単だ。3年かけて実機を多数揃えて比較検討すれば、検討開始からの3年間で何が優位だったかが確実にわかるだろう。 おそらくその頃には別の技術が登場し、更に3年の比較検討が必要になっ

京都でモニカジが行われるらしい、と聞いたときにたぶんあんまりクルマ乗ってなくて、ひさびさにロングドライブがてら行くのもいいか、とつい思ってしまい参加登録してたので、いってきました。紅葉シーズンの京都で宿が取れなかったときはどうしようかと思った*1。 Monitoring Casual Talk in Kyoto on Zusaar しゃべってきた 資料はこちら。 The longest 5 minutes in our life from SATOSHI TAGOMORI タイトルは厨二です。っていうかこのタイトル、最初は "shortest 5min." にしようと思ってたのに気付いたら longest になってました。まあどっちでも意味ありげだしいいか、どうせ厨二だしな、って放置。 内容につきましては、まあいつも通りログの調査なんだけど、時と場合によって調査したい内容とか幅とか深さとか

完全に このエントリ のネタパクりです。すいません。 何に使われてるかわかったもんじゃないマシンとか開発用サーバとかだと超巨大なバイナリとか置いてあるかもしれませんが、プロダクション用のサーバでそういうことは無いとしましょう。 その場合、原因はだいたい以下のどれかです。www/appとdbが別マシンに分かれてる場合は更に絞り込めますね。 wwwサーバやappサーバ ログ 圧縮してあるが保存世代数が多くて厳しいケース 圧縮し忘れてるケース 圧縮どころかローテーションすら忘れてて1ファイルどかんと存在するケース ローテーションがうまくいかなくて deleted ファイルなケース tmpデータなど(app) キャッシュサーバのディスクキャッシュ dbサーバ データ実体 (ib_data) バイナリログ ログの場合でも、ディスク上のどこにログが書かれてるかは色々なパターンがある可能性がありますね。

みんな大好きFluentdはプラグインも自由に書けて好き放題にリアルタイム集計を行うことが可能なわけですが、やりたい処理にあわせて無限にプラグインを書き続けてるとプラグインの数が爆発し何がどんな処理をしているのかもよくわからず混乱の海に呑まれて消えるという未来がみなさんの脳裏にもおそらく想像されていることと思います。 で、世の中にはCEPエンジンというものがあってストリーム状に流れてくるイベントデータに対して処理を行う仕組みがあるわけですね。これ使いたい！ しかもあれだ、簡単に処理が書けるものがいい！ 何が言いたいかと言うとWE NEEEED xQL!!!!!!!!!!!!!!! そんなようなことをこちらのエントリを書いたときに思ったわけです。 http://tagomoris.hatenablog.com/entry/2013/02/19/142017 で、RubyKaigiにも通っちゃ

dmmは世の中のオトコノコにとっていろいろと言及するのに躊躇いつつ誰でも知っているアレなわけです。で、それなりの規模のWebサービスの裏側を見たことがある人なら誰でも、dmmの裏側はきっと物凄いことになっているに違いない、ということが想像がつくわけですね。 簡単に思い付く範囲でも以下のようなものがあります。 膨大な画像(サムネイル)および実コンテンツ(画像、動画、ソフトウェア圧縮ファイル)を配信するトラフィック しかもトップ数パーセントだけではなく、おそらくかなり裾野が広いトラフィック 膨大な商品の高速な列挙・表示 膨大な商品に関するタグつけ 膨大な商品に関する自然言語による全文検索 全トラフィックにおける膨大な量の課金・決済トランザクション 実物の通信販売に決済結果を載せる流通関連の問題 大勢のユーザに対して膨大な商品から適切に行うためのレコメンデーション これだけのことをやっているから

なんとなく気分が盛り上がったところで会場も見付かったのでカジュアルに企画して開催してまいりました。 Fluentd Casual Talks #2 : ATND いつもながら大人数の入る設備完璧な会場を貸していただき、また受付などすばらしいご協力を:DeNA様にいただきました。ありがとうございました！ で、大入りでしたね。発表者だれも決まってなかったのに……ｗ 話すほうも何も事前調整無し、talk完璧に未決定の状態から募集を開始したのに、最終的に面白い発表者、というか豪華メンバーがずらっと並びました。ありがとうございました。 どの話も大変面白かったですが、特に fluentd + esper でストリームに対してクエリを投げるというのがもう、まさにやりたいことというか弊社のIssue Trackerにも項目があってですね、あれを全部rubygemsにパッケージできると夢のCEPエンジン o

乗るしかない、このビッグウェーブに！ Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー Text::LTSV - naoyaのはてなダイアリー LTSV が行指向な Key-Value フォーマットで捗る話 - naoyaのはてなダイアリー ということで fluent-plugin-parser で 'format ltsv' をサポートし v0.2.0 としてリリースいたしました。 fluent-plugin-parser | RubyGems.org | your community gem host tagomoris/fluent-plugin-parser · GitHub あるキーがLTSVな

主にOperationをやっている人達もコード書かないといけないのかな？ というあたりについて話さないかというお誘いがあったので受けてしゃべってきた。 http://atnd.org/event/operationcasual 「おぺかじ」まとめ - Togetterまとめ 慣れないハイ意識トークだったが、いちおう遺漏なく終えられた。ストレスなくやれたし聞けたし、大変良かったと思います。主催の @studio3104 さん、会場提供のニフティさま、ありがとうございました。 個人的には、反応が見られたのは要するにいつもの人達ばっかりで、その他の人々がどう思ってたのかがまったく分からないのがちょっとさびしい。どう思ったか、少しでもTwitterやBlogで見られるといいんだけどなあ。とにかく多くの人に聞かせたい、というところはクリアできているので、あとは待つしかないんだけど。なむなむ。 しゃべ

Operation Engineers' Casual Talks というイベントが行われます。で、そこで話すことになってます。 Operation Engineers' Casual Talks | イベントアテンド [ATND] でイベント作成・チケット販売・参加者の出欠管理 開催が12月中旬の金曜夜なので、定員100人に現状107人となってますが、たぶん余裕で3〜4割はドタキャン出ると思います。普通に師走で忙しい人が多いだろうし、これから忘年会が入るひととかいるだろうし。だから補欠枠をがつんと広げた上で補欠の人は全員来るくらいでいいと思いますね！ とはいえ詰まらない話しかしないのに人がいっぱい来て残念でしたということになってもアレです、が、自分の話はともかくfujiwaraさんの話とかトークセッションとか面白いことは確定しているようなものなので、みんな来るといいと思います。 「ほげエ

聞いたところによると40名の枠に150名の応募があったらしいが、幸いにも参加できたのでいってきた。 最新鋭データセンターの施設に萌えるべき！ さくら石狩DC見学ツアー - はてなニュース 人生で初めて北海道に行ったんだが、正直に申し上げてめちゃくちゃ楽しかった。ありとあらゆるものに価値があった。見たものも聞いたことも食べたものもすべてすばらしかった。DC見学もその前後もすばらしく丁寧にご案内をいただいた。 さくらインターネット様、特に社長の田中さんと広報の櫻井さん、またはてなやJTBの皆さん、本当にありがとうございました。 と、忘れないうちに御礼まで書いたので、あとは適当に見たものや聞いたことについて書く。こと細かなことは誰かが書くだろうからそれを見てもらうとして、印象に残ったことをあれこれ。写真は自分で撮ったものと、ツアー主催側から提供いただいたもの。 石狩DCまわったあれこれ 着いたら

livedoor Techブログ : #isucon2 リアルタイムフォトレポート 更新終了 livedoor Techブログ : #isucon2 参加者・関連エントリまとめ tagomoris/isucon2 · GitHub 結論から申し上げますと、 またfujiwara組に優勝されてしまった！！！！！！！！！！*1 そんな中で山形組の活躍が目立ったイベントでもありました。特別賞ラインのスコアに最初に到達し、最終的にも2番手のスコアでした。fujiwara組とまったく異なる方法で高スコアを叩き出す姿勢はすごいものがありました。 そのほか、懇親会やblogエントリなどで参加者の皆さんが何をどう考えどのようにあの7時間を戦っていたかをいろいろ見せて/聞かせていただいて非常に嬉しい時間を過ごしています。中にはこちらが思いもよらなかったことを考えていたチームもあったようで、いろいろと面白いで

このエントリに書くことはほとんど与太話なのであまり真面目に受け取ってはいけない。 特定のツール/ソフトウェア/業界であれこれやっていてTwitterに何となく書いたりしていると、かなり詳しい人からダイレクトに反応があって議論が進み仕事も進んでみんなハッピー、ということがある。自分だけじゃなくて、割と周囲を見てても起きてるなーと思う。 特に、だいたい詳しい人とかはそれぞれお互いのやりとりも見てるので、後日になって「あの人とあの人がこんな話を」というと、みんなけっこう覚えてて、ああお仕事の役に立ってますね、ソーシャルネットワーク万歳！ となる。 が、これ、実際あまりよくない。tweetは流れちゃって後から追いにくいし、その時に両方をfollowしてないと会話が追えないし、まとめて集積されないと多少その道に詳しい人でないと全体像をとらえるのが難しかったりする。 これらの問題は特にできたばかりのソ

Fluentd meetup in Japan #2 #fluentd on Zusaar ふらふらとお気楽に参加してきた。当方ささやかながらプラグインを作ったりしているので、他のひとがどのように使っているか、どのようなプラグインが他の人によって使われているか、あたりにたいへん興味があったので、そういう話をかなり聞けたのがすばらしく有益だった。主催者の方々、スタッフの方々、会場提供のグリーの方々、ありがとうございました。 以下だらだらとセッションごとに感想めいたものを書く。 「Fluentdの現在と未来」by @frsyuki 会場のFluentd利用者率が6割だか7割だかでびびる。本当に？ みたいな。あと日本語ドキュメントなんていらんかったんやー、俺達は間違ってなかったんやー、と安心したりする。*1 Fluentd次期バージョンの話、じつはこれをメインで聞きにいったけど、既にTwitte

勤務先が主催でNHNテクノロジーカンファレンスという技術者向けイベントをやってるんだけど、その登壇者として社外の誰かから推薦されたらしいので(何故……)、ひとセッションしゃべってきた。なお「HBase at LINE」の発表は「HBaseについて誰かいない？」と主催の伊勢さんに聞かれたのに自分が推薦しました。みんなありがたがるといいよ。 他の人の話も、懇親会でのあれやこれやも大変楽しかった。HBaseなー、火山かー、みたいな。そのうち techblog にまとめエントリが上がるんじゃないでしょうか。それまでこっちでも見ると当日の状況が多少なりわかるかもしれません。 第2回NHNテクノロジーカンファレンス #nhntech まとめ - Togetterまとめ で、自分がしゃべったときのスライドはこちら。(slideshareのembed用タグを埋めてもはてなダイアリーに弾かれてしまう…… 対

Fluentdのデータをネットワーク経由で転送するための組み込みプラグイン out_forward には最適化のための設定がいろいろあるが、内部構造への理解がないとなかなか意味がわからなかったりするものも多い。ので、あんまりいじってる人はいないんじゃないかという気がする。 最近複数の転送先へのロードバランスを out_roundrobin ベースの方法から out_forward の機能を使った方法に切り替えてみたので、ついでにそのあたりについて書いてみる。 (おまけ) out_roundrobin と out_forward(のロードバランス)の違い out_roundrobin は event stream の emit つまりFluentd内部における最小の配送処理単位ごとに配送先プラグイン(のインスタンス)を切り替える。可能な限り細かい単位で配送先をバラけさせたいときはこちらを使う