Fluentd Casual Talks #3 に参加してきました。 各発表の内容は資料を見るなり、誰かがまとめていたりするので、そちらを見れば良いと思います。今回参加した理由は、Windows版のFluentdについての発表があったからです。というわけで、発表者の方と休憩時間に話した内容をまとめます。 NTFS限定、かつネットワークドライブは挙動を保証しない事をドキュメントに書いた方が良いと思う 監視対象がローテーションしていて、かつ別ボリュームへ移動している場合は保証外である事を明示した方が良いと思う NTカーネルのバージョンをどこからサポートするか明示した方が良いと思う 特にXPのバージョン(Windows Server 2003の1つ前のカーネル)まで遡ると、NTFSの挙動が違います GetFileInformationByHandleで判断する時は、FileIndexの他にdwV

elasticsearch勉強会 の参加メモ #elasticsearchjp 先日行われた初心者詐欺が横行していたelasticsearch勉強会に参加したのでそのメモを残しておきます。 ESは内部的にはLuceneを使っており、競合するプロダクトはSolrです。良くAWSのサービスと勘違いするようですが、AWSは関係なくオープンソースの製品です。（私もそう思っていた時期がありました。） そういえば、隣に座っていたのTwitter4Jの山本さんだったんですね。気がつかなかった(；´Д｀) スライドはこちらにまとまっています。 雑感 雑感としては、SolrとESの使い分けが何となく自分の中で明確になりました。 Solrはスキーマきっちり、設計きっちりやりたい場合に使って、ESはデータ量が破滅的に増加的で柔軟なスキーマが欲しくてスケールをポンッとできる場合に使おうかなと思います。話を聞いた限

hcj2013wお疲れ様でした。 Ust録画や講演資料は殆ど公開されているようです。 特別企画として、NHNのなんとかモリスさんという方と、TreasureDataのりぴーなんとかさんという方がClouderaをスポンサーにつけてHiveTシャツを作ったそうで、私も1着いただきました。懇親会でHiveの愛を語ると戴けるという体を取っていたのですが、私はキーノートの前に戴いてしまったので、ここでHiveの愛を語ってみようと思います。 まず、Hiveがキモイキモイと言いますが、デザインデータはきちんと作られているのでやっつけで作ったようなものではないのですよ。イラストレーターのファイルを見てみましょう。パスできちんと作られている事がわかります。（あ、以下の画像はCS6です。キリッ） ちなみに、みなさんおわかりかと思いますが、Hiveの顔はHadoopの顔をそのまま使っています。 ね。Hadoo

Hadoopアドベントカレンダー2012の15日目の記事を書かせていただきます。 HiveServerの事を書こうと思ったのですが、ゆるふわエントリに変更してHadoop関連のロゴについて書きたいと思います。 Hadoopのロゴはまぁお察しの通りキモイきゃわわな象さんなわけですが、ちょっとグッズを作ろうと思った事もありHadoop関連の正式ロゴとボツ案のロゴなどを集めましたので紹介します。 Hadoop これが基本形で、以下のように各コンポーネント毎にサイト用のロゴがあります。 http://svn.apache.org/repos/asf/hadoop/logos/ https://issues.apache.org/jira/browse/HADOOP-7480 HadoopのPowered By powered by用のものです。こちらはApacheの羽有りのものでちょっといろいろと

ClouderaManagerで2つのバージョン(CDH3, CDH4)のクラスタを認識させようと作業していたのですが、FREE版ではマルチクラスタの管理はサポートしていないようです。 というわけで、ClouderaManagerを別々にインストールして、1クラスタ＝1ClouderaManagerという感じにしようと思ったのですが、最初のManagerに認識させたホストを消せなくてちょっと四苦八苦してました。図にすると以下のような感じです。 最初の状態。 この状態から以下のようにしようとしてた。 でも、FREE版はマルチクラスタをサポートしていないっぽい。ので、以下のようにしようとして、Manager1からCDH4用に追加したHostB群を削除しようとした。 ClouderaManagerに登録したホストを削除する時は、以下の画面で削除したいホストにチェックを入れて「削除」をすれば良いの

RealtimeViewerを作ったらREADMEを書くのがとても捗る件について READMEを書くときはMarkdown形式で書くと思うのですが、四六時中その記法で書いているわけでは無いので、なかなか覚えられないわけです。Rubyの場合はRDoc形式で書くのが普通なのかな？まぁWikiにしろ何にしろ似たような記法増えすぎだと思うのです。 わたしのようなゆとりには、プレビューしながら確認できるととても幸せになれます。とは言っても、ブラウザ上で入力なんてしたくないし、自分のお気に入りのエディタを使いたいわけです。 こちらの記事にあるツールを使っていたのですが、どうも自分の環境ではファイルを保存しなおすと、高確率でreadでこけるようで・・。 というわけで（上記ツールを参考にして）自分で作ってみました。 インストール、および実行方法は以下のようになります。 gem install rdoc-v

FluentdをWindowsで動かそうとして挫折しなかった記録。その1 WindowsでFluentdを動かそうとして調べていった記録のメモです。 きちんとまとめていないので起こった順に書いています。 同じような事を試みて挫折した人が居たので、この意思を勝手に引き継いで3秒以上頑張ってみました。 概要としては、fluentdのRuby実装、Python実装(fluenpy)、fluent-agent-liteのPerl実装とF#実装を確認した事と、Windowsでのファイル処理の排他制御について分かったことをまとめています。Windowsのファイルについては別の記事でまとめる事にして、この記事では簡単に触れる程度にします。 まずOriginalのFluentd。Ruby実装なのでWindowsのRubyかJRubyで動くかなとも思っていたのですが、Cool.ioというライブラリに依存して

@tagomorisさんがこんな事を言っていたので、調べてみました。 まずは、.pipeoutファイルについて。 結論から言うと、Hiveの不具合です。 （（追記 2012/06/23 14:00）Hiveのプログラムの書き方は良くないんだけど、Leakはしていないと思われます.） この.pipeoutファイルはSessionStateのstartメソッドでOpenされます。startメソッドはHiveServerの場合、クライアントがコネクションをはった時にコールされます。(HiveSourceCodeReadingの発表資料にもちょっとだけ書いてあります。) .pipeoutファイルはHiveServerではpipeInという変数によって、BufferedReader -> FileReaderを通して参照されます。 ↓のような感じ。 pipeIn = new BufferedRead

せっかくなのでとあるサービスの技術的な事をまとめていこうかなと思ってます。 （作り直しているはずだし、消えるものなら片鱗を残しておこうかなと） 抜け漏れがまだまだあるので、思い出したら随時こっそりと更新していきます。画像も多くなるし、BlogじゃなくてGoogleDocとかのが良いのかな（自分のWikiにまとめる事にしました）。こういう内容は書かないの？とか、このサービス使って書くと良いよとかあったら教えてください。お願いします。 基本的にまったり進行。公開が遅かったらお尻をペシペシと叩いてください。 部署やプロジェクトを兼任していたので、やった事はこれ以外にも沢山ありますが、そのうちの1つとして記録を残します。併せて、なぜそうしたのかという所も覚えている範囲で書いていきます。また、数年前に開発が始まったものですので、今だったらこうするなという事も。 ぼかして書くので抽象的になるかも。 こ

定期的に処理を実行するものがあって、その結果や中間結果を可視化したいなーと思うときがあるわけです。表示したい値は簡単に出せますが、それを見やすい形で出すのってけっこう面倒なものです。ログファイルをgrepしろやーはちょっと嫌です。グラフ表示する場合はCactiあたりが有名だと思いますが、グラフの追加に手間がかかるのがツライのです。とりあえずサクッと表示したいのです。 噂によるとkazeburoさんのGrowthForecastというものが便利という事なのでさっそく試してみました。 今回cpanmも初めて入れました。これも便利です。 まずはcpanmのインストール。Fedora17くらいだとyumにあります。CentOSだと無かったので手動で入れます。 cd ~/ mkdir bin && cd bin curl -LOk http://xrl.us/cpanm chmod +x cpanm

先週熱が39.3度まで上がって、夜と朝方に未だに咳が止まらない虚弱なタムタムです。 5/30にHadoop Source CodeReading#9がありまして、「Introduce to Hive undocumented feature」というタイトルで発表させていただきました。 完全にネタセッションになってしまいました。 とはいえ、それなりにHiveは使っていたつもりなので何か困ったことがありましたらご相談ください。 HTTPのサーバは、いったん書き直してそのうちGitHubに公開するようにします。 質問があったtimestampの話ですが、 使わない方が良い理由として、 ・Timezoneの扱いがちょっと微妙 ・UDFのfrom_utc_timestmap, to_utc_timestampがバグってるってレベルじゃない ・一部の処理でメタ情報が正しく扱えない(JDBCからMeta

HTTP-RESTのInterfaceではCollectionNameもCollectionIDも両方サポートしています。またDocumentの実際の値はJSONになります。JSONObjectでも、JsonArrayでも大丈夫ですし、AvocadoDBはKVSでもあるのでJSONの要素（文字列、整数、Boolean、NULL）も受け付けます。 ちょっとだけGraphDBとしてのAvocadoDBも説明します。 Graph構造はVertexとEdgeで構成されます。VertexはDocumentに相当します。Edgeは専用で作るAPIが存在します。有向グラフか無向グラフ（要はエッジの向きがあるか無いか）はEdgeを作るときには指定できません。基本は有効グラフとしてEdgeを作ります。Edgeを取得する時にany, in, outを指定して取ります。VertexはDocumentなので任意の

こんにちは、某所で豆腐ハンバーグを食べないといけないくらい貧乏ということになっているタムタムです。（なんか面白かったのでこのネタしばらく使います） English translation is here. Very thanks to @makoto_inoue!! https://gist.github.com/2359195 今回は AvocadoDB というものを紹介したいと思います。 間違いや勘違いがあったらご指摘くださいませ。 一言でいうと、MongoDB と OrientDB を足したようなものです。Webサイトに掲載されている特徴を列挙すると以下のようになります。 スキーマレスです クライアント・サーバモデル（アプリケーションサーバとして動作）です。そしてRESTインターフェースを提供しています。 JavaScriptエンジン(V8)を内蔵していて、それでデータを操作できます

このたび、株式会社スクウェア・エニックスを退職しました。 正確には4月2日が最終出社、4月30日付けで退職となります。 2006年に入社し、約6年勤めた事になります。 PlayOnlineというプロジェクトに始まり、FinalFantasyシリーズに関われた事はとても貴重で刺激の多い体験をする事ができました。（他にも兼任していたけど省略します） エンジニア業務としては、 サーバも書かせて頂きましたし、Webのお仕事も立ち上げから運用まで一貫して携わらせて頂きました。独自のプロトコルを実装したり、フロムスクラッチでサイトを立ち上げたり。特にサイト(SNSっぽいもの)の立ち上げは、実装全般、開発環境やらステージング環境の構築も含めてサーバ構成なども良い経験でした。さっき数えたらそのサイトのために実装したクラスは1000ちょっとでした（意外と少ない）。Webサイトと言ってもSNSとしての機能をだ