はてなブックマーク

ffmpegをCentOS6.3でビルドした時のメモを残しておきます。 なお、指定したオプションは再配布可能な範囲での指定なので、自分でビルドする場合はもっとフルにオプション指定した方が良いと思います。例えば、--enable-nonfreeとか--enable-libfdk-aacとか。 ※この記事は後のビルドのためのベースとなるもので、最終的にはsharedリンクを完全に無くし、指定できるオプションは可能な限り付けることを目標としています。 対象バージョンと対象環境 ffmpeg-2.0.1 CentOS6.3 物理ホスト(CPU:Core2Quad 9550)上にKVMでCentOS6.3をMinimalでインストール。 CPUをきちんと認識(-cpu penryn)させ拡張命令が使えるようにした。(参考) model name : Intel Core 2 Duo P9xxx (P

elasticsearch勉強会 の参加メモ #elasticsearchjp 先日行われた初心者詐欺が横行していたelasticsearch勉強会に参加したのでそのメモを残しておきます。 ESは内部的にはLuceneを使っており、競合するプロダクトはSolrです。良くAWSのサービスと勘違いするようですが、AWSは関係なくオープンソースの製品です。（私もそう思っていた時期がありました。） そういえば、隣に座っていたのTwitter4Jの山本さんだったんですね。気がつかなかった(；´Д｀) スライドはこちらにまとまっています。 雑感 雑感としては、SolrとESの使い分けが何となく自分の中で明確になりました。 Solrはスキーマきっちり、設計きっちりやりたい場合に使って、ESはデータ量が破滅的に増加的で柔軟なスキーマが欲しくてスケールをポンッとできる場合に使おうかなと思います。話を聞いた限

Fluentd Casual Talksに参加して意識がちょっと高まったのでArangoDBのPluginを書いてみた なんかタイトルがラノベっぽい。 Fluentd Casual Talks #2 に参加してきたので、その感想でも。 -- 感想 -- JRの駅からヒカリエに行く方法がわからず、20分ほどうろうろして最終的に駅員さんに聞きました。くやしくなんかないもん。（震え声） just_do_neet さんの運用の話は、とても良かったです。とりあえず入れてみて、それっぽく動いている。ハッピー。 というわけでもなく、きちんと検証したんだなーという感じが特に。駆け足だったので、ちゃんと追えていないけど・・(´・ω・`) そしてangostura11さんがStreamに対してクエリを発行できるものを発表されていて、それってかなり便利なんじゃ。。でもJavaかぁーとか思ったり、Spring_M

Fluentdに負荷をかけたいなと思いまして・・。 前回作ったapache-loggenを使っても良いのですが、あれだと一度diskに出力する事になるし、Rubyなので複数コアがあるホストだと何プロセスも起動するのは嫌だなーと。 というわけで、今回はマルチプロセスで直接Fluentdにmsgpack形式のデータを投げるものを作ってみました。 in_forwardで受け付ける形式は何個かあるみたいですが、今回は以下の形式のものを。 [ tag, [time, rec], [time, rec], [time, rec], ... ] rec = { ... } 実際の実行画面のキャプチャです。 なんか、ほとんどマスクしちゃってますね(´・ω・) parallelでforkするので複数コアを活用します。情報はUNIXSocketで親プロセスへ集めて表示はCursesを使っています。それぞれの子

hcj2013wお疲れ様でした。 Ust録画や講演資料は殆ど公開されているようです。 特別企画として、NHNのなんとかモリスさんという方と、TreasureDataのりぴーなんとかさんという方がClouderaをスポンサーにつけてHiveTシャツを作ったそうで、私も1着いただきました。懇親会でHiveの愛を語ると戴けるという体を取っていたのですが、私はキーノートの前に戴いてしまったので、ここでHiveの愛を語ってみようと思います。 まず、Hiveがキモイキモイと言いますが、デザインデータはきちんと作られているのでやっつけで作ったようなものではないのですよ。イラストレーターのファイルを見てみましょう。パスできちんと作られている事がわかります。（あ、以下の画像はCS6です。キリッ） ちなみに、みなさんおわかりかと思いますが、Hiveの顔はHadoopの顔をそのまま使っています。 ね。Hadoo

RealtimeViewerを作ったらREADMEを書くのがとても捗る件について READMEを書くときはMarkdown形式で書くと思うのですが、四六時中その記法で書いているわけでは無いので、なかなか覚えられないわけです。Rubyの場合はRDoc形式で書くのが普通なのかな？まぁWikiにしろ何にしろ似たような記法増えすぎだと思うのです。 わたしのようなゆとりには、プレビューしながら確認できるととても幸せになれます。とは言っても、ブラウザ上で入力なんてしたくないし、自分のお気に入りのエディタを使いたいわけです。 こちらの記事にあるツールを使っていたのですが、どうも自分の環境ではファイルを保存しなおすと、高確率でreadでこけるようで・・。 というわけで（上記ツールを参考にして）自分で作ってみました。 インストール、および実行方法は以下のようになります。 gem install rdoc-v

Apacheのサンプルログを生成し続けるスクリプトをRubyGemsに登録してみた こちらの記事で書いた、Apacheのログを生成し続けるスクリプトをRubyGemsに登録してみました。 なので、今後は gem install apache-loggen とインストールするだけで、 apache-loggen というコマンドが使えるようになります。使い方は今までと同じです。（以下のような感じです） apache-loggen [--rate=0] [--limit=0] [--rotate=0] [--progress] [--json] [outfile] --rate 毎秒何レコード生成するかの指定。0以下は制限無し。 --limit 最大何件出力するか。0以下は延々と出力し続ける。 --rotate ローテーションの間隔。単位は秒指定。0以下はローテーションしない。 --progre

最新の記事はこちらです。 Fluentdのテストをする過程で欲しかったので、Apacheのログを生成し続けるスクリプトを書きました。 と言っても生成部分はTreasureDataのスクリプトを丸ぱくりで流量制限をするオプションを追加して延々と出力するようにしただけです。 frsyuki++。 手元でサクッとproductionで確認できる人はうらやましす。 使い方は以下のような感じです。詳細はREADMEを見てください。 ruby sample_apache_gen.rb [--rate=0] [--limit=0] [--rotate=0] [--progress] [--json] [outfile] --rate 毎秒何レコード生成するかの指定。0以下は制限無し。 --limit 最大何件出力するか。0以下は延々と出力し続ける。 --rotate ローテーションの間隔。単位は秒指定。

FluentdをWindowsで動かそうとして挫折しなかった記録。その1 WindowsでFluentdを動かそうとして調べていった記録のメモです。 きちんとまとめていないので起こった順に書いています。 同じような事を試みて挫折した人が居たので、この意思を勝手に引き継いで3秒以上頑張ってみました。 概要としては、fluentdのRuby実装、Python実装(fluenpy)、fluent-agent-liteのPerl実装とF#実装を確認した事と、Windowsでのファイル処理の排他制御について分かったことをまとめています。Windowsのファイルについては別の記事でまとめる事にして、この記事では簡単に触れる程度にします。 まずOriginalのFluentd。Ruby実装なのでWindowsのRubyかJRubyで動くかなとも思っていたのですが、Cool.ioというライブラリに依存して

Hiveのチケットを開いてBug報告をしてみたのでその手順をメモメモ。せっかくなのでテストの方法とかも書いておきます。 （チケットの内容はほとんどshiumachiさんに書いたもらったものですけどね(ノ∀`)） shiumachiさん、丁寧に教えていただきましてありがとうございます。 https://cwiki.apache.org/confluence/display/Hive/HowToContribute Wikiにも書いてあるので、こちらを参考にすると良いと思います。 ■ trunkで再現するかの確認について Eclipseを使ってやる場合は、こちらのページが参考になると思います。 今回は簡単な修正だったのでコンソール上だけで行いました。 trunkを落としてきてビルド、Hiveを起動する手順を以下に書きました。設定ファイルを特に作っていないのでMetastoreはカレントディレク

@tagomorisさんがこんな事を言っていたので、調べてみました。 まずは、.pipeoutファイルについて。 結論から言うと、Hiveの不具合です。 （（追記 2012/06/23 14:00）Hiveのプログラムの書き方は良くないんだけど、Leakはしていないと思われます.） この.pipeoutファイルはSessionStateのstartメソッドでOpenされます。startメソッドはHiveServerの場合、クライアントがコネクションをはった時にコールされます。(HiveSourceCodeReadingの発表資料にもちょっとだけ書いてあります。) .pipeoutファイルはHiveServerではpipeInという変数によって、BufferedReader -> FileReaderを通して参照されます。 ↓のような感じ。 pipeIn = new BufferedRead

せっかくなのでとあるサービスの技術的な事をまとめていこうかなと思ってます。 （作り直しているはずだし、消えるものなら片鱗を残しておこうかなと） 抜け漏れがまだまだあるので、思い出したら随時こっそりと更新していきます。画像も多くなるし、BlogじゃなくてGoogleDocとかのが良いのかな（自分のWikiにまとめる事にしました）。こういう内容は書かないの？とか、このサービス使って書くと良いよとかあったら教えてください。お願いします。 基本的にまったり進行。公開が遅かったらお尻をペシペシと叩いてください。 部署やプロジェクトを兼任していたので、やった事はこれ以外にも沢山ありますが、そのうちの1つとして記録を残します。併せて、なぜそうしたのかという所も覚えている範囲で書いていきます。また、数年前に開発が始まったものですので、今だったらこうするなという事も。 ぼかして書くので抽象的になるかも。 こ

定期的に処理を実行するものがあって、その結果や中間結果を可視化したいなーと思うときがあるわけです。表示したい値は簡単に出せますが、それを見やすい形で出すのってけっこう面倒なものです。ログファイルをgrepしろやーはちょっと嫌です。グラフ表示する場合はCactiあたりが有名だと思いますが、グラフの追加に手間がかかるのがツライのです。とりあえずサクッと表示したいのです。 噂によるとkazeburoさんのGrowthForecastというものが便利という事なのでさっそく試してみました。 今回cpanmも初めて入れました。これも便利です。 まずはcpanmのインストール。Fedora17くらいだとyumにあります。CentOSだと無かったので手動で入れます。 cd ~/ mkdir bin && cd bin curl -LOk http://xrl.us/cpanm chmod +x cpanm

Ruby(1.9.3)のURI.parseはホスト名にアンダースコアが入っているとURI::InvalidURIErrorが発生します。 require 'uri' p URI.parse('http://hoge_fuga.example.com/page?id=xxx#yyy') `initialize': the scheme http does not accept registry part: hoge_fuga.example.com (or bad hostname?) (URI::InvalidURIError) 仕様として、URIについては、RFC-2396とRFC-3986, IRIとしてRFC-3987があります。 アンダースコアはRFC-2396ではNGだったけど、RFC-3986ではOKになっているのですが、どうやらRubyのURIライブラリの対応が追いついていな

fluentの勉強会に参加したら、まわりがモヒカンばっかりで消毒されそうになったタムタムです。 先日のMixi Engineers' Seminar #3でMixiがJSONデータをHiveで集計しているよーという発表をしていて、Fluentのtail + apacheもjsonとしてデータが飛んでいるとの事で、相性は悪くないよねーというわけでサンプルを作ってみました。（スライドを見ていた感じではこんな感じだったはず） まずサンプルデータを用意します。 適当に100件ほど作りました。 (nameが名前でexam{1|2|3}は何かのテストの点数です） {"name" : "Irma", "exam1": 58, "exam2": 73, "exam3":85} {"name" : "Dorothy", "exam1": 50, "exam2": 39, "exam3":11} {"name

こんにちは、ポテトサラダを極めようと心に決めたタムタムです。 （昨日作って食べたら満足しました（・ｗ・）） 今日はHiveのパッチの書き方をまとめます。 Hadoop本体とはちょっと作法が違います。Hadoop本体はパッチを投げると自動でJenkinsがテストしてくれたりするらしいのですが、Hiveはそんなことやってくれません。またパッチもJIRAに添付するだけではダメで、Phabricator(Reviewボードみたいなもの)というツールを使ってDiffをアップしてReviewしてもらう必要があります。 今回は実際にHIVE-2703のパッチを投げるまでの手順を書いていきます。 http://mt.orz.at/archives/2012/02/hivejira.html こちらの内容と被っていますが、こっちでは説明しきれなかったところも書いていきます。 なお、手順はsubversion

こんにちは、某所で豆腐ハンバーグを食べないといけないくらい貧乏ということになっているタムタムです。（なんか面白かったのでこのネタしばらく使います） English translation is here. Very thanks to @makoto_inoue!! https://gist.github.com/2359195 今回は AvocadoDB というものを紹介したいと思います。 間違いや勘違いがあったらご指摘くださいませ。 一言でいうと、MongoDB と OrientDB を足したようなものです。Webサイトに掲載されている特徴を列挙すると以下のようになります。 スキーマレスです クライアント・サーバモデル（アプリケーションサーバとして動作）です。そしてRESTインターフェースを提供しています。 JavaScriptエンジン(V8)を内蔵していて、それでデータを操作できます

Cannot listup functions. Because the function class does not implement a "Description" annotation. ! weekofyear java_method to_utc_timestamp pi e != when case == if from_utc_timestamp degrees negative

タムタムです。Hadoop アドベントカレンダーの12/24分 を書かせていただきます。 それと、時々ログ解析飲み会というものをやっているという噂があるのですが、わたしも混ぜてください＞＜ さて、まずはじめに・・。 ログが整形されているなんて都市伝説です。 自分が作るアプリは最初からログ設計をして整形して出力しているのですが、世の中そんなものばかりではありません。Hiveで集計するためにはある程度書式が整っていないとスマートに処理できません。 適当なスクリプトで処理するのも手ですが、もともと分散しないと処理できないほどの量なのに、それを分散環境で処理しないとか無いと思います・・。 となると、スクリプトを書いてHadoop Streamingでログを処理すればいいよねーとなるわけです。が、用途はある程度限られてしまいますが実はHiveでも出来ます。 例えば、以下のようなログがあるとします。

またJIRAのチケットによると、datetimeに関する様々なUDFがtimestampをサポートしたようです。 例えば以下のような操作ができます。 サンプルデータを1件用意します。書式はyyyy-MM-dd HH:mm:ss か yyyy-MM-dd HH:mm:ss.fffffffffのみです。 2011-12-25 09:00:00 create table ts1(t1 timestamp); load data local inpath '/mnt/iscsi/test1/data4.txt' overwrite into table ts1; select cast(t1 as float), cast(t1 as double) from ts1 limit 1; 1.3247712E9 1.3247712E9 select cast(t1 as bigint), cast(

知り合いよりMySQLの使い方がひどいんですって話があって、その中でLIMITの話があったのでこういう事なのかなーと推測してみた。 その話によるとなんでもかんでもLIMITをつけている。SELECT * FROM XXXX LIMIT 1 みたいな事をいろんなところでやっているという事でした。MySQLはそんなに詳しくないのでDB2のOPTIMIZE FOR 1 ROWみたいなおまじないでつけてるんじゃないのかなーと思いつつ、実際に実行計画をとってみました。 テーブルを専用に用意するのは面倒なので、家のテーブルから適当にデータが入っているやつをチョイス。 mysql> describe BC2_ST_POSTLIST; +------------+---------------+------+-----+-------------------+-----------------------

JavaのClassLoaderの話をちょっとだけ。意外にClassLoaderを知らない人が居るようです。 ざっくりと説明をしますと、 クラスローダーにはBootstrapクラスローダーやシステムクラスローダー、コンテキストクラスローダーがあります。（あと拡張クラスローダーですかね）。そんでもって、クラスローダーは親子関係を持っています。委譲モデルと言って、あるクラスローダーにクラスをロードする依頼があると、親に依頼を委譲します。最初に発見されたクラスが実際にロードされるわけです。 1. Bootstrap　(rt.jar) 2. 親クラスローダーA 3. 子クラスローダーB こんなクラスローダーがあるとしてまだロードされていないクラスXをロードしようとした場合は次のように動作します。 B.loadClass(X) Aに委譲 Bootstrapに委譲 BoostrapにXは存在しない A

なぜpythonかと言うと、rubyは入っていないしperlは5.6でNet::SMTP使えないしsendmail行方不明だし・・・。pythonはcvs2svnで必要だったのでインストールしてもらっていたのでした。PERLも5.10をインストールして貰えばいいんですが、依頼をして待つ時間を考えるとpythonで書いた方が早いだろうと判断したからです。 動けばいいやーレベルで書いたので穴があるかもしれないです。ちなみにバージョンは2.6で確認しました。 ●post-commit #!/bin/bash REPOSITORY="$1" REVISION="$2" MAILER="/data/svn/proj1/hooks/mail.py" export LANG=ja_JP.UTF-8 export LC_ALL=ja_JP.UTF-8 $MAILER $REPOSITORY $REVISI