elasticsearch勉強会 の参加メモ #elasticsearchjp
elasticsearch勉強会 の参加メモ #elasticsearchjp 先日行われた初心者詐欺が横行していたelasticsearch勉強会に参加したのでそのメモを残しておきます。 ESは内部的にはLuceneを使っており、競合するプロダクトはSolrです。良くAWSのサービスと勘違いするようですが、AWSは関係なくオープンソースの製品です。（私もそう思っていた時期がありました。） そういえば、隣に座っていたのTwitter4Jの山本さんだったんですね。気がつかなかった(；´Д｀) スライドはこちらにまとまっています。 雑感 雑感としては、SolrとESの使い分けが何となく自分の中で明確になりました。 Solrはスキーマきっちり、設計きっちりやりたい場合に使って、ESはデータ量が破滅的に増加的で柔軟なスキーマが欲しくてスケールをポンッとできる場合に使おうかなと思います。話を聞いた限
Hiveのロゴについての豆知識
hcj2013wお疲れ様でした。 Ust録画や講演資料は殆ど公開されているようです。 特別企画として、NHNのなんとかモリスさんという方と、TreasureDataのりぴーなんとかさんという方がClouderaをスポンサーにつけてHiveTシャツを作ったそうで、私も1着いただきました。懇親会でHiveの愛を語ると戴けるという体を取っていたのですが、私はキーノートの前に戴いてしまったので、ここでHiveの愛を語ってみようと思います。 まず、Hiveがキモイキモイと言いますが、デザインデータはきちんと作られているのでやっつけで作ったようなものではないのですよ。イラストレーターのファイルを見てみましょう。パスできちんと作られている事がわかります。（あ、以下の画像はCS6です。キリッ） ちなみに、みなさんおわかりかと思いますが、Hiveの顔はHadoopの顔をそのまま使っています。 ね。Hadoo
Hadoop関連のきゃわいいマスコット達
Hadoopアドベントカレンダー2012の15日目の記事を書かせていただきます。 HiveServerの事を書こうと思ったのですが、ゆるふわエントリに変更してHadoop関連のロゴについて書きたいと思います。 Hadoopのロゴはまぁお察しの通りキモイきゃわわな象さんなわけですが、ちょっとグッズを作ろうと思った事もありHadoop関連の正式ロゴとボツ案のロゴなどを集めましたので紹介します。 Hadoop これが基本形で、以下のように各コンポーネント毎にサイト用のロゴがあります。 http://svn.apache.org/repos/asf/hadoop/logos/ https://issues.apache.org/jira/browse/HADOOP-7480 HadoopのPowered By powered by用のものです。こちらはApacheの羽有りのものでちょっといろいろと
HiveServerでファイルディスクリプタがリークする件について
@tagomorisさんがこんな事を言っていたので、調べてみました。 まずは、.pipeoutファイルについて。 結論から言うと、Hiveの不具合です。 （（追記 2012/06/23 14:00）Hiveのプログラムの書き方は良くないんだけど、Leakはしていないと思われます.） この.pipeoutファイルはSessionStateのstartメソッドでOpenされます。startメソッドはHiveServerの場合、クライアントがコネクションをはった時にコールされます。(HiveSourceCodeReadingの発表資料にもちょっとだけ書いてあります。) .pipeoutファイルはHiveServerではpipeInという変数によって、BufferedReader -> FileReaderを通して参照されます。 ↓のような感じ。 pipeIn = new BufferedRead
GrowthForecastが便利な件について
定期的に処理を実行するものがあって、その結果や中間結果を可視化したいなーと思うときがあるわけです。表示したい値は簡単に出せますが、それを見やすい形で出すのってけっこう面倒なものです。ログファイルをgrepしろやーはちょっと嫌です。グラフ表示する場合はCactiあたりが有名だと思いますが、グラフの追加に手間がかかるのがツライのです。とりあえずサクッと表示したいのです。 噂によるとkazeburoさんのGrowthForecastというものが便利という事なのでさっそく試してみました。 今回cpanmも初めて入れました。これも便利です。 まずはcpanmのインストール。Fedora17くらいだとyumにあります。CentOSだと無かったので手動で入れます。 cd ~/ mkdir bin && cd bin curl -LOk http://xrl.us/cpanm chmod +x cpanm
AvocadoDBについて
こんにちは、某所で豆腐ハンバーグを食べないといけないくらい貧乏ということになっているタムタムです。（なんか面白かったのでこのネタしばらく使います） English translation is here. Very thanks to @makoto_inoue!! https://gist.github.com/2359195 今回は AvocadoDB というものを紹介したいと思います。 間違いや勘違いがあったらご指摘くださいませ。 一言でいうと、MongoDB と OrientDB を足したようなものです。Webサイトに掲載されている特徴を列挙すると以下のようになります。 スキーマレスです クライアント・サーバモデル（アプリケーションサーバとして動作）です。そしてRESTインターフェースを提供しています。 JavaScriptエンジン(V8)を内蔵していて、それでデータを操作できます
退職しました
このたび、株式会社スクウェア・エニックスを退職しました。 正確には4月2日が最終出社、4月30日付けで退職となります。 2006年に入社し、約6年勤めた事になります。 PlayOnlineというプロジェクトに始まり、FinalFantasyシリーズに関われた事はとても貴重で刺激の多い体験をする事ができました。（他にも兼任していたけど省略します） エンジニア業務としては、 サーバも書かせて頂きましたし、Webのお仕事も立ち上げから運用まで一貫して携わらせて頂きました。独自のプロトコルを実装したり、フロムスクラッチでサイトを立ち上げたり。特にサイト(SNSっぽいもの)の立ち上げは、実装全般、開発環境やらステージング環境の構築も含めてサーバ構成なども良い経験でした。さっき数えたらそのサイトのために実装したクラスは1000ちょっとでした（意外と少ない）。Webサイトと言ってもSNSとしての機能をだ
Solaris10でTokyo Cabinetをビルドしてみた
Tokyo Cabinetってなんぞ？という人は、 http://tokyocabinet.sourceforge.net/ このページを。 Tokyo TyrantをSolaris10で動かすために、まずはTokyo Cabinetをビルドしようとしたらいろいろと怒られたので無理矢理ビルドを通してみました。正しい修正かどうかは知りません(*・ε・*) なので指摘は大歓迎です。 環境は「SunOS tamsvr10 5.10 Generic_127128-11 i86pc i386 i86pc Solaris」です。 あとgccやccが混在していたり、いろいろ弄っていた環境なので実は素のSolarisだとすんなり通っちゃうのかもしれません。 アーカイブをげっちゅ。 wget http://tokyocabinet.sourceforge.net/tokyocabinet-1.4.1.tar
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
