と言う会が品川某所で、2011/10/05にヒッソリと開催されました。 お客様は主催者たる僕のみで、それ以外の参加者は基本的に講師という大変贅沢な会です。 それなりに話はあっちこっちしていたし、 話題に上がった重要そうな部分で、僕が覚えている事を補足しながらメモ書き。 妥当でない部分があったので、変更。 スケールするUI(by @monjudoh) イベントを遅延ディスパッチする。ドラッグ&ドロップは実装が難しいかも。 イベントリスナは、より広い範囲で受ける。 例えば、一覧データなら、カラム内で受けるより、行で受ける方が良いし、それよりもテーブルで受ける方が良い。 これにはいくつか理由がある。 - 動的にデータが変更される中でイベントリスナの配置漏れによって適切に動作しない様なケースを避ける。 - イベントリスナのオブジェクトのインスタンス数を減らす。 - イベントリスナは登録処理が重いの
Hadoopクラスタを組み直す機会がやってくるのでこの際だからHadoopのバージョンを上げるべくあれこれテスト中。で、それにあわせて scribed のビルドもやったのでせっかくだから記録を残しておく。 なお以前(2011年当初)の状況については以下のエントリを参照のこと。 scribedのセットアップ手順ひと通り(hdfs書き込み有効版) - tagomorisのメモ置き場 Hadoop(libhdfs)各バージョンとscribeの微妙な関係 - tagomorisのメモ置き場 手順などについては上記エントリを起こしたときのものから変わってないので再掲はしない。そちらを参照のこと。 各ソフトウェアのバージョンについて 以前調べたときは CDH3b3 使えねえ!ということになっていたが、既に CDH3u1 が出ているのでそちらで試してみた、ら、使えた! やっほう! 現状のソフトウェア・ラ
HiveServerはThriftプロトコルをしゃべる*1ので、おなじくThriftで接続すると任意のクエリを発行できたりして大変便利。ということで、やったので、そのメモ。 準備 まずHiveServerだけど、hiveコマンドを叩いてクエリが実行できる状態なら以下のコマンドで起動する。*2 $ hive --service hiveserver ただしあらゆるデータ投入などをThrift経由でやるのは正直めんどくさい。hiveと叩けば起動するHive CLIでもデータ操作はしたい。なので conf/hive-default.xml にMetastoreの設定をする。今回は手元のMySQLに hive データベースを作り、それを使うようにした。このあたりが大変参考になった。 HiveのmetastoreをMySQLを使ってLocal Metastore形式で利用する - blog.kats
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く