管理が困難―分散処理の常識はZooKeeperで変わる
管理が困難―分散処理の常識はZooKeeperで変わる：ビッグデータ処理の常識をJavaで身につける（8）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 分散処理の課題が「管理」なのは常識 複数の計算機上で動作（分散）するアプリケーション、ソフトウェアが多く存在します。分散ソフトウェアは複数の計算機で動作することで大量のデータを扱えたり、高負荷な状況に対処します。本稿では、複数の計算機（クラスタ）で動作する各サーバを「インスタンス」と呼びます。 本連載で紹介した分散Key-Valueデータベースである「HBase」は複数の計算機で動作する代表的なソフトウェアです。両ソフトウェアはともに「Apache ZooKeeper」（以下、Z
Hadoop SourceCode Reading 9で発表しました
先週熱が39.3度まで上がって、夜と朝方に未だに咳が止まらない虚弱なタムタムです。 5/30にHadoop Source CodeReading#9がありまして、「Introduce to Hive undocumented feature」というタイトルで発表させていただきました。 完全にネタセッションになってしまいました。 とはいえ、それなりにHiveは使っていたつもりなので何か困ったことがありましたらご相談ください。 HTTPのサーバは、いったん書き直してそのうちGitHubに公開するようにします。 質問があったtimestampの話ですが、 使わない方が良い理由として、 ・Timezoneの扱いがちょっと微妙 ・UDFのfrom_utc_timestmap, to_utc_timestampがバグってるってレベルじゃない ・一部の処理でメタ情報が正しく扱えない(JDBCからMeta
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
