ほぼやけくそHive Hacks – OpenGroove
Hive Hacksあれこれ。内容はほぼO’REILLY Hadoop Hacksからの引用そのまんま。ただの個人メモなのだが、ずうずうしく公開させてもらいます。いろんなところに記録しておいてもすぐに「あれ、あのメモどこやったっけ」となるのでここに書くのが一番なんだよね。書いたからって理解できるわけでもないんだが… （初めに書いておくと、この投稿長いです） 基本原則的なこと。 ●UPDATEは回避する 処理速度が遅延するため、UPDATEを多数含むようなSQLをHiveSQLに変換することは避けるべき ●MapReduceタスクのオーバーヘッド Hiveは「高スループットを目指す処理には向いているが、低レンテンシを目指す処理には向いていない」というMapReduce処理の特徴を引き継いでいる。MapReduceタスクのオーバーヘッドが付きまとうことを念頭におく。 ●並列分散ができない処理
gitで差分ファイルを抽出する - Qiita
案件で「作業の差分を納品してくれ」とか言われることってよくあります。 今までは手作業でディレクトリ作って、ファイルをコピーしてましたが、 もう、そんなうんざりする作業とはおさらばできそうです。 git archive と git diff の合わせ技で差分を出力できる事がわかったからです。 例えば、一個前のコミットから現在のコミットまでの差分を取り出したい時は、 git archive --format=zip --prefix=root/ HEAD `git diff --diff-filter=d --name-only HEAD^ HEAD` -o archive.zip まずは、git archive について。 --format=zip を付けるとzipで固めてくれます。 --prefix=root/ は抽出したファイルをrootディレクトリに入れた状態にしてくれます。 -o a
Apache Kafkaのレプリケーション - 夢とガラクタの集積場
こんにちは。 前回に続いて、Apache Kafkaのネタです。 今期の最新バージョンからレプリケーション機能が追加されたとのため、 レプリケーション機能の設計を実際に確認してみます。 https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Replication レプリケーション追加の大目的 Kafkaにレプリケーション機能を追加した目的はKafkaの持続性と可用性を高めるため。 KafkaにおいてPublishされたメッセージが失われることなく消費されることを保証したかった。 これらの問題はマシン障害、ソフトウェア障害等様々なエラーで発生する可能性がある。 レプリケーション機能追加において気にしたことは下記。 1.持続性の度合いを設定可能 一つ一つのデータをロストしたくないアプリケーションにおいては書込みレイテンシがかかる代わりに
「応用分野の広い超高速DB技術ができた」、東大・喜連川教授が41億円の成果報告
東京大学生産技術研究所喜連川研究室は2014年7月9日、国から41億円の助成金を受けた研究プロジェクト「FIRST喜連川プロジェクト」の成果報告会を開いた。同プロジェクトでは、既存技術に比べて1000倍の高速で動作する「非順序型データベースエンジン技術」を開発。中心研究者である東大の喜連川優教授（写真1）は「ディスクでもフラッシュでも、商用ソフトでもオープンソースソフトウエア（OSS）でも、同じように高速化する技術ができた」と成果を語った。 FIRST喜連川プロジェクトの正式名称は、内閣府最先端研究開発支援プログラム（FIRST）の「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」で、2010年3月から2014年3月末までの4年間で、非順序（アウト・オブ・オーダー）型実行原理に基づく超高速DBエンジン技術（非順序型DBエ
Hadoop Conference Japan 2014に参加してきました | DevelopersIO
7/8（火）に開催されたHadoop Conference Japan 2014に参加してきました。 【キーノート】 濱野 賢一朗 （日本Hadoopユーザー会, NTTデータ） 実際には私用で10:30ぐらいから参加したので聞いていないのですが、ハッシュタグ#hcj2014をたどる限り今回は参加者が1296名で、初参加が65%だったそうです。新規に参加される方が半分以上というのは裾野が広がったということなんでしょうか？ Doug Cutting （Hadoop生みの親, Apache Software Foundation, Clouderar 『The Future of Data』 途中から聞いたのですが、恐らくThe Future of Data | Cloudera VISIONに書かれている内容を話していたようです。 オープンソースの勝利という部分は相当熱く語っていたようで、T
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
あと12年が待てない人だけ見てください。3DCGで公開された大聖堂サグラダ・ファミリアの完成版動画 | makings.jp
agilecatcloud.com
