QJM構成でデバッグを有効にするとネームノードが起動しない件
Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers.Twitter / Photos Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers. Twitter / Photos 遅ればせながら、Hadoopアドベントカレンダー2012 #hadoopAC12jpの、17日目のエントリとして書きます。 Introductionタイトルのとおり、デバッグを有効にしてネームノードを起動しようとすると以下の例外が発生し、ネームノード自体
ネームノードHAでWebHDFSの代わりにHttpFsを使う
Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers.Twitter / Photos Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers. Twitter / Photos Hadoopアドベントカレンダー2012 #hadoopAC12jpの、12日目のエントリとして書きたいと思います。 IntroductionWebHDFSはネームノード(やデータノード)に直接アクセスするので、ネームノードHA構成時にフェイルオーバーし
AWS、EC2の新インスタンス「High Storage」発表
AWS、EC2の新インスタンス「High Storage」発表：Hadoopなどの処理向けに48TBのストレージを提供 米Amazon Web Services (AWS）は12月21日、大量のデータへの高速アクセス提供を特徴とする「High Storage」を発表した。 米Amazon Web Services (AWS）は12月21日、Amazon EC2の新しいインスタンスタイプとして、大量のデータへの高速アクセス提供を特徴とする「High Storage」を発表した。 High Storageは、大量のデータセットをシーケンシャルに読み書きする性能の高さが求められるアプリケーション向けに最適化したインスタンス。特にHadoop、データウェアハウス、パラレルファイルシステムを使ってAWSクラウドで大量のデータの処理と分析を行う場合に適している。 現時点で提供しているのは「Eight
オラクル、エンタープライズ向けNoSQLの新版「Oracle NoSQL Database 2.0」リリース。オープンソースの無償版も公開
Oracle NoSQL Databaseは、キーバリューストアであるOracle Berkeley DB Java Editionをベースに、分散処理機能、ロードバランス、管理機能、マルチノードバックアップ機能などを追加したもの。昨年10月に最初のバージョンが公開され、今回がそれ以来初のメジャーバージョンアップとなります。 性能向上やOracle、Hadoopとの統合強化 Oracel NoSQL Databaseの基本的なアーキテクチャは変わらず、プライマリキーのハッシュによって指定されたノードにキー／バリューのペアを書き込む分散キーバリューストア。シングルマスター／マルチレプリカ方式で、マスターノードが落ちたときにはPAXOSベースの自動フェイルオーバーを行い、単一障害点の排除と可用性を実現しています。 バージョン2.0での主な強化点は、性能向上、自動リバランシング、Oracel D
Oracle NoSQL Database Downloads
Deploying Oracle NoSQL Database on the Oracle Cloud Infrastructure Sign up for NoSQL Database release announcements so we can alert you to future releases and other NoSQL Database product updates. Download this script from GitHub that simplifies the installation of Oracle NoSQL Database on the Oracle Cloud Infrastructure (OCI). This script lets a user set up a small cluster (1-10 machines) quickl
RSS対応NICなのに割り込み処理が複数コアに分散しない…のはirqbalanceが動いてなかったから - 酒日記 はてな支店
タイトルがすべてでございます。 NICの割り込み処理が1コアに集中してしまい、ボトルネックになって性能が出ない場合があるという話は最近広く知られていると思います。 NICのハードウェアレベルで割り込みを分散してくれる RSS(Receive Side Scaling) という仕組みがあり、それを利用すれば特になにもしなくても複数コアに分散されるはず、と思っていたのですが、どうも特定のマシンでそうならない。 # cat /proc/interrupts CPU0 CPU1 CPU2 (省略) CPU11 64: 1256214 0 0 ... 0 IR-PCI-MSI-edge eth1-0 65: 225711 0 0 0 IR-PCI-MSI-edge eth1-1 66: 402906 0 0 0 IR-PCI-MSI-edge eth1-2 67: 723539 0 0 0 IR-P
CDH4にしたらDNSによる名前解決がうまくいかなくなった(解決した) - たごもりすメモ
CDH3u5で使っていたクラスタをOSそのまま(再起動すらしてない)でCDH3をまるっと削除してCDH4に変えたところ、突然名前解決ができないと言いだしてまるで動かない状態になって右往左往していた。まるで原因が見えず失意のどん底に落ち無力感にさいなまれると試して当然と思えることがまったく思い付かなくなってヤバい。 なお症状としては以下の通り。誰かがぐぐったときのために細かく書いておく。 CDH3u5 + Java6 では問題ない java 1.6.0_29, java 1.6.0_33, java 1.6.0_38 のどれでも問題はなかった CDH4.1.2 + Java6 で以下の問題が起きた java 1.6.0_33 および java 1.6.0_38 のどちらでも発生 ホスト名の解決ができなくなる DataNodeからNameNodeに接続できない DataNodeのログに以下のよ
#22 カジュアルに乱数を使う方法とその注意点 - KAYAC Engineers' Blog
この記事はtech.kayac.com Advent Calendar 2012の22日目です。 @songmuです。ゲーム作ったりしてると、乱数が必要になってきますがそれについて書きます。 多くの人にとっては当たり前の話も多く出てくるかと思いますがご容赦ください。間違ってる記述があった場合は突っ込みください。 擬似乱数とは何か 計算機は単体では厳密な意味での乱数を生成することができません。実際には一様に分布する乱数の集合を算術的に求めている場合がほとんどです。 その乱数の集合は以下を満たす必要がありますが、そういう小難しいことは偉い人に任せて、巨人の肩に乗って解決してしまえば良いでしょう。 偏りがなく一様に分布している 途中の出力から未来が予測しづらい 高速に算出できるか つまり？ 色々な疑似乱数生成法がありますが、多くの場合、 馬鹿でかい乱数の循環リストがある と考えるとわかりやすいで
jQuery Core 1.9 Upgrade Guide
jQuery Core 1.9 Upgrade Guide Overview jQuery Migrate Plugin Changes of Note in jQuery 1.9 .toggle(function, function, ... ) removed jQuery.browser() removed .live() removed .die() removed jQuery.sub() removed .add() .addBack( selector ) replaces .andSelf() .after(), .before(), and .replaceWith() with disconnected nodes .appendTo, .insertBefore, .insertAfter, and .replaceAll Ajax events should be
bfcache について覚えて帰ってもらいます。
【追記】 「mixiページ」サービス終了に向けてのスケジュールは、2020年8月31日に全てサービス提供終了としていましたが、以下の日程に変更します。 ・2020年9月7日11時頃 モバイル版mixiページ終了 ・2020年9月14日11時頃 PC版、スマートフォン版mixiページ終了 終了時刻は前後する場合がございます。 ダウンロード機能はPC版スマートフォン版mixiページ終了と同時の2020年9月14日11時頃に終了いたしますので、「mixiページ」データのダウンロードをご希望の方は、お早めにダウンロードをお願いします。 以上、どうぞよろしくお願いいたします。 【追記】 終了予定の「mixiページ」とは、SNSmixi全体の中の一部特定サービスの名称でございます。 SNSmixiの全てが終了するわけではございません。2020年8月31日以降も引き続きSNSmixiはご利用いただけます
[新iPad2/iPhone5 対応版] アプリ作ったら用意する画像サイズの一覧 : 管理人@Yoski
新しい iPad もリリースされて、用意すべき画像サイスがわけわからなくなってきたのでチト整理しときますね。 ※2012/9/13 iPhone5 対応追加 アプリ作ったら用意する画像のサイズ一覧（保存版） - iPhone/iPad アプリアイコン * 57x57 * 114x114 (@2x) * 72x72 (iPad用だけどiPhoneアプリでも用意するべき) * 144x144 (@2x)(iPad用だけどiPhoneアプリでも用意するべき) * 29x29 (検索結果用 - 必須ではない) * 58x58 (@2x)(検索結果用 - 必須ではない * 50x50 (必須ではない。iPad 対応してなければ不要) * 100x100 (@2x)(必須ではない。iPad 対応してなければ不要) * 512x512 (アプリ申請時に必要) (@2x)とついてるものは、ファイル名を x
仕事で開発できたから普及した、Rubyを踏み台にしてほしい - Ruby作者 まつもとゆきひろ氏
世界で愛されるプログラミング言語Rubyの作者まつもとゆきひろ氏。その開発メンバーも約半数は海外。仕事として開発できたから今のRubyがあると、まつもと氏は言う。そして、Rubyを自分の技術力やツールを発信するための踏み台に活用してほしいと語る。 Rubyコミュニティーはどのように活動しているのですか。 ソースコード変更の権限を持つコミッターは90人弱います。日本人は約半分で、他は海外にいる方です。ただし、Ruby本体を開発している人の他にも、ライブラリを開発している人や、さまざまなOSへの移植や検証を担当している人、ドキュメントを整備してくれている人もいます。その中で、本当にコアの部分を開発しているのは5～6人。それは全員日本人です。 Rubyには毎日10～20件のコミット（変更）があります。全部は見切れないですね（笑）。最近は自分自身でRubyを直すことはほとんどなくなりました。自分が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
