Notes of upgrading from CDH4.1 to CDH4.4 | 外道父の匠
ついつい CDH4.1 から CDH4.4 にアップグレードしてしまいましたので、手順を省いて注意点などを記しておきます。 機能的には What’s New in CDH4.4.0 まで見てもメリットよりリスク不安の方が高いのですが、Hadoop新担当者の運用鍛錬という名目でゴリッとやってもらって、私はその後ろで煽ってました。 手順について How to upgrade from CDH4.0 to CDH4.1 for Debian | 外道父の匠 と流れは同じで、 ジョブを止めて Hadoopを止めて アップグレードして Hiveメタストアを更新して 再開して動作確認する（ログ保存／ジョブ） だけなので難しいことは特にありません。 QJM HAも特になにもなかったです。 なので、細かいメモだけ書いておきます。 NameNode WARNログ 挙動に支障はないのですが、読み書き両方ともに
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編）
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編） 基幹システムをクラウドで実現する。その過程でどのような技術を用い、どのような苦労があったのか。小売り流通業である西鉄ストアの基幹システムをAmazonクラウド（以下、AWS：Amazon Web Services）の上で実現したノーチラス・テクノロジーズが、その詳細について紹介したセミナーを5月15日、アマゾンジャパン本社のセミナールームで開催しました。 大規模システム開発の現状、Hadoopの可能性、クラウドのメリットとデメリットなど、参考にすべき多くの内容が語られたセミナーでした。この記事ではその概要を紹介します。 止まってはいけない基幹システムをクラウドへ ノーチラス・テクノロジーズ 代表取締役社長 神林飛志氏（写真中央）。 西鉄ストア様の本部基幹システムをクラウドへ移行する
Hiveのロゴについての豆知識
hcj2013wお疲れ様でした。 Ust録画や講演資料は殆ど公開されているようです。 特別企画として、NHNのなんとかモリスさんという方と、TreasureDataのりぴーなんとかさんという方がClouderaをスポンサーにつけてHiveTシャツを作ったそうで、私も1着いただきました。懇親会でHiveの愛を語ると戴けるという体を取っていたのですが、私はキーノートの前に戴いてしまったので、ここでHiveの愛を語ってみようと思います。 まず、Hiveがキモイキモイと言いますが、デザインデータはきちんと作られているのでやっつけで作ったようなものではないのですよ。イラストレーターのファイルを見てみましょう。パスできちんと作られている事がわかります。（あ、以下の画像はCS6です。キリッ） ちなみに、みなさんおわかりかと思いますが、Hiveの顔はHadoopの顔をそのまま使っています。 ね。Hadoo
Hadoop Conference Japan 2013 Winter にいってきた＆しゃべってきた - たごもりすメモ
Hadoopについてのイベントがあったのでいってきた。なんと東京ビッグサイト！ ソフトウェアのユーザ会主催のイベントで東京ビッグサイトとかすごすぎる*1。主催の方々はお疲れさまでした。 http://hcj2013w.eventbrite.com/ しゃべってきた Log analysis with Hadoop in livedoor 2013 from SATOSHI TAGOMORI Ust録画がこちら: http://www.ustream.tv/recorded/28693167 今回は発表は公募だったので思わず申し込んでしまっていたら通った。ので、自分がつくっているアクセスログ集計システムの全体像について、初期の構造から現在の状態までの変化を俯瞰する形で解説してみた。あれこれ順番に手を入れながら現在の状態にしていったんだけど、そこにどんな理由があったのか、どんな方針でやっていた
世界初！ Hadoopとの連携を実現したCOBOL「NetCOBOL V10.5」を販売開始 : 富士通
PRESS RELEASE 2012年12月5日 富士通株式会社 世界初！ Hadoopとの連携を実現したCOBOL「NetCOBOL V10.5」を販売開始 並列分散処理により、バッチ処理時間を従来の約18分の1に短縮 当社は、COBOLバッチアプリケーションをApache Hadoop（注1）で並列分散処理し、バッチ処理時間を大幅に短縮する機能を追加したCOBOL開発・運用ソフトウェア「NetCOBOL V10.5」を、本日より販売します。 本製品は、Hadoopとの連携を実現した世界初（注2）のCOBOL開発・運用ソフトウェアです。「NetCOBOL」で開発したバッチアプリケーションや他社のCOBOLで開発されたバッチアプリケーションを、再コンパイルによりHadoopで並列分散処理できるため、お客様は既存のCOBOLデータやアプリケーションに手を加えることなく、バッチ処理時間を大幅に
Hadoop SecondaryNameNodeのメモリ不足エラー | 外道父の匠
少々可愛がり方が足りなかったのか、SecondaryNameNodeでメモリ不足が発生して、機能が停止してしまいました。 その際の調査や修復の記録になります。 SecondaryNameNodeのおさらい SNNの機能を復習するとこんな感じ。 SNNが定期的にNameNodeからfsimageとeditsログを取得する SNNでfsimageにeditsを適用する NameNodeにfsimageを送り返す NameNodeとSNNにデフォで2世代分のfsimageが残る NameNodeのedits_inprogressがeditsにローテートされて新しいedits_inprogressが始まる 障害内容 現象 SNN起動時は正常にfsimageを送り返してるように見える period秒後の2回目以降はNameNodeに接続しようとすらしない SNN管理画面 http://localho
ApacheがGoogleのリアルタイムビッグデータツールDremelのオープンソースクローンDrillを
When Alex Ewing was a kid growing up in Purcell, Oklahoma, he knew how close he was to home based on which billboards he could see out the car window.…
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop Conference Japan 2014