HDFSでMissing blocksが出た場合、DataNodeに問題があって外したい場合の対応メモ - たごもりすメモ
手元でちょっとやったのでメモっとく。 Missing blocksが出た場合 HDFSのブロックが読めなくなることがある。手元ではHoop Server経由でappendが高頻度で発生している状況で、さらにHiveのクエリ実行が重なって派手にiowaitが出たときに起きた。 こうなると、そのブロックを含むファイルをMapReduceジョブが読みにいったときにIOErrorでコケてどうにもならなくなる。 状況は以下のコマンドで確認できる。 $ hadoop dfsadmin -report Configured Capacity: 35339596017664 (32.14 TB) Present Capacity: 33745796892986 (30.69 TB) DFS Remaining: 13764055724032 (12.52 TB) DFS Used: 19981741168
完全分散モードのHadoop NameNode導入（Ubuntu10.04、CDH3） | mwSoft
概要 ここでは完全分散モードでHadoopのNameNodeとDataNodeを導入して、分散してデータを保存できるようにしてみます。ClouderaのCDH3を利用。 最低でも2台（できれば3台以上）のパソコンが必要になります。 JobTrackerとTaskTrackerの導入についてはこちら。 利用するPCについて NameNode（HDFS親）はDataNodeがどういった情報を記録しているかをメモリ上に持って管理しています。CPUの性能はそれほど必要ありませんが、メモリが足りなくなるとデータを増やせなくなります。 とは言っても、細かいファイルを大量に生成したりしなければ、512MBも割り当てておけば数十TBのデータを余裕で扱えてしまうので、自宅で使う分にはその辺の安物のPCで十分だったりします。 DataNodeはHDDの容量が多ければそれだけ多くのデータが扱えるようになりますし
C++ の、スマートだと思う人がいるかもしれないコードの書き方12選のつもりが6個ぐらいで断念 - Qiita
1. 括弧の省略 if, while, for の括弧を省略する人はたくさんいるけど、switch も省略できるよ。 #include <iostream> using namespace std; char const * less_bracket(int n) { switch(n) if(false) case 0: return "zero"; else if(true) case 1: return "one"; else case 2: return "two"; } int main() { cout << less_bracket(0)<<" " << less_bracket(1)<<" " << less_bracket(2); } // 「zero one two」と出力
CentOS 上で Vagrant を導入するまでのメモ（CUI） - Qiita
GNOME 等 GUI が動作する環境での Vagrant 導入までの手順については, 様々なサイトで説明されていた. しかしながら, CUI での Vagrant 導入までの日本語の手順は少なかったのでメモする. というのも, まず, CUI での VirtualBox 導入までのドキュメントが少なかった. （もともと, GUI で Linux を扱うことがなかったので, これから X Window 入れて, っつーことが面倒くさかった.） やってみてわかったことは, VirtualBox をインストールできればよいということ. インストールしてしまえさえすれば, 自分で VM を起動できなくても vagrant が VM を起動してくれるし, vagrant のインストールはとても簡単である. % cat /etc/redhat-release CentOS release 6.4 (
ターミナルにリッチなモニターを表示させる
B! 510 0 0 0 以前、 sparkという シェルスクリプトで棒グラフを表示するコマンドを紹介しましたが、 さらに複雑なグラフや地図などもターミナルに表示してしまおうと言う プロジェクトの紹介。 blessed-contrib termui wopr ブラウザに表示させる blessed-contrib nodeがインストールされている必要がありますが、 nodeが入っているなら取り敢えず $ git clone https://github.com/yaronn/blessed-contrib.git $ cd blessed-contrib $ npm install $ node ./examples/dashboard.js を実行してみてください。 ターミナル上に こんな感じのものが表示されると思います。 追記: 2015/11/30 上のgifはGNU screenを立
Red-Black Tree by Java -- これで分かった赤黒木
このページは、マップと呼ばれるデータ構造の実装の１つである赤黒木 (２色木、red-black tree)について解説するページです。赤黒木は、要素の 挿入・削除・検索などの操作が \(O(\log n)\) の計算量で実行出来る平衡木 です(\(n\) は要素数)。赤黒木はやっていることは単純なのですが、とにかく 場合分けがたくさんあって、習得しようとしながらもくじけてしまった人も 多いのではないでしょうか？ しかし、ご安心ください。このページは場合分けを出来るだけ減らし、 挿入操作で４パターン、削除操作で８パターンさえ理解すれば赤黒木が分かる ように書かれています。削除操作に関しては、左右対称のパターンを省けば ４パターン理解すればおおむね OK です。これから赤黒木を勉強しようという人 はもちろん、一度は勉強したが挫折してしまったという人も是非とも読んでみて ください。 【準備】 ま
2. Maven 入門
2006.05.31 株式会社四次元データ 鈴木 圭 Maven 2章 Maven 入門 2.1. Maven のアーキテクチャ 2.2. Maven の実行 2.3. プロジェクトの作成 2.4. pom.xml について 2.5. コンパイル 2.6. ユニットテスト 2.7. ドキュメンテーション 2.7.1. Javadoc の作成 2.7.2. サイトの作成 2.8. JAR ファイルの作成 2.9. ローカルリポジトリへのインストール 2.10. リモートリポジトリへの配備 2.11. プロジェクトのクリーン 2.12. まとめ 今回は、Maven を使った開発の流れを掴んでいただくために、実際にプロジェクトを作成しながら説明をしていきます。 注意として、Maven は必要に応じてプラグインを自動的にダウンロードする仕組みをとっています。そのため、Maven を使用するときは基
中古のLet's noteは狙い目か！？ CF-S10CWHDSを入手＆換装してみた - ウィモバの日々
持ち運びするのに、お安く買える軽量ノートPCを！ということで色々と物色していたけど やっぱり安いのはなーんか物足りないんだよねー、みたいな。レノボはSuperFishでやっぱり・・・という感じだし 国産でもレッツノートやVAIO PRO11とかLavieZは実際800g以内で軽いけど、結構お高いし・・・ そんな時にヤフオクの中古で見つけて興味を持ったのがこれ。 Let's note S10 CF-S10CWHDS http://kakaku.com/item/K0000258740/spec/ http://www.inversenet.co.jp/pclist/product/Panasonic-note/CF%252DS10CWHDS.html 2011年05月発売。重量は1.34Kgという軽さ！ いやまあASUSの0.98Kg(Atom)や1.2Kgシリーズよりは微妙に重いけど、そ
Excel2007-10: 平均・分散・標準偏差
振動実験におけるグラフの例 10 回分のグラフを描いてみる 平均と標準偏差を図示してみよう 金丸隆志「理系のためのExcelグラフ入門」好評発売中です グラフの例 本ページの目的は、平均と標準偏差の使いどころを理解することであるが、 そのために、再び「振動実験」のグラフを描くことを例にとろう。 まず、excel_data00.xls というファイルをダウンロードし、各自のマイドキュメントに保存してほしい。 (マウス右クリックから「対象をファイルに保存」が確実。) その後、ファイルをダブルクリックすると以下のようなデータが現れる。 振動実験では、入力振動数を増加させたときと減少させたときで二回データを とってもらった。 下のデータは、これを５チームぶん全て集めたものである。 どのようなグラフだったか思い出すため、２回分のデータだけグラフを描いてみよう。 「入力振動数」「１回目」「２回目」のデ
データ解析のための統計モデリング入門 GLMの応用範囲をひろげる - Qiita
ロジスティック回帰やポアソン回帰のオフセット項わざ，正規分布やガンマ分布を使うGLMを扱う． さまざまな種類のデータを応用できるGLM 確率分布・リンク関数・線形予測子の組み合わせによって，GLMで様々なタイプのデータを表現できる． Python内でのGLM構築に使える確率分布の一部 乱数生成はscipy.stats.X，glm()のfamilyはstatsmodels.api.families.Xで指定する． | |確率分布 |乱数生成|glm()のfamily指定|よく使うリンク関数| |:-:|:-:|:-:|:-:|:-:|:-:| |（離散）|二項分布|binom.rvs()|Binomial()|logit| | | ポアソン分布 | poisson.rvs() | Poisson() | log | | |負の二項分布|nbinom.rvs()|NegativeGaussi
matplotlibでヒストグラムのグラフを作成する その２
matplotlibでヒストグラムのグラフを作成する（別記事）の延長。 ヒストグラムとは、ある区間（ビン）に属するデータの数（頻度、度数）を数えた数列である。 異なる点は（データの内容が未知で）最小値・最大値が不明であるという点。 つまり、グラフの横方向の変域が不明ということ。 さらに言い換えると、Rangeを指定せずに、ビンの幅だけを指定してヒストグラムを生成する。 【実現方法】 matplotlib.pyplot.hist（公式API）を使う。 返り値は(n, bins, patches) のタプルなので、A, B, C = pyplot.hist()とでもすれば取得できる。 ここで、 n : 縦軸の値の数列 bins : 横軸の区切りとなる座標（各ビンの始点） patches : patchの集合。patchとは何かはココを参照。 とここまでは、前記事と同じ。 【サンプルコード】 T
XMLはもう不要!? Google製シリアライズツール「Protocol Buffer」 (1) 構造化データをバイト列に変換するための新技術 | マイナビニュース
Protocol Bufferとは Protocol BufferはもともとGoogle社内で利用されていた技術/ツールだ。今月7日にApache Software License 2.0の下、オープンソースソフトウェアとして公開されたばかりで、本稿執筆時点の最新バージョンは2.0のβ版。正式リリースが2008年8月に行われる予定だ。 Protocol Bufferは、一言で言うと、構造化データをバイト列に変換(シリアライズ)するソフトウェアである。プログラム言語中で用いられるデータ構造をファイルに保存する際や、RPC(Remote Procedure Call)でデータをやり取りする際などに用いられる。 同様の目的で用いられる技術としては、XMLやJavaのオブジェクトシリアライズなどが挙げられる。ただし、Protocol Bufferは、そうした類似技術と比較して、以下のような特徴を備
新しいRPCフレームワーク、gRPCをGoで試してみる。
みなさん、今年の2月末にGoogleが発表したgRPCをご存知でしょうか？gRPCとは、こちらも今年の5月にRFCとして公開されたばかりのHTTP/2を標準でサポートした新しいRPCフレームワークであり、効率的で拡張性の高いAPIや最近流行のマイクロサービスの作成をサポートします。本記事では、Goでのサンプルアプリケーションの作成を通してこのgRPCの通信を試してみようと思います。 gRPCの概要 図1.gRPCの全体像(http://www.grpc.io/docs/より転載) gRPCのサーバーとクライアントはお互いに様々な環境（Google内部のサーバーから、各自のデスクトップ環境まで）で通信でき、gRPCがサポートしている言語（C++, Java, Go, Python, Ruby, Node.js, Android Java, C#, Objective-C, PHP）で書くこと
Protocol Buffers Java RPC Stack
According to this Wikipedia entry: "Protocol Buffers is very similar to Facebook’s Thrift protocol, except it does not include a concrete RPC stack to use for defined services. Since Protocol Buffers was open sourced, a number of RPC stacks have emerged to fill this gap." However, there are no examples of RPC stacks cited. Can anyone suggest a Java-based implementation of an RPC stack?
GitHub - sdeo/protobuf-socket-rpc: Java and Python protobuf rpc implementation using tcp/ip sockets.
Google謹製、Protocol BufferのRPCについてのサンプル。 - IT-Walker on hatena
書きたい事を溜め込んでいたので、今日は長文エントリをもう一発です。 こないだ、GoogleのProtocol Bufferについて、マイコミジャーナルで記事を書きました。 で、その記事中でProtocol BufferのRPCサポートについて言及しているのですが、その際作ったサンプルがあまりに冗長な実装なので、さすがに掲載は控えておきました。Javaによるソケットプログラミングを直接行っており、説明には不適だったもので・・・ でもせっかく作ったサンプルなので、一応貼付けておきます。このサンプルを動かすには、以下の順序で作業してください。 Person2.protoを作業フォルダに保存 mkdir java 「protoc --java_out java Person2.proto」で、Javaソースコード生成 作成したjavaディレクトリに、下のコード（HelloRpcServer.jav
Javaネットワークプログラミング講座 ：Protocol Buffers 後編 | Acroquest Technology 株式会社
前回はProtocol Buffersの基本中の基本として、protoファイルの作成と、コードの自動生成、簡単なプログラムの動作を確認しました。 person.protoから自動生成されたクラスを使うことで、Personクラスの情報を簡単にファイルに読み書きできたのを実感できたと思います。 今回は、さらに一歩踏み込んでProtocol Buffersの本来の使い方である、通信処理を利用してみましょう。 Protocol Buffersでは通信手段としてRPC機能を提供しています。今回はこのRPC機能を使います。 ※RPC（Remote Procedure Call、リモートプロシージャコール）という単語を聞きなれない人もいるかもしれません。 簡単に説明するとプログラムから別のコンピュータにあるメソッドの呼び出しと、通常のメソッド同じように行うための技術です。 RPCを使えばネットワークプロ
Spark徹底入門 #cwt2015
Spark徹底入門: Introduction to Apache Spark Cloudera World Tokyo 2015での発表資料です http://clouderaworld.tokyo Read less
【 基礎調査 】複数のセンサ感覚データ（特徴量）を統合して、「マルチモーダル学習」（マルチモーダル特徴量）を得るための手法いろいろ - Qiita
【 基礎調査 】複数のセンサ感覚データ（特徴量）を統合して、「マルチモーダル学習」（マルチモーダル特徴量）を得るための手法いろいろMachineLearning機械学習人工知能DeepLearningディープラーニング 複数のセンサ感覚データ（特徴量）を統合して、「マルチモーダル学習」（マルチモーダル特徴量）を得るには、複数の手法があるようです。 本記事では基礎調査として、それぞれの手法の分析実例について、Google 検索 で見つかった公開 先行研究論文 を引用することで、発見された手法の仕組み（アルゴリズム）と その使い方（複数の特徴量 どうしの統合手順）をまとめていきます。 （ 設問 ） 複数の特徴量データ（個々の感覚情報）を、どのような方法で、統一的な全体的な１つの特徴量に 統合するのか？ １．Slow Feature Analysis （SFA） を 階層的に 重ねる方法 西川
Coursera Machine Learningの課題をPythonで: ex6 (SVM パラメータの調整法) - Qiita
はじめに CourseraのMachine Learningクラス(Andrew Ng先生)の課題をPythonで実装するシリーズ。 ex6ではサポートベクターマシン(SVM)を使った分類をやります。 線形SVM まずは線形（カーネルなし）SVMです。scikit-learnでは、機械学習のモデルのインタフェースが統一されており、どんなモデルでもインスタンスを作ってから model.fit(X,y) で学習できます。線形回帰であろうがロジスティック回帰であろうがSVMであろうが同じ文法になります。SVMはsklearn.svm.SVC()クラスを使います。 コードはこちら。 いつもと同じように、scipy.scio.loadmatを使ってMatlab形式のデータを読み込み、学習を実施します。 import numpy as np import matplotlib.pyplot as pl
qiitaの新着記事をslackで読む 〜 RSSリーダ - Qiita
#はじめに Slackを遅まきながら使ってみた のでなにかしたかった のです。 単純な使い方をしたかったので、slackbotの/feedからやってみました。 #feedを追加 ##(1)チャンネルを追加 ##(2)feedを追加 /feed feedのパス タグ /feed http://qiita.com/tags/[タグ名]/feed.atom 個人 /feed http://qiita.com/[ユーザID]/feed #他にも使えそうなfeed Free版だと使えるintegrationが5個までなので、代替ができればそちらの方がいいのかも ##github https://github.com/{username}/{repo}/commits/master.atom https://github.com/{username}/{repo}/commits/{branch-na
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop YARN – mapred-site.xmlの設定 – OpenGroove
JDK Update
http://python.dogrow.net/?m=201408
GitHub - pjklauser/protobuf-rpc-pro: A java implementation for Google's Protocol Buffer RPC services.
IBM Developer
Finagle | Blog