Writing files to Hadoop HDFS using Scala
If you’ve been wondering whether storing files in Hadoop HDFS programmatically is difficult, I have good news – it’s not. For the purpose of this example i’ll be using my favorite (recently) language – Scala. Here’s what you need to do: Start a new SBT project in IntelliJ Add the “hadoop-client” dependency (Important: You must use the same version of the client, as is the version of the Hadoop ser
HDFSでMissing blocksが出た場合、DataNodeに問題があって外したい場合の対応メモ - たごもりすメモ
手元でちょっとやったのでメモっとく。 Missing blocksが出た場合 HDFSのブロックが読めなくなることがある。手元ではHoop Server経由でappendが高頻度で発生している状況で、さらにHiveのクエリ実行が重なって派手にiowaitが出たときに起きた。 こうなると、そのブロックを含むファイルをMapReduceジョブが読みにいったときにIOErrorでコケてどうにもならなくなる。 状況は以下のコマンドで確認できる。 $ hadoop dfsadmin -report Configured Capacity: 35339596017664 (32.14 TB) Present Capacity: 33745796892986 (30.69 TB) DFS Remaining: 13764055724032 (12.52 TB) DFS Used: 19981741168
HDFSシェルコマンド一覧 | mwSoft
概要 HDFSをコマンドラインから操作する際に使える引数の一覧です。 下記のページを参考にしています。 HDFS File System Shell Guide http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html ls / lsr lsはLinuxなどのlsコマンドと同じ、指定ディレクトリのファイルの一覧を表示する。 $ hadoop fs -ls /user/hdfs Found 1 items drwxr-xr-x - hdfs supergroup 0 2011-11-11 01:35 /user/hdfs/sample ディレクトリを指定しない場合は/user/${ユーザ名}を見に行く。 ディレクトリが存在しない場合は、以下のようなエラーになる。 $ hadoop fs -ls ls: Cannot access
Apache Hadoop 2.5.0 セットアップ手順 その1 – ローカル実行からシングルノードクラスター起動まで – hrendoh's tech memo
Apache PigなどHadoopも含めて関連技術を勉強中なので、MapReduceモードでPigを動作させるためにHadoopをセットアップしてみました。 通常、オンプレにHadoop環境を構築する際は、Apache Hadoopではなく、ClouderaやHortonworksなどのディストリビューションを利用した方が良いですが、まずはApache Hadoopをインストールして実行を確認してみます。 今回は、Ubuntu 14.04上にHadoop 2.5.0をシングルノードクラスター(疑似分散モード)としてセットアップしてMapReduceのサンプルを実行するまでの手順を試した際のメモになります。 ほぼ、公式ドキュメントApache Hadoop 2.5.0 – Hadoop MapReduce Next Generation 2.5.0 – Setting up a Singl
HDFSのデータ構造 | Hadoop Advent Calendar 2016 #03 | DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 3日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はMapReduce応用編ということで、MapとReduce以外の処理を制御する方法を紹介しました。 今回はHadoopを構成するコンポーネントであるHDFSについて記載させていただきます。 HDFSとは HDFSとはHadoop Distributed File Systemの略で、Hadoop上で利用される分散ファイルシステムとなります。 Hadoopを特徴付ける一つの要素となっており、通常のファイルシステムとは異なる点がいくつかあるためその仕組みと注意点について書かせていただこうかと思いま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
hadoop No FileSystem for scheme: file
Apache Spark ことはじめ(Scala版) - Qiita