タグ

ブックマーク / www.ne.jp (1)

  • WebHDFS APIメモ(Hishidama's Hadoop WebHDFS REST API Memo)

    使い方 REST APIなので、コマンド(URI)をブラウザーのURL欄に入力したり、wgetやcurlコマンドを使うことで実行する。 $ wget "http://ネームノード:50070/webhdfs/v1~" $ curl "http://ネームノード:50070/webhdfs/v1~" 接続先のサーバーはNameNode、ポート番号はHDFSのポート(CDH3のデフォルトなら50070、EMRなら9101)。 (ブラウザーから「/webhdfs/v1」を付けずに「http://ネームノード:50070」にアクセスするとHDFSの状態を見られる画面が開くが、そのポート番号と同じ) wgetを使うとファイルが作られる。 URIを元にファイル名が決まるので、ファイル名に「?」や「&」が含まれてしまう。「-O」オプションで出力ファイル名を指定した方が良さそう。 curlだとボディー部の

  • 1