（翻訳）PythonからHadoop file system (HDFS)へのネイティブ接続 - Qiita
始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 翻訳元： Native Hadoop file system (HDFS) connectivity in Python 2017/1/3 これまで、Hadoop File SystemことHDFSとのやりとりするためのPythonライブラリが数多く開発されてきました。HDFSのWebHDFSゲートウェイ経由のものもあれば、ネイティブのProtocol BufferベースのRPCインターフェースもあります。このポストでは、既存のライブラリの概要をお伝えし、Arrowのエコシステム開発の中で高パフォーマン
HDFSのマウント - kikumotoのメモ帳
Hadoop Wiki に MountableHDFS というのがあり、HDFS をマウントできるようなことが書いてあるので試してみたので、それをメモしておく。 いくつか実装があるようだけど、今回試したのは fuse-dfs というもの。こちらのサイトも参考にさせていただいた。 gcc, gcc-c++ とか ant とかいったコンパイル環境はすでに整っているものとする。とりあえず、/home/hadoop/.bashrc に以下のような記述をしてある。 export JAVA_HOME=/usr/java/latest export ANT_HOME=~/apache-ant-1.7.1 export PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$PATH まず、FUSE が必要なので、ビルド・インストールしておく。 $ tar xzf fuse-2.7.4.ta
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
API — hdfs3 0.3.0 documentation