タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

HDFSとdaskに関するtanakamaのブックマーク (1)

  • (翻訳)PythonからHadoop file system (HDFS)へのネイティブ接続 - Qiita

    始めに:pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 翻訳元: Native Hadoop file system (HDFS) connectivity in Python 2017/1/3 これまで、Hadoop File SystemことHDFSとのやりとりするためのPythonライブラリが数多く開発されてきました。HDFSのWebHDFSゲートウェイ経由のものもあれば、ネイティブのProtocol BufferベースのRPCインターフェースもあります。このポストでは、既存のライブラリの概要をお伝えし、Arrowのエコシステム開発の中で高パフォーマン

    (翻訳)PythonからHadoop file system (HDFS)へのネイティブ接続 - Qiita
  • 1