PythonからHDFSを操作する - 偏った言語信者の垂れ流し
HadoopのHDFS(分散ファイルシステム)にはWebHDFSというREST APIがあり、HTTPで操作できる。 WebHDFS REST API Pythonからこれを簡単に使うためのモジュールを探したところ、PyPIでWebHDFS、pywebhdfsの2つを見つけた。 WebHDFS 0.2.0 : Python Package Index pywebhdfs 0.4.1 : Python Package Index WebHDFSという名前のモジュールは、RENAMEとAPPENDの操作に対応してなくてコードもイマイチ。 pywebhdfsのほうはrequestsモジュールを使ってきれいに作られていて、ドキュメントもある。これが良さそう。 pywebhdfs 0.2.2 documentation — pywebhdfs 0.2.2 documentation pywebhdf
python開発環境の構築から作成したeggを別環境へインストールするまで — ExSoft
動機 pythonを使い始めるにあたり、単体のスクリプトを書くことはすぐにできます。 pythonをインストールして、pyスクリプトを書いて実行するだけです。 pythonのダウンロードはこちら http://www.python.org/download/releases/ スクリプトを書く (例:myscript.py) #!python #coding:utf-8 print "exsoft!" スクリプトの実行 python myscript.py 素敵なコードが書けたら、別の環境でも再利用したくなります。 コードが小さい内は、スクリプトファイルをそのままコピーしても良いですが、 スクリプトファイルの数が増えてきたり、他の人に配布したりする場合、それでは不便です。 pythonではモジュールの配布方法として、eggという拡張子のzipファイル(javaのjarファイルと同じ)を利用
.gitignoreの使い方メモ – taichino.com
備忘録です。まず毎回.gitignoreを作成するのは面倒なので、グローバルな設定ファイルとして作成します。保存場所はどこでも良いですが、以下の場合はホームディレクトリの直下に.gitignoreを作成します。 $ git config --global core.excludesfile ~/.gitignore 共通.gitignoreの内容ですが、僕の活動範囲だと以下のようになりました。プロジェクトに固有の条件は、プロジェクト以下の.gitignoreに記述する形になります。 # general .DS_Store *.zip *.tar.gz *.exe *.bz2 .hg/ .gitignore # backup *~ *.bak # gnu global GPATH GRTAGS GSYMS GTAGS # c/c++/objc a.out *.o *.a # python *
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://ja.doukaku.org/
