Cloud Dataflow入門（Python SDK バッチ処理編）ver1.1 2017/11/18
Python の超お手軽のネットワーク分散コンピューティングライブラリSCOOP
SCOOPとは ssh とPython の設定を適切にするだけで、簡単にネットワーク間での分散処理が実行できる。 ネットワーク分散に対応していないライブラリに便利。 関数の処理を分散して行い、返り値をまとめて返してくれる。 Core 数に応じた Worker 数の設定が可能 Docker との相性が抜群 基本動作 python 標準の map 関数の使い方で ssh で繋いだ先(ノード)でも分散処理してくれる。multiprocessing.Pool.map のネットワーク処理に対応した版。 map 関数に配列を渡すと配列の各要素を引数に関数を実行する。その際の各処理を各ノードでマルチプロセスで実行して、ホストPCに変数を返す。 通信には pickle 化された情報を送信している。 ssh で接続先の通信用ポートを開けて、ポートの情報をホストに送って通信。--tunnelオプションを使えば
ホーム - CloneTracker
当社はCookieを使用して、お客様が当社のWebサイトでより良い体験を得られるようにしています。引き続き閲覧する場合は、プライバシーポリシーに同意したことになります。
Visual Studio CodeでPythonの開発環境構築を構築してみた。 | DevelopersIO
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 Pythonを開発するケースが出てきたので、O/S問わずに使えるVisual Studio Codeで環境を構築してみました。 目標としては、IntelliSenseが動くこと、Code Formatができること、Lintが動くこと、 pyenv環境のPythonが指定できること、Debugができること、 この辺りを調べてみたいと思います。 環境 OS : OSX El Capitan (10.11.4) Visual Studio Code : 1.5.2 Python : pyenv pyenv-virtualを用いてのバージョン切り替えを実施 参考: pyenv 利用のまとめ - Qiita 導入方法 導入の手順としては、以下のような流れになります。 PythonのVisual Studio Code拡張を導入する。 P
機械学習初心者が『Python 機械学習プログラミング』（速習コース）を読んだメモ - 無印吉澤
きっかけ この記事を書いた人のレベル 今回の読書プラン Python 環境の構築 インストール先の環境 Anaconda (Python 3) のインストール 科学計算に関するライブラリのインストール サンプルの実行に必要なライブラリのインストール サンプルの実行 サンプルコードを実行していて引っかかったところ 3章 12〜13章 Python の勉強 速習コースを読んでみた感想 きっかけ 機械学習の重要性は、それこそ「ビッグデータ」という言葉が出てきた頃からいろいろな人が訴えていますが、最近は特にツールが充実して、敷居が下がってきたように感じています。 そろそろ自分でも機械学習関係のツールを使えるようになりたいと思っていたのですが、そんなときに「具体的なコード例が多くて読みやすい」という本書の評判を聞いて、読み始めました。 Python機械学習プログラミング 達人データサイエンティストに
Pythonで作るWebクローラ入門
Pythonで作るWebクローラ入門の発表資料 https://pycon.jp/2016/ja/schedule/presentation/32/
Feedy(Python)でRSSフィードをいい感じに処理する - c-bata web
最近、RSSフィードをfetchしてゴニョゴニョ処理したいと思うことが多かったのですが、特に気にいるライブラリが無かった *1 のでFeedyというライブラリを作ってみました。 個人的には結構気に入っていて、便利に使えているので紹介します。 もともと欲しかった機能・特徴としては、 デコレータベースでシンプルに記述できる 当然、前回fetchした時間からの更新分のみの取得も可 RSSフィードのリンク先のhtmlも自動で取得して、好きなHTMLパーサ(個人的にはBeautifulSoup4)でいい感じに処理したい 具体的には↓のように記述します from feedy import Feedy feedy = Feedy('./feedy.dat') # 前回フェッチした時間とかを格納(Redisとかに自分で置き換えることも可能) @feedy.add('https://www.djangopa
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
