AWS Lambda Pythonをローカル環境で実行 | DevelopersIO
AWS Lambda を開発する際には コードを書く Zip で固めてアップロードする サンプルイベントをインプットに Lambda 関数をテスト実行する CloudWatch Logs でログを確認してデバッグ というフローが発生します。 コード修正のたびにこのフローをたどるのはなかなか手間です。 そこで今回は python-lambda-local を使ってローカル環境で AWS Lambda Python の実行環境をエミュレートし、Lambda 関数を実行する方法について解説します。 以下のようにライブラリーパス(-l)、ハンドラー(-f)、タイムアウト(-t)、プログラム、(test.py)、入力イベント(events.json) を指定すると、Lambda 関数をローカル環境で実行できます。 $ python-lambda-local -l lib/ -f handler -t
私が選ぶ2015年の”新しい”Pythonモジュール トップ5 | POSTD
最近、このモジュールを妻に紹介したところ、そのシンプルさと実用性に驚いていました。 joblib joblibの存在は以前から知ってはいたものの、実際のところはよく理解しておらず、いろいろな機能を寄せ集めたようなモジュールだと思っていました。まあ、その印象は今もあまり変わりませんが、実は非常に便利なモジュールだったのです。私は Flowminder の同僚から再度joblibを勧められて、このモジュールをデータ分析用のコードに幅広く使用しました。では、その機能について紹介しましょう。joblibは大きく分けて、 キャッシング 、 並列化 、 永続化 （データの保存と読み込み）の3つの機能から成ります。実を言うと、私はまだ並列プログラミングの機能は使ったことがないのですが、あとの2つの機能は頻繁に使ってきました。 キャッシング機能とは、シンプルなデコレータを使って、関数を簡単に”メモ化”する
Amazonギフト券の安値情報をPythonでWebスクレーピング＆Rで解析 - Qiita
#アマオクでいかに安くAmazonギフト券を手に入れるか 皆さまはアマオクというサイトをご存知でしょうか？Amazonギフト券を売買できるサイトで、大体5～10%程度の割引率で取引されています。 このサイトで、できるだけお得にギフト券を買うにはどうしたらよいのか？例えば火曜日は割引率が良い、２５日近辺は割引率が悪いなど何らかの傾向はあるのか？ 幸いなことにアマオクは過去の取引データを一般公開しています。この取引データをPython + Beautiful Soupでスクレーピングし、Rで解析したのが本記事の内容です。 先に結論を書きますと、以下になります。 額面と値引き率は関係がない 有効期間と値引き率は関係がない 現在は割高。92.5～95%になるのを待って買う。 どの曜日でも値引き率は変わらない どの日でも値引き率は変わらない 日中の方が他の時間帯より若干安い 環境 Windows 8
Jupyter Notebook（IPython）のインストールと始め方 - TASK NOTES
Jupyter のインストール方法と実行までの流れをまとめました。 Jupyter（IPython Notebook）とは 最近 Python を初めた方は、私もそうでしたが Jupyter と IPython Notebook の違いについて悩むことと思いますが結論から言うと同じです。元々が IPython Notebook という名前でしたが、最近では多言語の対応もしているため、Jupyter という名前に変更されています。 そもそも IPython とは強力なインタラクティブシェルであり、特に補完機能なんかはとても便利です。それをサーバーで立ち上げてブラウザ上で実行できるようにしたものが IPython Notebook になります。実行結果の画像をインラインで表示したり、履歴を保存しておくこともできますし、Markdownでテキストを表示することも可能です。簡単にトライアルアンドエ
ウェブベースのPython実行環境「jupyter」を使ってみた話 - モノクロタイム
2015-06-21 ウェブベースのPython実行環境「jupyter」を使ってみた話 python こんにちは，れいじです． 先日SSIIに参加した時，チュートリアルセッションとして以下の題目で発表がありました． コンピュータビジョンの最新ソフトウェア開発環境 SSII2015 チュートリアル hayashi from Masaki Hayashi C++とPythonを中心に画像処理プログラムを組むときのメリットやデメリットについても話をしていただきました． 私は基本研究に関するコードはC++で書いています．Caffeを選んだのもC++で使用できるという理由が一つとしてあります． ただCaffeに関して転がっている情報は大体Pythonで書かれていたり，サンプルプログラムはPythonで書いてあるので，Pythonもそこそこ読めると幸せになります． ということで，大学院の授業でPy
シンプルなジョブキューイング rq の紹介 | Borders Labs
あさとです。 今日はジョブキューイングを実現する rq という Python のライブラリを紹介したいと思います。 導入 pip でインストールできます。 $ pip install rq 別途、バックエンドで必要となる Redis をインストールしておく必要があります。 ジョブの作成 ...あさとです。 今日はジョブキューイングを実現する rq という Python のライブラリを紹介したいと思います。 導入 pip でインストールできます。 $ pip install rq 別途、バックエンドで必要となる Redis をインストールしておく必要があります。 ジョブの作成 今回は下記の様な実行時のエポックタイムを単純に返すだけのジョブを作成しました。 # myjob.py import time def ReturnEpoch(): data = time.time() return d
グローバルIPを取得してGoogleSpreadsheetsに書き出す - Qiita
import gdata.spreadsheets.client import gdata.spreadsheet.service import ConfigParser class mySpreadsheet: user = '' passwd = '' key = '' sheet_id= '' def __init__(self,config): inifile = ConfigParser.SafeConfigParser() inifile.read(config) self.user = unicode(inifile.get("google","username")) self.passwd = unicode(inifile.get("google","password")) self.key = unicode(inifile.get("google","spreadsh
開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
PythonによるDeep Learningの実装（Logistic Regression 編） - Yusuke Sugomori's Blog
前回の制約付きボルツマンマシン（Restricted Boltzmann Machine, RBM）編に引き続き、今回はロジスティック回帰（Logistic Regression）のコードを紹介します。 Deep Learningにおいて、ロジスティック回帰は最後の出力層で用います。途中の層でRBMにより特徴抽出を行い、最後にロジスティック回帰によりラベルを出力して学習を行います。 ソースは以下。 重み行列のWとバイアス項のbは、確率的勾配降下法（Stochastic Gradient Descent, SGD）により更新します。その際、L2正則化を導入することで、高周波のノイズを取り除き、過学習を防ぐことができます。また、多クラス分類に用いるため、sigmoid関数ではなく、softmax関数を使っています。 コードを実行すると、交差エントロピー誤差関数が返す値が減少していくのが分かるか
PythonによるDeep Learningの実装（Restricted Boltzmann Machine 編） - Yusuke Sugomori's Blog
機械学習の分野で最近話題になってきている Deep Learning。 Deep Learningでは、何層ものニューラルネットワークを用いて訓練・予測を行いますが、各層でそれぞれ学習を行い、段階的に特徴を抽出していくのがこれまでの機械学習手法と異なる点です。 最近の動向については、 Learning Deep Architectures for AI (Bengio 2009) で詳しくまとめられています。 今回は、Deep Learningにおける各層の学習で用いられている Restricted Boltzmann Machine （RBM, 制約付きボルツマンマシン）のコードを紹介します。 ソースは以下。 Referencesにも書いてあるように、RBMを含むDeep LearningのコードはDeepLearningTutorialsにあるのですが、theanoという特殊なpyth
PythonによるDeep Learningの実装（Deep Belief Nets 編） - Yusuke Sugomori's Blog
前回、前々回とそれぞれロジスティック回帰（Logistic Regression）、制約付きボルツマンマシン（Restricted Boltzmann Machine, RBM）を紹介しました。 手法の説明については、各記事を参照してください。 今回は、これら２つを組み合わせて実装されている Deep Belief Nets (DBN) について紹介します。今回のコードは長いので、記事の最後の方に載せています。 DBNは Greedy Layer-Wise Training of Deep Networks [Bengio 2007] で提案されている手法ですが、こちらがDeep Learningのパイオニアと言っても過言ではありません。 DBNは多層ニューラルネットワークの形をしています。従来の研究では、多層にするほど精度が下がるという問題が指摘されていましたが（多層のため誤差の重みが少
Let's Sooooo New !!! : 【Python】multiprocessing【メモ】
2012/4/1716:40 【Python】multiprocessing【メモ】 (初心者のメモなので参考にしないでください。また間違いがあれば指摘してください。) python2.6から標準ライブラリに入ったmultiprocessingについてのメモです。 とりあえずこのあたりを参考に。 http://www.python.jp/doc/2.6/library/multiprocessing.html http://www.python.jp/doc/release/library/threading.html ・threadingモジュールのように使える ・GIL回避 ・メモリ空間をコピーするのでオーバーヘッドがある ・引数はシリアル化（pickle）可能である必要がある ・マルチコアの有効利用⇔メモリ消費 ・プロセス多重化⇒IO効率化 インポートしてプロセスに投げるだけで簡単に
Python で HTTPリクエストを並列化 « Stop Making Sense
はじめに 以前、GAE/Python で HTTPリクエストを並列化 で HTTPリクエストの同時発行を試みましたが、制限だらけの GAE で出来るなら、普通のPCでも出来るはず！ ということで、いくつかの方法を試してみました。 GAE では google.appengine.api.urlfetch パッケージの非同期リクエストを使って簡単に実現出来ましたが、残念ながら urlfetch は GAE 専用なので同じ手は使えません。 ネットで検索すると gevent + urllib の組み合わせで出来ることが分かりましたが、同じ事をやっても面白くないので別の方法を探し PycURL に辿り着きました。 ということで、PycURL を使った方法から紹介し、その後で gevent と multiprocessing を使った方法も紹介します。 その１：PycURL を使う (PycURL の
Django と South と custom sql - まぁそんな日もあるさ
自前で create table したい Django を使っていて Django の ORM はそのまま使いたいんだけど、create table は自前で行いたい場合があります。 良くあるのは、partition 切りたい場合とか。 MySQL の range partition を使うには Primary Key を 複合Primary Key にする必要があるのですが、Djangoは 複合Primary Key を許可していません。 なので、そのような場合は自前で create table文 を書いて実行する必要があります。 class PartitionExample(models.Model): log = models.TextField(verbose_name=u'ログ') created_at = models.DateTimeField(verbose_name=u'
Pythonの全文検索ライブラリWhooshを触ってみた - メモ置き場
ほんとに触ってみただけですが、サンプルを書いてみました。 複数のフィールドに対するOr検索をかけるにはMultifieldParserが使えるようです。 実行結果 -- titleの部分一致 [[u'1000', u'\u30b8\u30e7\u30b8\u30e7\u306e\u5947\u5999\u306a\u5192\u967a']] -- idの完全一致 [] [[u'1001', u'\u30d5\u30a7\u30eb\u30de\u30fc\u306e\u6700\u7d42\u5b9a\u7406']] -- keywordsの一致 [] [[u'1002', u'\u521d\u3081\u3066\u306ePython']] -- contentの部分一致 [[u'1000', u'\u30b8\u30e7\u30b8\u30e7\u306e\u5947\u5999
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Writing Jython UDFs | Mortar Help & Tutorials
2to3を使ってコードをPython 3に移植する - Dive Into Python 3 日本語版
Charming Python: Functional programming in Python, Part 3
[Closed] ImportError: CentOS lacks a sem_open implementation · Issue #119 · overviewer/Minecraft-Overviewer
whooshのインデックス