はてなブックマーク

Bokeh Plotting Backend for Pandas and GeoPandas. Contribute to PatrikHlobil/Pandas-Bokeh development by creating an account on GitHub. インストール pip install pandas-bokeh 使い方 最初にpandas_bokehの読み込みコマンドを実行します。今回はjupyter notebook上で使いたいので、ouutput_notebook としました。 import pandas_bokeh pandas_bokeh.output_notebook() plotをplot_bokehに変えるだけ Pandasをよく使っている人は、DataFrame.plot.bar()でチャートを書くことができることは知っていると思います。Pandas-B

GitHub is where people build software. More than 28 million people use GitHub to discover, fork, and contribute to over 85 million projects. python-highcharts のラッパー pandas の DataFrame や Series からお手軽に使える Jupyterからローソク足チャートを使いたいと思った時、色々試しましたが一番良かったのが Highcharts でした。それをできるだけ自分が使いやすいようにラッパーを書いたのがkanichartです。 Highcharts の良いところ JSなのでインタラクティブに操作可能 マウスオーバー時に数値を表示など細かいところが標準で充実 x軸を共有した際の動作が優秀 時系列解析には必須 pyt

プロジェクトが大きくなるにつれて、プログラムの不備を見つけるのにログの構成、ログデザインを考えることが重要になってくる。上手なログの書き方を覚えれば、プリントデバッグがとても用意になるので、習慣づける価値はある。 システムトレードの取引をしていると、サーバーの遅延や分散処理による非同期処理が増えて全体としてのフローが複雑になって、取引残高がずれた時の原因究明が容易ではなくなっていく。その時に、ログを上手に使ってトラッキングできるようにしておくと、不具合が起こった時の対処が楽になる。

Rust で Python の拡張ライブラリを書く なぜRustなのか この当たりを書いていると時間が無くなりそうなので、割愛したい。ただ、C++に馴染みのあるユーザーで高速に動作するコードを手っ取り早く書いていくにはRustが良さそうであるというのが自分なりの理解。特に、パッケージマネジャー当たりの優秀さはC++にはなくとても助かりそうである。メモリマネジメントもC++よりストレスレス。 PythonのAdventでRustなの？ Pythonのヘビーユースしだすと、C/C++ Extention を書いたり、Cythonなどを使って高速化していくことは特別なことではなくなる。そのひとつの選択肢として、これからはRustが良さそうだということで、勉強を兼ねて今回の記事を書くことにした。私自身はRustの初心者なので、間違っているところ等があればぜひご指摘いただきたい。 Rustのインスト

洋書を読んでいると、いつも読んだ気になってちゃんと理解出来てるか自信がないことが多いので、チャプターごとに要点をまとめて、理解を深めていきたい。 読んでいる本はこちら。金融素人の私にとっては、デリバティブについて深く学ぶいい機会にな...

まだググっても、構成例とか出てないので参考になるんじゃないかなと。機械学習用ですが、全然ゲーム用にも転用できる仕様になっています。 システムトレードの最適化用PCの追加 自前で4 core cpu 4台でいつもバックテストしているのですが、それでは計算が追いつかなくなってきたので、追加でパソコンを購入する必要が出てきました。そのタイミングで Ryzen が発表されたので、早速購入。 構成例 GTX 1080とRyzen以外は極力、最低価格に抑えました。 [amazonjs asin=”B06WP5YCX6″ locale=”JP” title=”AMD CPU Ryzen7 1700 with WraithSpire 95W cooler AM4 YD1700BBAEBOX”] 8 core の Ryzen です。 [amazonjs asin=”B01I52JF7I” locale=”J

import pandas as pd mt4_df = pd.read_html(result_path, "#", parse_dates=["Time"], header=0)[0] entry_df = mt4_df[mt4_df["Type"] == "buy" | mt4_df["Type"] == "sell"][["#", "Time", "Type", "Order", "Size", "Price"]] close_df = mt4_df[mt4_df["Type"] != "buy" & mt4_df["Type"] != "sell"][["Time", "Price", "Profit"]] close_df.columns = ["CloseTime","ClosePrice", "Profit"] close_df.index = entry_df.index

SCOOPとは ssh とPython の設定を適切にするだけで、簡単にネットワーク間での分散処理が実行できる。 ネットワーク分散に対応していないライブラリに便利。 関数の処理を分散して行い、返り値をまとめて返してくれる。 Core 数に応じた Worker 数の設定が可能 Docker との相性が抜群 基本動作 python 標準の map 関数の使い方で ssh で繋いだ先(ノード)でも分散処理してくれる。multiprocessing.Pool.map のネットワーク処理に対応した版。 map 関数に配列を渡すと配列の各要素を引数に関数を実行する。その際の各処理を各ノードでマルチプロセスで実行して、ホストPCに変数を返す。 通信には pickle 化された情報を送信している。 ssh で接続先の通信用ポートを開けて、ポートの情報をホストに送って通信。--tunnelオプションを使えば

mt4-numpy-example - Example to call numpy function from dll with MT4. mt4-numpy-example Example to call numpy function from dll with MT4. Test Environment Windows 10 x64 Metatrader 4 Build 1031 Visual Studio 2010 Use x86 Python Use same os version of your MT4. Add Include path to 2 header files Python.h and numpy/arrayobject.h. It’ll be like C:\Python27\include;C:\Python27\lib\site-packages\numpy\

I have dt = datetime(2013,9,1,11), and I would like to get a Unix timestamp of this datetime object.When I do dt - datetime(1970,1,1)).to... 個人的には、timeモジュールとdatetimeモジュールは一本化してほしい、timeモジュールの存在価値はよくわかるので、datetime側ですべてラップして欲しいと思っていました。 パースメソッドがない いちいち datetime.datetime.strptime メソッドで時間フォーマットを書かないといけない。 dateparser というモジュールもあるが、 datetime とは別モジュールだし、使い勝手がいまいち。 タイムゾーンの処理 タイムゾーンの管理が環境依存なところ。忘れた頃に嵌まります。 M

選択行の内容をコンソールに送信 インタラクティブコンソールが立ち上がるようなプログラミング言語を VIM で書いていて、カーソルの位置のコードをコンソールに送信したいなんて人に朗報です。 vim-slime は、そんな内容を実現してくれるプラグインです。 もともとは Emacs の slime の VIM 版だそう。 インストール 導入は NeoBundle とかで問題なくはいります。 対応コンソール screen tmux whimrepl ConEmu ConEmu も対応しているので、Linux 環境だけでなくWindows にも対応できます。 標準の使い方 C-c, C-c --- the same as slime Emacs の slime と同じく、C-c の2度押しで送信できます。 :SlimeConfig or C-c, v 送信するコンソールを指定するコマンドです。 こ

MSYS2 をインストール 個人的にこれからメインで使いたいと思っているbash ツールのMSYS2。ConEmuと使うと、とっても幸せな気分になれます。 x64版をインストール。 msys2を起動し、pacmanで必要なものをインストール。 yes | pacman -Sy yes | pacman -Su yes '' | pacman -S mingw-w64-x86_64-toolchain yes | pacman -S vim git openssh unzip rsync winpty yes | pacman -S bash pacman pacman-mirrors msys2-runtime 以下にPathを通す。 C:\msys64\mingw64\bin libpython27.a の作成 どうやら、標準のlibpython27.aではうまくコンパイルしてくれないら

当たると評判！ 米雇用統計はどうやって予想している？ 優等生だけじゃダメ！ 不良もいてはじめて当たる？ 特に重要な指標はどれ？ 新規失業保険申... 2 モデル作成 2.1 使用する指標 ザイのリンクからにほんばっしーが使っていた指標は以下となっています。 新規失業保険申請件数 ニューヨーク連銀製造業景気指数の「雇用」 フィラデルフィア連銀製造業景況指数の「雇用」 ミシガン大学消費者信頼感指数 カンザスシティ連銀製造業景況指数の「雇用」 ダラス連銀製造業活動指数の「雇用」 リッチモンド連銀製造業景況指数の「雇用」 消費者信頼感指数の「雇用不十分」 消費者信頼感指数の「雇用困難」 米ドル/円変化率（１カ月前） ＩＳＭ製造業景況指数の「雇用」 Ｓ＆Ｐ500指数変化率（１カ月前） ＡＤＰ雇用統計 チャレンジャー人員削減予定数 このうち、無料では入手が困難だったカンファレンスボード関連の消費者信頼

前回の続きです。 読んでいる本はこちら。少しでも興味をお持ちになったら、ここでは詳細には触れませんのでぜひ購入を検討してみてください。この本を片手に参考程度に見てもらえればと思っています。本当は全部公開したいのですが、書籍の営業の邪魔しないように一部のみに留めておきます。見てみたいというかたはご一報いただければ個別に対応しようと思います。 [rps-include post="2280"] 3. Market Stylized Facts 3.1 Introduction この章でこういう事項を扱いますという説明。ランダムな場合の相場と、実際の相場を比較し、実際の相場だけに現れる傾向を検証していくことになる。実際には、stylized factsをしっかりと理解して、モデルに必要な要素を身につけましょうという感じ。 [auth] この章では、更なるモデリングや実装の取り組みとして実際の世界

Kaoriyaを使うことに関しては、上記サイトを読んでおくと勉強になります。 Vundleの設定 rubyのBundleみたいな感じで簡単にGit上のVimプラグインを導入するためのプラグインです。 「NeoBundleを使うべき」みたいな記述をとても多く見つけるので、NeoBundleを使ったほうが良いかもしれませんが、まだVundleで事足りる程度しか使いこなせていないため、とりあえずVundleを導入しています。 インストールは~/.vim/bundleというディレクトリを作成し、上記サイトよりダウンロードしたファイルを~/.vim/bundle/vundleに保存します。 ~/.vimrcというファイルを作成し、下記のように記述します。 set rtp+=~/.vim/bundle/vundle/ call vundle#rc() " let Vundle manage Vundl

YJFXにて重大なバグを発見 今週からYJFXでの取引を再開しました。開始にあたり、保身のためにYJFXの取引システムのネットワークを解析していましたが、その過程でとんでもないバグを発見します。 バグの内容 例を挙げると、ポン円の売りの建玉(例：180円S)をドル円の買い注文(例：120円L)で決済できてしまうというバグです。 任意の通貨ペアのポジションを、他の通貨ペアの価格で決済できてしまうということです。通常のブラウザ操作ではありえない挙動ですが、ネットワークの数値を少しいじるだけで起こります。 バグの危険性 もし、これを最低取引量の1,000通貨で取引を行ったとします。 180円の買いが120円で決済できてしまうのですから、 1000 * (180 – 120) = 60,000 60,000円の利益になります。もし、最大取引量である、3,000,000通貨で行ったとします。 300

インストール方法 インストール方法は pip を使って行うのが手っ取り早くて便利です。 pip install pyautogui 残念ながら pip でインストールするだけでは Windows では画像処理系がちゃんと動かない様子。 IOError: decoder zip not available pngファイルを扱おうとすると上記エラーが頻発します。 そのため、PILというライブラリをインストールしましょう。 pip install Pillow 使い方 指定画像をクリック import pyautogui image_path = "#set your image file path here" location = pyautogui.locateOnScreen(image_path) buttonx, buttony = pyautogui.center(location)

デバッグ中の発見 とあるマルチスレッドプログラムをPythonで書いていた際に遭遇した誤使用です。C/C++等の言語を使った場合には起こらない仕様なので、知っておくと役立つ時がくるはずです。これはPythonだけでなく、Rubyでも同様のことが起こるので、Rubyistさんも是非気をつけていただければと思います。 @ahaha_traderさんのご指摘により、C/C++でも同様のことが発生することを教えていただきました・・・。不勉強をお詫び申し上げます。 このブログを見ているような方々だとバグが生じる実際のコードと、結果をまずお見せしたほうが良いと思うので、サンプル用に作ったコードがこちらです。 バグが生じるソースコード import Queue import threading class MultiThreadIncrement(object): def __init__(self,

QueueとThreadのベンチマーク比較 ２つのケースについて比較検証してみました。 実際に処理する内容は以下のとおり。 0~999までの単純足し算を100回する処理を4スレッドで合計10,000回繰り返す 比較するケース 4スレッドを毎回作成する 予め4スレッドを作成し、Queueで処理を指示する まぁ、もちろん後者のほうが速いだろうという推測はしているのですが、どれだけ違うのかを調べたい。 ベンチマークコード import threading import Queue from benchmarker import Benchmarker def thread_target(): x = 0 for i in xrange(1000): x += i def queuing_thread_target(start_queue, finish_queue, stop_event): w

Windows, Linux, Mac OS対応、マルチプラットフォームで稼働するPython Gui Automation Libraryです。 こんなの見つけました。これがあれば不要ですね・・。 [/追記] こんにちは、キリンです。 WindowsにAutoHotKeyという自動操作を簡単に作成できるソフトがありまして、その代替的機能をUbuntu上で実現できるソフトがないかと探していました。しかし、納得の行く既存のソフトがなかったので自分で作成してみたというお話です。 AutoHotKeyとは AutoHotkey とは、Microsoft Windowsが導入されているパーソナルコンピュータに常駐して一連の操作を自動化するためのユーティリティソフトウェアである。(Wikipediaより) このソフト、めちゃくちゃ便利なんですよね。画像検出でGUIの操作ができるWindows上のマク

どうも、お久しぶりです。キリンです。 取り敢えず1ヶ月ほど、連続でブログの更新を続けてみたのですが、それ以降更新が途絶えてしまっていました。本業（FXの運用）のほうが今鳴かず飛ばずなので、なんとか盛り返そうと頑張ってます。 その中で、どうしてもプロセス間通信(IPC, Inter Process Communication)をしなければならない事案に遭遇してしまったので、忘備録も兼ねてPythonでSocketを使ったプロセス間通信の方法を調べる際に学習したことと、実際に作成したプログラムをご紹介します。きちんとTCP/IPの通信について勉強したわけではないので、間違った理解、解釈があるかと思います。その際はご指導いただけると助かります。 プロセス間通信がしたい Linux上でしか動かないPythonライブラリ Linux上でしか動かないPythonのライブラリをどうしても使いたいという事

今日はWordPressに目次を追加することのできるプラグインのご紹介です。目次って案外あなどれなくて、最近ではSEO効果も高く簡単に導入できるので、使わない手はないです。これを機に、導入していない人は是非いれてみてくださいね！ちなみに、このブログでも表示されている下のコンテンツ一覧のことです。 ブログ記事に目次を追加 Table of Contents Plus SEO効果が高い 実は、目次を設けるとその項目がGoogleで内部コンテンツとしてインデックスされています。まだ私のサイトでは開始したばかりで反映させられていませんが、評価が向上するとこのように表示させることが出来るようです。((これだけでは設定がたりない場合はご指定いただければ幸いです。)) SEO効果もあって、記事も見やすくなるならば導入しない手はないですね！ プラグインページ

ソフトウェアの脆弱性に着目する攻撃とは異なり、ブルートフォース攻撃(Brute Force Attack) は、非常に単純な方法でアクセス権を取得しようとしま... WordPressのログインページはデフォルトの状態だと、特に何も対策がなされておらず、ブルートフォース攻撃 (( ID, Password総当り攻撃 )) の格好の餌食になりかねません。これを機にぜひセキュリティを強化して、安心できるWordPressライフを目指しましょう！ ワードプレスのログインページの懸念点 ブログ上にログインページへのリンクがある 建てたばかりのサイトでは、サイドバーのメタ情報欄にログイン用URLのリンクがブログ上にあります。管理者以外にはまったく無意味なリンクで、ハッカーからすれば簡単にログインページが見つけられてしまいます。 WordPressではログインページがすぐバレる 上記のリンクを削除して

通常の方法でWordPressにプラグインの追加が可能です。 BackWPupを導入すると、WordPressの管理画面にBackWPUpのメニューが追加されます。 BackWPupのjob設定 BackWPupのメニューから、「Add a newjob」を選択します。 Generalの設定 画像のように各設定を行います。(クリックで拡大します) Scheduleタブの設定 スケジュールタブを選択します。 画像のように各種設定を行います。 Fileタブの設定 Fileタブを選択します。((セキュリティの関係上、画像での紹介は割愛します。)) Folders to backupの項目で、バックアップに必要な項目を全て選択します。ThemeとPluginフォルダを全選択すれば問題ないでしょう。 To DropBoxタブの設定 To DropBoxタブをクリックします。 Reauthentica

Rubyによるクローラー開発技法 読書会 第2回(兵庫県)に参加しました Nov 1st, 2014 1:05 pm | Comments 11月1日 Rubyによるクローラー開発技法　読... [amazonjs asin="4797380357" locale="JP" tmpl="Small" title="Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例"] こういう会に参加すると、自分の知識の狭さを痛感してもっと勉強しなきゃなぁという気になります。また次回も参加させてもらいたいです。参加者の皆さん、色々ご教示いただき、ありがとうございました。 読書会では本の内容から広がった話がとても面白かったです。個人的には、Rubyのクローラー本の中身を実際に使うということは少ない気がしましたが、他の人がどのようにスクレイピングをしているのかということを知ることができたのは