サーバを作り直すときに調べたのでメモがてら。 公式に書き方は載っているが、記述が古いので掲題に特化した方法を載せる。 lightgbm.readthedocs.io 前提として、Compute Engine で GPU が有効なインスタンスがあり、そこに pyenv でPython 3.8.6がインストールされているものとする。 CUDA のインストール wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/com

ここ1年はほとんど変わっていないですが、今現在の機械学習による競馬予想で使っているサービスやライブラリについて情報を残しておきたいと思います。 どちらかというと、なぜそれを使っているのかを考え直したり、あわよくばコメントを貰って改善に役立てるために公開します。 Web Service JRDB www.jrdb.com 予想をする上ではデータソースがないと話にならないのですが、Mac, Linux上でデータを取得できるサービスは今の所 JRDB だけです。 （netkeiba をスクレイピングするのはグレーだし、時間が非常にかかる） データ形式はShiftJISの固定長テキストなので、Pythonで仕様からパーサを生成してパースしています。 予想には2012年からのデータを用いていますが、netkeiba のスクレイピングでこれをするのは少し厳しいですね。 このデータをParquet形式に

競馬情報で特定の年以降のレースを絞り込むときの便利な書き方がわかったので紹介する。 dateカラム（datetime型）が２０１９年以降のデータを選ぶには、ストレートにするとこのような感じになる。 import datetime data[data.date <= datetime.datetime(2019, 1, 1)] しかし、これはコード量的にも視覚的にもイマイチわかりにくい。 以下のように書くと、分かりやすくなる。 data.query('date >= 2019`) もし、２０１９年２月１日以降なら以下のように記述できる。 data.query('date >= 20190201') ただし、このようには書けないようだ。 data.query('date >= 201902') Pythonデータ分析/機械学習のための基本コーディング! pandasライブラリ活用入門 (imp

機械学習で非常に時間のかかる処理をするとき、AWS の EC2 インスタンスを立ててその上で実行している。 AMIは深層学習用のインスタンスを用いている。 aws.amazon.com Jupyter Notebookもプリインされている。 また、時間のかかる処理を可視化するのに便利なパッケージ tqdm があり、これも重宝している。 github.com tqdm は Jupyter Notebookもサポートしているが、上記AMIで動かすのには一苦労あった。 結論から言えば、以下が必要だった。 conda install -c conda-forge ipywidgets nodejs jupyterlab tqdm jupyter nbextension enable --py widgetsnbextension --sys-prefix jupyter labextension

結局、仮想通貨は逃げるタイミングが遅れてとんでもない負債を私に残していったので、 ボラリティは低いが安定している株取引を粛々とすることにした。 さて、株取引の自動化は厳しいが、せめて売買のタイミングぐらいは自動的に分かるようにしておきたい。 幸い、無料で株価履歴を公開しているサイトがあるので、そこから自動取得するようにしてテクニカル指標を求めるようにすることにした。 import os import asyncio import time from pyppeteer import launch import pandas as pd import matplotlib.pyplot as plt async def scrape(browser, url): page = await browser.newPage() await page.goto(url) await page.wa

BTC 取引で 60万円ほどロストしたあと、草コインに未来をかけてBinanceにターゲットを移しました。 Binance の Python クライアントはヒッジョーによく出来ていて、これまで国内BTCマーケット向けのBotによるシステムトレードをやってきた身としては、 「これあればあの苦労もこの苦労も要らんかったんや」 と思ってしまいます。 さて、そのヒッジョーによく出来たPython クライアントを用いたところ、悪くない出来のBotができてしまったので、どうせですからnoteで有料公開してしまいたいと思います。 （BinanceのPython クライアント自体は無料です） 価格は某なんとか君に習って5万！と言いたいところですが900円くらいにしておきます。 そんなに立派なものでもないので。 Bot実装参考コードみたいな感覚で買っていただければ。 900円なので利益も動作も無保証ですが、

BTC・FXのトレード関係の情報をnoteで売るのが流行っている（というかドテンくん）ので、 ちょっとやってみました。 note.mu 前2記事の画面表示機能+Bot機能で900円です。 Botは1コインあたり5000円買って12%で利喰い、-8%で損切りするのを繰り返すだけです。 もちろんいくら買うか、利喰い損切りのしきい値も変更可能です。 買い時の判定コードはTradingView でVixFix使ったものを移植しましたが、お好きなものに入れ替えられます。 利益は保証できませんが、0.5BTC突っ込んで3日で2千円ぐらいなので悪くないかなと。 ぜひ買ってお試しください。

こんな記事を書いた。 コードを改良したので続き。 team-6.hatenablog.jp team-6.hatenablog.jp 前回のコードをちょいちょい見直したら結構違うコードになった。 追加になったのは、これまでのトレードの利得を最後に表示するようになった点だ。 API呼び出しに時間がかかるので注意。 ALL_COINS はそのうち使うので残しておく。 同じディレクトリにkeys.json をおいて、中にAPI KeyとAPI Secretを記述すること（フォーマットはコードから類推してくださいです）。 pip install requests python-binace #!/usr/bin/env python import json import requests from binance.client import Client from binance.exceptio

昨日の続き。 team-6.hatenablog.jp 昨晩は全般的にかなり下落していたようで、反発したコインを売りたくなった。 いちいち購入履歴と付きあわせてどのくらい上がったかを計算するのはアレなので、 昨日のスクリプトを改良して以下のように表示されるようにした。 ソースコードはこんな感じ（Python3）。 $ pip install python-binance import requests from binance.client import Client API_KEY = 'Your API key' API_SECRET = 'Your API secret' def get_price(client, coin): recent_trade = client.get_recent_trades(symbol=f'{coin}BTC', limit=1) return f

先日、この記事を書いた。 team-6.hatenablog.jp しかしながら、上昇の見込めない相場での現物取引は儲けが少なく損ばかり、ということで草コインに投資することにした。 Binance のアカウントを作って0.5BTCを投入、AdaやらVergeやらを買って、Binace APIから価格取得をして...とするとこんな感じに。 ソースコードはこんな感じ。 $ pip install python-binance import requests from binance.client import Client API_KEY = 'Your API key' API_SECRET = 'Your API secret' if __name__ == '__main__': client = Client(API_KEY, API_SECRET) account = client.

前の記事で約定履歴が手に入ったので、OHLCを求めてローソク図を描画してみる。 team-6.hatenablog.jp from datetime import datetime, timedelta import pandas as pd import matplotlib.pyplot as plt import matplotlib.finance as mpf from matplotlib import ticker import matplotlib.dates as mdates import psycopg2 import sqlalchemy import sqlalchemy.orm import sqlalchemy.ext.declarative POSTGRES_HOST='HOST' POSTGRES_PORT=5432 POSTGRES_USER='user

bitbank の APIを眺めていたら、任意の日付から約定履歴を取得することができることに気づいた。 無限に見られるわけではないみたいだが、cyrptowatch よりも長い期間のOHLCが取得できそうなので頑張ってみた。 こんなスクリプト(batch.py)を書く。 #!usr/bin/env python from datetime import date, datetime, timedelta import requests start = date(2018, 1, 1) end = date(2018, 4, 11) markets = [ "btc_jpy", "xrp_jpy", "eth_btc", "ltc_btc", "mona_jpy", "mona_btc", "bcc_jpy", "bcc_btc", ] DATETIME_FORMAT = '%Y-%m-%d

例のZaif だが、拙宅のStreaming APIを403にした件ですでにうんざりだが、 それに加えて混雑のせいでBot のリクエストが通りづらくなっている。 しばらく待ってリクエストする、を繰り返せばいいのだが リトライするべきエラーとそうではないエラー（資産不足とか）を区別する必要がある。 混雑時に発生するエラーのうち、リトライするべきエラーについて解説する。 パターンは大きく分けて2つある。 trade temporarily unavailable. 1つは、HTTPレスポンスのステータスコードは200が返ってくるが、 その内容は以下のようなJSONとなっているもの。 {"success": 0, "error": "trade temporarily unavailable."} 成功時はsuccessが1だが、失敗時はsuccessは0で、errorに理由が書かれている。 こ

Zaif でオルトコインとビットコインを用いた裁定取引を試しているんですが、 XEM/BTC と XEM/JPYで最小取引量が異なるようです。 curl https://api.zaif.jp/api/1/currency_pairs/all | jq . | less とかすると、各通貨ペアの最小取引量がでるのですが、 MONAとかBCHとかETHとかはJPY, BTCどちらも同じですが、 XEMだけ異なります。 currency_pairs — Zaif api document v1.1.1 ドキュメント { "title": "XEM/BTC", "aux_japanese": "ビットコイン", "id": 5, "is_token": false, "currency_pair": "xem_btc", "aux_unit_step": 1e-08, "item_unit_st

Pyramid 使いたいんですが、最近cookiecutterの記事（参考）がはてブに上がったりしていたので、 Pyramidのものがないか探したらありました。 https://github.com/Pylons/pyramid-cookiecutter-starter あとは、書いてあるとおりにコマンドを打つと作れると思います。 こんな感じ。 $ cookiecutter gh:Pylons/pyramid-cookiecutter-starter project_name [Pyramid Scaffold]: my-dictionary repo_name [my_dictionary]: Select template_language: 1 - jinja2 2 - chameleon 3 - mako Choose from 1, 2, 3 [1]: 3 ===========

以下の本を読んだんですが、掲題の通りノンプログラマ必読ですね。 職場の業務効率向上をしたい人はすぐに買うべきです。 退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミング 作者: Al Sweigart,相川愛三出版社/メーカー: オライリージャパン発売日: 2017/06/03メディア: 単行本（ソフトカバー）この商品を含むブログ (4件) を見る 一方、プログラマにはそんなに需要のある内容ではないです。 Pythonプログラマは前半不要だし、後半も調べればできることしか書いてないです。 やりたいことをググッてコピペしてアレンジできる人は、そちらのほうが早いかも。 Pythonを使ったプログラミング入門本としても非常に良くできているんですが、 言語を習得したその先で何を出来るか、を表に出しているのがただの入門書とは異なるところです。 副題まで読まないと

先程まで、AtCoder Grand Contest 019 に参加していました。 agc019.contest.atcoder.jp 結局、A, B まで解けたものの、Cの途中で時間切れ、D以降は問題文すら読んでない状況です。 開始直後に宅内のネットワークが落ちたのが痛かった。 以下、各問題の反省です。 A問題 それほど難しくなく、素直にナップザック問題でした。 前回の反省から、サンプルの入出力でチェックしてから提出していたんですが、 どうやら整数で除算するべきところを小数点で除算してしまったようで、一度Wrong Answerで蹴られてしまいました。 2回めの提出でAcceptされました。 B問題 きちんとサンプルが通って計算量もメモリ使用量も爆発しないアルゴリズムにたどり着けたんですが、 テストコードのオーダーを1桁少ない値で作ってしまい、提出したらTime Limit Exceed

前記事で書いたとおり、Anaconda でバシッと色んな物が入って嬉しいんですが、一方でAnacondaを使わずにそれをするにはどの程度の労力がかかるのか、試してみたいと思います。 team-6.hatenablog.jp team-6.hatenablog.jp 事前設定 OS は Ubuntu 16.04 64bit build-essential,gitは導入済み。 scikit-lean, Pandas, tensorflow, matplotlib, Jupyter Notebook を使えるようにする。 インストール TensorFlow, Jupyter Notebook 以外 sudo apt install python3.5 python3-pip python3-sklearn python3-matplotlib python3-pandas TensorFlow

先日の投稿で、少しフィードバックをいただけた（ありがとうございます！）ので、それに対する反応です。 team-6.hatenablog.jp フィードバックその1 コメント欄より。 引用されていたので反応しておきますと、こういう理由からAnacondaもいまは問題があると思っています。 http://ymotongpoo.hatenablog.com/entry/2017/02/02/182647 一次情報含め非常に詳しく書かれていますが、 要約すると、パッケージングにデフォルトのwheelではなく、独自のcondaを用いているAnacondaはデフォルトに歩み寄って欲しい、というお話です。 これについてはおっしゃるとおりで、wheelでできることをわざわざ別のパッケージシステムを構築してしまっているのはエネルギーの無駄ですね。 wheel一本になれば嬉しい人は多いはず。 フィードバックそ

ちょっと煽ったタイトルですが、これから言いたいことを一言で言うとそういうことです。 またPython環境構築界隈の混沌が深まりそうで申し訳ないですが、自身の中ではそういう結論です。 まず、先に数件の別サイトの記事を紹介したいと思います。 qiita.com qiita.com ymotongpoo.hatenablog.com 上記ではpyenv不要では？という議論がされています。 斜め読みした感じだと、「Pythonのバージョンを複数インストールして切り替える需要あるか？」 という点で、pyenv不要ということらしいです。 不要なら使わないに越したことはありませんね。 さて、機械学習・ディープラーニングするにはAnacondaが必須なのは異論のないところだと思いますが、 Anacondaのバージョンアップではこれに含まれるライブラリが非互換なAPI更新がちょくちょくあります。 また、バー