サーバを作り直すときに調べたのでメモがてら。 公式に書き方は載っているが、記述が古いので掲題に特化した方法を載せる。 lightgbm.readthedocs.io 前提として、Compute Engine で GPU が有効なインスタンスがあり、そこに pyenv でPython 3.8.6がインストールされているものとする。 CUDA のインストール wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/com

ここ1年はほとんど変わっていないですが、今現在の機械学習による競馬予想で使っているサービスやライブラリについて情報を残しておきたいと思います。 どちらかというと、なぜそれを使っているのかを考え直したり、あわよくばコメントを貰って改善に役立てるために公開します。 Web Service JRDB www.jrdb.com 予想をする上ではデータソースがないと話にならないのですが、Mac, Linux上でデータを取得できるサービスは今の所 JRDB だけです。 （netkeiba をスクレイピングするのはグレーだし、時間が非常にかかる） データ形式はShiftJISの固定長テキストなので、Pythonで仕様からパーサを生成してパースしています。 予想には2012年からのデータを用いていますが、netkeiba のスクレイピングでこれをするのは少し厳しいですね。 このデータをParquet形式に

2019/1頃に機械学習による競馬予想をしていて、副業との兼ね合いでちょっと中断したりしていたけど、 色々余裕が出てきたので再開しています。 回収率が100%を超えたので、先週から実際に投票するフェーズに入っていたのですが、 勝ち負けはこんな感じです。 日付 投票 払戻 2020/11/14 ¥7,000 ¥0 2020/11/15 ¥10,000 ¥0 2020/11/21 ¥14,000 ¥12,800 2020/11/22 ¥13,000 ¥17,400 先週は全く当たらなかったですが、今週は黒字です。 この調子でどうにか年内は黒字にしたいところです。 再開した理由はもう1つあって、この界隈は手札を見せずに結果だけ公開するか、基本的にやり方だけ示すだけなのが 常だったのですが、最近はうまくいっているものを比較的安価に公開するところが出てきたというのがあります。 特に直近で役に立った2

拙作の機械学習モデルを用いた2019年3月23日日経賞の予想です。 ※ あくまで予想ですので、的中を保証するものではありません。購入は自己責任でお願いします。 ※ 出走後は無料公開にします。 各馬の独自のスコアと、独自アルゴリズムによるワイドでの買い方を公開します。 ※ ワイドでの買い方はオッズの変動で変わります。出走1時間前までは何度か更新することがあります。 独自スコア順 4 サクラアンプルール - 0.20058213801256267 7 エタリオウ - 0.19165128329032274 1 メイショウテッコン - 0.16430313120411344 6 ルックトゥワイス - 0.1592636585358457 5 ブラックバゴ - 0.1060212608361447 9 カフェブリッツ - 0.043168553186021176 12 クリンチャー - 0.041

拙作の機械学習モデルを用いた2019年3月23日毎日杯 の予想です。 ※ あくまで予想ですので、的中を保証するものではありません。購入は自己責任でお願いします。 ※ 出走後は無料公開にします。 各馬の独自のスコアと、独自アルゴリズムによるワイドでの買い方を公開します。 ※ ワイドでの買い方はオッズの変動で変わります。出走1時間前までは何度か更新することがあります。 独自スコア順 2 ウーリリ - 0.2480426634902279 13 ヴァンドギャルド - 0.19916480856554228 3 ルモンド - 0.12736483653783487 5 ケイデンスコール - 0.11756524871029456 9 アントリューズ - 0.09704670897302366 8 コパノマーティン - 0.08128378056354452 7 ダノンテイオー - 0.045929

まだ仮想通貨の取引の痛手が残っていて株取引はできていない（SBIに口座を開設しただけ…）。 それはさておき、最近興味があったが応用先のない機械学習の知識がついに役に立つ分野が見つかった。競馬だ。 無料で手に入る多数のパラメータがあり、結果がはっきりしていて、しかもリターンが金銭的に入ってくる。 以下の記事を参考に、 netkeiba.com のデータを用いてLigthGBMで学習をしている。 cocon-corporation.com cocon-corporation.com また、以下の書籍を参考にして精度を向上している。 ゼロからはじめるデータサイエンス ―Pythonで学ぶ基本と実践 作者: Joel Grus,菊池彰出版社/メーカー: オライリージャパン発売日: 2017/01/25メディア: 単行本（ソフトカバー）この商品を含むブログを見る Pythonではじめる機械学習 ―s

昨年の12月から受講していた Cousera の Machine Learning course を修了した。 www.coursera.org 以下、簡単に感想 この界隈では受講必須 パラメータチューニングやサンプル追加の効果の判断など、アルゴリズムよりも重要な点について教えてくれる ライブラリしか使わない、という人にも有用 プログラミングはOctaveだが、行列演算がとても書きやすくてよい 学習当初は相場の予測に使おうと思っていたが、軒並み仮想通貨が暴落したのでちょっと迷っている... 仕事ではじめる機械学習 作者: 有賀康顕,中山心太,西林孝出版社/メーカー: オライリージャパン発売日: 2018/01/16メディア: 単行本（ソフトカバー）この商品を含むブログ (4件) を見る データサイエンスのための統計学入門 ―予測、分類、統計モデリング、統計的機械学習とRプログラミング 作者

Coursera という、無償のe-Learningがあり、そこのMachine Learning courseがかなり評判が良いので始めてみた。 www.coursera.org 現在2週目だが、ここまでの感想は以下の通り。 コンピュータ・サイエンスを昔やっていた身としては、復習になる部分が多いが、むしろ現役のときよりも分かりやすかったので、もっと早く出会いたかったなあと思った。 当方、英語リスニングだめなので字幕必須だが、読む文にはそれほど苦にならない（ビデオ以外は英語です）ので、まあまあついていけている 日本語字幕が流れるのが早いときがあるが、あんまり気にならない まだプログラム書くとこまでたどり着いておらず、多変量の線形回帰についてのところまで来ている。 2週目でOctave書くらしいので、今晩中にはOctave書くことになるかと。 機械学習を学んでどうするかといえば、もちろん相場

以前こんな記事を書いたんですが、Qiita以外のものも紹介します。 team-6.hatenablog.jp うまくいっている様子なのはここだけですね。↓ 為替を人工知能を使って紐解いてみたら投資回収率が100%を超えた！ 為替予測モデル - 人工知能を使った小さな開発会社の小さな作品 驚愕のオチが。 masamunet.com その他、感想なし。 darden.hatenablog.com blog.takuya-andou.com 機械学習で為替予測 Deep Learning 編 | kuune.org 機械学習で為替予測 Deep Learning 編その 3 | kuune.org ディープじゃない機械学習で為替(FX)の予測をしてみる | 人工知能ニュースメディア AINOW トレーディングエッジ入門―利益を増やしてドローダウンを減らす方法 (ウィザードブックシリーズ138)

前記事で書いたとおり、Anaconda でバシッと色んな物が入って嬉しいんですが、一方でAnacondaを使わずにそれをするにはどの程度の労力がかかるのか、試してみたいと思います。 team-6.hatenablog.jp team-6.hatenablog.jp 事前設定 OS は Ubuntu 16.04 64bit build-essential,gitは導入済み。 scikit-lean, Pandas, tensorflow, matplotlib, Jupyter Notebook を使えるようにする。 インストール TensorFlow, Jupyter Notebook 以外 sudo apt install python3.5 python3-pip python3-sklearn python3-matplotlib python3-pandas TensorFlow

先日の投稿で、少しフィードバックをいただけた（ありがとうございます！）ので、それに対する反応です。 team-6.hatenablog.jp フィードバックその1 コメント欄より。 引用されていたので反応しておきますと、こういう理由からAnacondaもいまは問題があると思っています。 http://ymotongpoo.hatenablog.com/entry/2017/02/02/182647 一次情報含め非常に詳しく書かれていますが、 要約すると、パッケージングにデフォルトのwheelではなく、独自のcondaを用いているAnacondaはデフォルトに歩み寄って欲しい、というお話です。 これについてはおっしゃるとおりで、wheelでできることをわざわざ別のパッケージシステムを構築してしまっているのはエネルギーの無駄ですね。 wheel一本になれば嬉しい人は多いはず。 フィードバックそ

人間ではなく機械が自動的に意思決定することのメリットとして、大量のデータをInputとした予測、推定、分類などの処理をAlgorithmの構築によって瞬時に行える事である。 1枚の画像だけを見て何が写っているかのような判断においては人間の脳が優れているものの、大量のデータInputを基にした組み合わせの選択や最適解に瞬時に辿り着くという目的においては機械に任せてしまったほうが効率的とも言える。昔から機械学習による予測、推定、分類などの処理は様々な手法として提案されており、どういった問題を機械に判断させるかという切り口で最適なものを人が選択する。下記表に機械学習の種類と特徴を纏めてみた。※ただし必ずしも6種類のいずれかに分類される訳ではない。例としてニューラルネットワークがあり教師あり学習であり深層学習にも位置する。 機械学習の種類 特徴 代表的なAlgorithm 備考 教師あり学習 正解