LightGBM は Microsoft が開発した勾配ブースティング決定木 (Gradient Boosting Decision Tree) アルゴリズムを扱うためのフレームワーク。 勾配ブースティング決定木は、ブースティング (Boosting) と呼ばれる学習方法を決定木 (Decision Tree) に適用したアンサンブル学習のアルゴリズムになっている。 勾配ブースティング決定木のフレームワークとしては、他にも XGBoost や CatBoost なんかがよく使われている。 調べようとしたきっかけは、データ分析コンペサイトの Kaggle で大流行しているのを見たため。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.4 BuildVersion: 17E202 $ python -V Pyt

♂「今日、しよっか」 ♀「きょうはちょっと…今度いっぱいしよう。でも、誘ってくれてありがとう」 男女がそんな会話を交わす動画を大学生たちが制作しました。訴えたかったのは「性的同意」。“セックスはもちろんキスでもハグでも性的な行為の時は相手の気持ちをきちんと確認すること”です。 「でもさあ、毎回確認ってムードが壊れない？」ネット上に多くあがったそんな声にも応えようと作った動画でした。 （ネットワーク報道部 高橋大地）

Bokeh Plotting Backend for Pandas and GeoPandas. Contribute to PatrikHlobil/Pandas-Bokeh development by creating an account on GitHub. インストール pip install pandas-bokeh 使い方 最初にpandas_bokehの読み込みコマンドを実行します。今回はjupyter notebook上で使いたいので、ouutput_notebook としました。 import pandas_bokeh pandas_bokeh.output_notebook() plotをplot_bokehに変えるだけ Pandasをよく使っている人は、DataFrame.plot.bar()でチャートを書くことができることは知っていると思います。Pandas-B

SQLAlchemyの作者が作ったデータベースマイグレーションツール。個人的には、SQLAlchemyは使わないが、スキーマの作成に使っている。 モデル定義から自動作成 モデル定義から自動的にマイグレーションスクリプトを作成できる。前回からの変更分なども、現在のスキーマと比較して作成してくれる。ということで、モデル定義だけ変更すればあとはよしなにやってくれる。 プロジェクト作成コマンド 適応させたいプロジェクトのルートで実行する。 alembic init alembic model のインポート env.pyファイルを使ってsqlalchemyのmapsクラスをインポートして、テーブルの設定が読み込まれたBase.metadataをtarget_metadataに割り当てる。 import <Target Maps Package> target_metadata = <Target M

こんにちは。キリンです。 最近、年に数度のMQLを書くときがきたのですが、Pythonに慣れまくっていると苦行でしかないですねｗ昔は毎日のようにMQLばかり書いていた時期があるのが懐かしいです。あのころにPythonの有用性を知っていたら、もっと成長できていなんじゃないかなぁと思ったり。技術ブログばっかり書いていて、珍しく前書きみたいなものを書いているんですが、これにはきっかけがありまして、MT4の検索をしていると昔の自分の記事がたまにヒットして、あの頃はちゃんと頻繁にブログを書いていたなぁと思ったからでして。あの頃は毎日何か書けるネタがないかと探している日々だったのですが、今となっては逆にかけるネタはたくさん思い当たるのにほとんど書かなくなってしまったので、アウトプットをもう少し増やしてもいいかなぁと思っています。ただ、子育てと仕事の上に最近は咳喘息で日々体調が悪いので、かなり難しいので

numpy で２つの時間のインデックスをarrayデータとして持っていて、x にはない時間のインデックスがyにはあって、xにはないのでyから取り除きたいときにどうすればよいかすぐにはわからなかったため、備忘録を残しておきます。 In [2]: import numpy as np In [3]: s = np.arange(120) In [4]: t = np.arange(10, 120) In [8]: np.in1d(t, s) Out[8]: array([ True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, True, T

Synology DS216j をNAS(RAID1 12TB)として使っています。もっぱらデータ保存用です。他のパソコンをNAS用に購入してもいいなとは思っているのですが、ヘルス管理の定期処理などがとても手間な気がして、Synologyに頼りっきりです。 [amazonjs asin=”B076HJB5L1″ locale=”JP” title=”Synology DiskStation DS218j 2ベイ NAS キット 日本正規代理店アスク サポート対応 デュアルコアCPU搭載 保証2年 CS7088″] このSynologyなのですが、便利な機能が色々あって、VPNやブログとかも書けたりするのでお薦めです。でも、実は廉価版のものだと、本当に使いたい機能がなかったりするので、ちゃんと購入前に自分の用途にあっているNASなのかは確認したほうが良いです。僕の場合は、GITLABの運用を

Hacker School在籍中、ネットワーキングの理解をより深めたいと思い、小規模なTCPスタックを書いてみようと思い立ちました。個人的には、C言語よりもPythonの方になじみがありましたし、その頃ちょうど、パケット送信を 非常に簡単に する scapy ネットワーキングライブラリも見つけたところでした。 そんなわけで、 teeceepee を書き始めました。 基本的な構想は次のとおりです。 TCPパケットを送信可能にするRaw socketを開く google.comを取得するためにHTTP要求を送る 応答を取得しパースする 成功を祝う 適切なエラー処理などについてはさほどの注意も払わず、ただただウェブページを取得し、勝利を宣言しようと思っていました(^_^) ステップ1：TCPハンドシェイク 手始めは、GoogleとのTCPハンドシェイクです（以下は必ずしも正しく動作しませんが、原

OpenSSLの脆弱性「Heartbleed」が世間を賑わせていますが、色々と乗り遅れてしまった感があるので、ゆるゆると落ち穂拾いをしようかと思います。 Heartbleedで秘密鍵を手に入れたらSSL通信の中身全部見えちゃうじゃん!! という事態になっていますが、なんとなく理論的にそうだろうなと分かるもののイマイチ具体的な手順が分からない。 というわけで今回のテーマとして、手元にサーバの秘密鍵と、SSL通信をパケットキャプチャしたpcapファイルがあるときに、Wiresharkでどんな感じでSSL通信を「ほどく」のか……という具体的な手順を、ハマり所を含めてまとめておこうかと思います。 というか、私自身がハマったので自分用メモですな。なおこの文書では"SSL"とだけ記述し、TLSは無視しています。 前提条件 とりあえず以下のような感じの検証環境で試しました。 IPアドレス 説明 ホストO

最初に追加 struct module_state { PyObject *error; }; #if PY_MAJOR_VERSION >= 3 #define GETSTATE(m) ((struct module_state*)PyModule_GetState(m)) #else #define GETSTATE(m) (&_state) static struct module_state _state; #endif #ifndef Py_TYPE #define Py_TYPE(ob) (((PyObject*)(ob))->ob_type) #endif モジュールの初期化と状態情報を書き換える initmyextension 関数などの初期状態の関数を書き換える #if PY_MAJOR_VERSION >= 3 static int myextension_traver

Interactive Brokers 証券とは 日本には珍しく自動売買プラットフォームが提供されいてる証券会社です。基本的には全部JAVAで書かれていますが、最近Pythonも公式に対応しました。 Python ライブラリの入手 Our proprietary API solutions let you create your own trading programs that take advantage of our high-speed order routing and broad mark... Latest版のzipをダウンロードしてください。Stable版にはPythonが同梱されていないととても小さい文字で書いてありました。Python3のみ対応とのこと。 Pythonのパッケージディレクトリから下記コマンドでインストールしておきます。 python3 setup.py

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.

GitHub is where people build software. More than 28 million people use GitHub to discover, fork, and contribute to over 85 million projects. python-highcharts のラッパー pandas の DataFrame や Series からお手軽に使える Jupyterからローソク足チャートを使いたいと思った時、色々試しましたが一番良かったのが Highcharts でした。それをできるだけ自分が使いやすいようにラッパーを書いたのがkanichartです。 Highcharts の良いところ JSなのでインタラクティブに操作可能 マウスオーバー時に数値を表示など細かいところが標準で充実 x軸を共有した際の動作が優秀 時系列解析には必須 pyt

Linuxはオープンソースなので政治的にも正しいし、自分で改造すれば理論上は無限大の可能性があり、とにかくすごいです。 Macは使うととにかく宗教になってしまい信者だから全部ダメだし、オープンソースじゃないから自由じゃないです。みんながLinuxを使えば無限がたくさんになって、かなりすごいことになるとおもいます。 みなさん使うといいとおもいます。 困ることは何もありませんでした、あったとしても自分でパッチをあてれば理論上は全て解決するのでわるいアップルやマイクロソフトみたいな悪のプロプライエタリ企業の顔色を伺う必要もなく、誇り高いきもちになれます。こんなすごいOSを使える自分はきっと特別な存在なのだと感じました。 *1:たぶんDellは日本にDevelopperがいることを知らないんだとおもう。SEしかいないとおもってる *2:正気かよ *3:筆者はペーペーなのでLinux GUIの詳しい

主張：高速化は最後のおたのしみにしましょう。 無駄にいじいじして高速化させて満足し、結局その後はほとんど使わなかったなあ、、、が私の日常です。 えらい人も言っていますが、高速化なんてホント最後でいいんです・・・。 今まで何十回後悔したことか。。。（これからもまたやりますが。） pythonであれば numba,cython,swig など、コンパイルしちゃう系の力（パワー）を借りることで、 全く同じアルゴリズムでもざっくり100倍単位で簡単に高速化できます。 しかし、このやり方ではpythonのインタープリターなゆるふわ△言語の良さを（該当コード部分において）捨ててしまいます。結局C/C++に魂を売っているだけです。 私は魂を売ることそれ自体が好きなので良いですが、この行為はpythonの持つ別の面での高速性、つまり "生産性の高さ" を犠牲にしています。 コードの実行スピードが速くなって

pdbでのデバッグにはreload機能がない IPythonには優秀なautorelaod機能がマジックコマンドで存在していたが、pdb環境で開発する人にとってはreload機能でなかなか便利なものがなかった。 Python の reload は使いづらい インスタンスメソッドはreloadしても更新されなかったり、なかなか面倒だった。調べた限り、Pythn3 には reload 用のライブラリが存在しているようだったが、Python2では動かなかったので、自分で作ることにした。 インスタンスメソッドは更新されない 普通にreloadするだけでは、すでに作成しているインスタンスのメソッドの更新までは行われない。それを自動で可能な限り更新できるようにしておいた。 インストール pip install reload_all 使い方 from reload_all import reload_a

【栗村修】 一般財団法人日本自転車普及協会 1971年神奈川県生まれ 中学生のときにTVで観たツール・ド・フランスに魅せられロードレースの世界へ。17歳で高校を中退し本場フランスへロードレース留学。その後ヨーロッパのプロチームと契約するなど29歳で現役を引退するまで内外で活躍した。引退後は国内プロチームの監督を務める一方でJ SPORTSサイクルロードレース解説者としても精力的に活動。豊富な経験を生かしたユニークな解説で多くの人たちをロードレースの世界に引きずり込む。現在は国内最大規模のステージレース「ツアー・オブ・ジャパン」の組織委員会委員長としてレース運営の仕事に就いている。

(注：この記事はA Deep Reinforcement Learning Framework for the Finantial Portofolio Management ProblemをGoogle翻訳にかけて雑に修正したものです。誤訳や数式のミスが多数あり、図表や一部の数式は載せていませんのでリンク先の元論文を参照しながら読んでください。) 概要 金融ポートフォリオ管理は、ファンドをさまざまな金融商品に定期的に再分配するプロセスです。本稿では、ポートフォリオ管理の問題に対する深層機械学習のソリューションを提供する、金融モデルのない強化学習フレームワークを紹介します。このフレームワークは、EQE(Ensemble Independent Evaluators)トポロジ、PVM(Portfolio-Vector Memory)、OSBL(Online Stochastic Batch