はてなブックマーク

1. ONNXとは Tensorflow, PyTorch, MXNet, scikit-learnなど、いろんなライブラリで作った機械学習モデルをPython以外の言語で動作させようというライブラリです。C++, C#, Java, Node.js, Ruby, Pythonなどの言語向けのビルドが作られています。ハードウェアもCPU, Nvidia GPUのほかAMD GPUやNPU、FPGAなどにも対応を広げているので、デプロイ任せとけ的な位置付けになるようです。 いろんな言語やハードウェアで動かせるというのも大きなメリットですが、従来pickle書き出し以外にモデルの保存方法がなかったscikit-learnもonnx形式に変換しておけばONNX Runtimeで推論できるようになっていますので、ある日scikit-learnモデルのメモリ構造が変わって読めなくなるんじゃないかと怯

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Refinitive Eikonとは Refinitive社が提供する有償の相場情報提供サービスです https://www.refinitiv.com/ja/products/eikon-trading-software コモディティ、農作物、エネルギー、メタル、株式、債権、外国為替、マクロ経済指標などを閲覧/取得できるようです。この手のサービスはだいたいそうですが、そこそこ良い値段がします。 冷やかしだとダメだと思いますが、ちゃんと使うつもりがある場合は無償トライアルのライセンスを発行してくれると思います。 https://www.

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

ffmpeg-python ffmpeg-pythonはffmpegをpythonから使えるようにするパッケージです github https://github.com/kkroening/ffmpeg-python API-reference https://kkroening.github.io/ffmpeg-python/ 使用例 https://github.com/kkroening/ffmpeg-python/tree/master/examples 1. インストール ffmpeg-pythonはsubprocessでCLIからffmpegを実行するwrapperのみのパッケージなので、別途本体をダウンロードしてきてPATHを通しておく必要があります。 1-1. ffmpegをインストールする 公式サイトからインストーラーをダウンロードしてきて入れます https://ffm

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

機械学習モデルのハイパーパラメーターの最適化の為に作られたベイズ最適化packageであるoptunaの使い方を調べたのでまとめます optunaには何ができるか ベイズ最適化の中でも新しい手法であるTPEを用いた最適化をやってくれます。シングルプロセスで手軽に使う事もできますし、多数のマシンで並列に学習する事もできます。並列処理を行う場合はデータベース上にoptunaファイルを作成して複数マシンから参照する事でこれを実現しますので、当該DBにアクセスできるマシンすべてが学習に参加できるのが素晴らしいところです。optunaファイルがあれば途中再開も出来ますのでお盆に会社が停電になって連休明けに再開するような場合にも安心です。 公式チュートリアル https://optuna.readthedocs.io/en/stable/tutorial/first.html APIリファレンス ht

機械学習用の画像の前処理方法を調べたのを書いていきます。 中途半端な内容ですが、今後書き足していくと思います。 試行環境 Windows10 python 3.6 opencv-python 4.1.2.30 閾値処理: cv.Threshold(src, threshold, maxValue, thresholdType) opencvドキュメント http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_imgproc/py_thresholding/py_thresholding.html 閾値を指定して二値化 適当なグラデーション画像を作って二値化してみます # make gray scale picture im_gray = np.array([np.arange(0, 256

独特のお作法があって初心者が引っかかりがちなmatplotlibの入門記事です 試行環境 windows10 jupyter notebook 使うデータ なんでも良いですが、iris使っときます import pandas as pd from sklearn.datasets import load_iris iris = load_iris() data = pd.DataFrame(iris.data, columns=iris.feature_names) data.head() 1. グラフいろいろ 基本的に全部matplotlib.pyplotを使います。また、jupyter notebookで表示する為に%matplotlib inlineとしておきます。（最近は%matplotlib inlineしなくても2回目以降表示されるようになったようですが一応やっときます）

インタラクティブなグラフを作れるipywidgetsを試してみたのでまとめます。 公式ドキュメントはここ https://ipywidgets.readthedocs.io/en/latest/user_guide.html どんな事ができるか ipywidgetsに関数を与えると、セレクトボックスとかスライダーの操作で引数を変更しながら関数を実行できるようになります。これを使えばプロットの表示をポチポチ変えていったりできます。 例えば下の画像のようにtsneで2次元化してプロットしたものについてセレクトボックスで選んだサンプルだけ色変え表示させたりできます。 それ以外にもEDAのときにx軸とy軸をセレクトボックスで選びながらプロットするようにしたり、数式のパラメータ変えながらプロットしたりできます。プロット以外にも関数ならなんでも操作できますので色々出来て便利です。 ただし、ipywid

何故やったか pandas.DataFrameに１行ずつデータを書き出して行く処理を書いていたんですが、10万行ほど書き出すと結構遅くなっちゃいました。今後行数が増える予定なので、これを期にどう書くと早くなるか確認しておく事にしました。 やったこと pandas.DataFrame.iloc[i, j] = hoge で１つずつ記入 pandas.DataFrame.append(hoge) で１行まとめて追加 pandas.DataFrame.iloc[i,:] = hoge で１行まとめて追加 1列ずつリストで作ってDataFrameに変換する※ ※ 2018.11/12 kishiyamaさんに教えて頂いたやり方を追記 試した環境 windows10 64bit cpu: Ryzen7 1700X gpu: GTX1080Ti python3.6 jupyter 1.0.0 jupy

解説 tensorflowは普通に使うとGPUメモリを取れるだけ取りにいっちゃいます。大きいモデルを１つだけ学習するならそれでも良いんですが、小さいモデルで学習する場合もガッツリメモリをもっていかれるのがイマイチです。例えばmnistを隠れ層128ノード1層で学習してもこんな感じになっちゃいます。 こんなに必要なわけないので、最小限だけ使うように設定します。 tensorflow1系 tensorflow1系を使ってた頃はkerasとtensorflowが別packageだったので、keras.backend.set_session()の引数にtf.Session(config=hoge)を渡すことでコントロールしてました。 from keras import backend as K config = tf.ConfigProto() config.gpu_options.allow_g