[B! kaggle][python] manabouのブックマーク

Plotting with Python: learn 80 plots STEP by STEP | Kaggle

manabou 2021/02/17

リンク

Day-107 Pythonの高速画像処理ライブラリLyconが速い - CC56

何ヶ月か前にTwitterのタイムラインに流れてきたのですが、それっきり話題を聞かないので検証してみることにしました。ちなみに、個人的に普段使って慣れているのは、癖が少なくて扱いやすい scikit-image です。 (OpenCVはBGRがデフォルトなので基本的に避けたいですし、PILは癖が強めなのであまり好きではないです) 高速の画像処理ライブラリを使うモチベは、もちろん Kaggle です。特に画像の読み込みが速いと、時間短縮に直結するので個人的に嬉しいです。 Lyconとは C++で書かれたPython用の軽量画像処理ライブラリらしいです。 PyPI にあるので pip install ですぐに使えます。(一応依存関係も気にしなきゃいけないかも) github.com 性能の割にスターが控えめな気がする。試しに使ってみる多少の実戦を仮定して、Kaggle の Notebo

manabou 2020/07/25

リンク

Python関係の「○○100本ノック」のまとめ - Qiita

「○○100本ノックとは」？プログラミング関係のエクササイズ集・Tips集的なものです。ちょっとしたテクニックや、基礎がまとまっているので解いてみると練習になります。最初にやるのは退屈かもしれませんが、学習の停滞期にやってみると、思わぬ発見があるのではないかなと思います。この記事では、Python関係の100本ノックを簡単にまとめてみました。自分が知っているのは、以下くらいですが、他にも良いもの（絶対ある気がします）知っている人はぜひコメントなどで教えてください。画像処理100本ノック画像処理100本ノック!! 追記：本家が惜しくも無くなってしまっていたので、fork（？）されていたものにリンク張り替えました。解説・Google Colaboratoryで実行するときは以下記事参考にしてみてください。ディープラーニング ∞本ノック注：元サイトが消えてしまったので、私がfor

manabou 2020/05/13

リンク

機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 (オライリー・ジャパン) 読んだ - 糞糞糞ネット弁慶

www.amazon.co.jp 訳者よりご恵贈いただきました．8年前に kaggle のアカウントを作ったきりの人間であるため，この文章にさほど価値があるとは思えませんが感想を書きたいと思います．ロジスティック回帰や決定木，ランダムフォレストやニューラルネットワークなどの機械学習アルゴリズムにどのようにデータを入力するか，ただのデータをよりアルゴリズムのパフォーマンスが改善するように加工する作業を「特徴量エンジニアリング」と呼びます．本書はその特徴量エンジニアリングの基礎である変数の値をそのまま使うのか，二値化するのか，区分に分けて離散化するのか，対数を取るのか，値を一定の区間に揃えるのかテキストをどのように特徴量にするのか，どう処理すべきか，どう重み付けるのかカテゴリ変数をどのように扱うのか，カテゴリの数が増えた時にどう対処するか変数の数が多い時にどう減らせば良いのか k-

manabou 2019/03/02

リンク

【Pythonで決定木 & Random Forest】タイタニックの生存者データを分析してみた - Np-Urのデータ分析教室

前回まで、決定木・ランダムフォレストの理論について勉強しました。 www.randpy.tokyo www.randpy.tokyo 今回はPythonで実際に動かしていきたいと思います。扱うのは、タイタニック号の生存者データです。性別や年齢など、どんな要素が生存率に影響を与えていたのか、分析してみます。なお、Pythonによる決定木・ランダムフォレストのコード例は、以下の書籍にも記載されてますので、参考にしてみてください。 Pythonと実データで遊んで学ぶデータ分析講座作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見るこれは、kaggleという世界的なデータ分析コンペティションで提供されているサンプルデータですので、ご存知の方も多く少し面白みには欠けますが、決定木とラン

manabou 2017/12/13

リンク

道具としてのCython - tkm2261's blog

皆様tkm2261です。今日は道具としてのCythonと題して、使うことに特化してCythonの解説をしたいと思います。きっかけはKaggle Cythonを使うとき FaronさんのF1最適化 DP (Dynamic Programming)を含んだ実装はCythonの出番使い方その1 『Cython実装』ファイルは.pyx cimport 型宣言オプション指定普通のPythonも書ける使い方その2『コンパイル』 setup.pyの書き方コンパイルの実行使い方その3『呼び出し』速度検証付録: 実装 utils.pyx きっかけはKaggle 最近まで参加していたInstacart Market Basket Analysis | Kaggleでどうしても高速化したい処理があり実装しました。 Numbaも良いのですが、速くなるときとならないときがあり、JITよ