nabinnoのブックマーク - はてなブックマーク

[Python]可読性を上げるための、docstringの書き方を学ぶ（NumPyスタイル） - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 日々Pythonの色々な記事がアップされているものの、あまりdocstringに触れている日本語の記事が少ないな・・ということで書きました。そもそもdocstringって？ Pythonの関数だったりクラスだったりに記述するコメントです。 JSDocだったりのPython版です。書き方は、最初結構他の言語と違うな・・という印象を受けました。 docstring書くと何が嬉しいの？後で見直したときに、すぐ内容が把握できるよ Guido の重要な洞察のひとつに、コードは書くよりも読まれることの方が多い、というものがあります。はじめに
nabinno 2020/01/05
ElixirはNumPyスタイルを継承したのか

qiita

python

docstring
リンク
Pythonを速くするTIPS集（計測・ビルドインの各機能・Cython・Numba・etc） - Qiita
色々Pythonを速くするための世の中に方法はありますが、本記事ではCythonやPyPyなどの高速化のTIPSに触れていきます。この記事で触れることプロファイラーなどの計測関係ビルドインモジュールなどの機能 Pythonのキャッシュ関係 Cython Numba PyPy（紹介だけ）その他一部のサードパーティーのライブラリ関係この記事で触れないけどそのうち書くかもしれない内容並列処理（multiprocessing）、並行処理（threading）、非同期処理（asyncio）、それらの組み合わせ（concurrent.futures）など Dask関係 PyPyの踏み込んだ検証内容など話題のVaex 記事で使う環境 Windows10（ローカルのJupyter）とUbuntu（クラウド上のカーネル）で進めていきます。言語はPython3.7.1（win）とPython3
nabinno 2020/01/05
qiita

python

numba

performance-engineering
リンク
PythonのDaskをしっかり調べてみた（大きなデータセットを快適に扱う） - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? PandasやNumPyの並列処理だったり、メモリに乗り切らないデータを扱う際などによく見かけるDaskライブラリ。ただ、細かいところまで触れている日本語の資料があまり無かったので、公式ドキュメントなどをしっかり読んでみてまとめてみました。 ※Daskのドキュメント既に読まれている方はご存知かと思いますが、ドキュメントがかなりのボリュームなのと、細かい所まで把握するのを目的とするため、本記事も長めです。仕事などの都合でさくっと使われたい方には向いておりませんので、そういった場合は別の記事をご参照ください。どんなライブラリなのか Py
nabinno 2020/01/05
qiita

dask

python

concurrent-computing

performance-engineering
リンク
Pandasのjson_normalizeを詳しく調べてみる - Qiita
普段、仕事で入れ子になっているデータを扱う必要のある時がぼちぼちあります（特に、スキーマレスのMongo DBのログであったりなどなど）。 BigQueryなどに入れてしまえば、WITHINなどを使ったクエリでいい感じに行列の形に変えてくれたりして簡単ではありますが、そうではない場合はPandasで大規模なデータを扱う際には結構苦労することがあります。その辺りいい感じにやってくれるライブラリでも書くか・・と思ったところ、調べていたらPandasにjson_normalizeというAPIがあるようです。使ったことがなかったので、色々動かしつつ調べてみます。早速動かしてみる。まずはimport。 log_data_list = [{ 'id': 1, 'name': 'john', 'equi pment_status': [{ 'equi pment_id': 1, 'attack': 10
nabinno 2018/10/30
qiita

pandas

python

data-processing

analytics
リンク
Kerasでメモリに乗りきらない量のデータを扱うための、fit_generator関数を試してみる - Qiita
画像関係のKaggleコンテストで、Kerasを使いつつコードを書いていたところ、前処理などで工夫しても厳しそうなレベルでメモリ不足に悩まされました。（しかし、一方で精度を上げるためになるべく多くのデータを使いたい）他の人はどうやっているんだろう？と他人のカーネルを見ていたところ、KerasのSequentialクラスにfit_generator関数という、バッチ単位でデータを扱ってくれる（＝瞬間的なメモリが少なくて済む）関数を使っているようでした。過去に読んだ書籍だと、この関数は使っていなかったので、触りながら色々調べてみます。簡単な例で試してみる。 MNISTで試してみます。モデルのコード自体は、以前書いたGoogle colaboratoryを試してみる（Keras ＆ MNIST）のものをほぼそのまま使います。 X.shapeが(60000, 1, 28, 28)、y.sha
nabinno 2018/10/26
qiita

keras

tensorflow

machine-learning

analytics

data-visualization

python
リンク
pandasで複数カラムを参照して高速に1行1行値を調整する際のメモ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
nabinno 2018/05/31
pandas

python

data-processing

analytics
リンク
1