otani0083のブックマーク - はてなブックマーク

速いと噂のPythonのVaexについて詳しく調べてみた。 - Qiita

結構前にPandasやDaskなどよりも大分高速と話題になっていたPythonのVaexライブラリについて、仕事で利用していきそうな気配がしているので事前にしっかり把握しておくため、色々調べてみました。どんなライブラリなのか Pandasと同じように行列のデータフレームなどを扱うことのできるPythonライブラリです。 Pandasと比較して膨大なデータの読み込みや計算などを高速に行えます（数十倍～数百倍といったレベルで）。計算上のメモリ効率がとても良く、無駄の少ない実装になっています。 Daskのように計算が遅延評価されたりと、通常はメモリに乗りきらないデータでも扱うことができます。 Daskのように並列処理で計算を行ってくれます。 Pandasと比較的似たインターフェイスで扱うことができます。この記事で触れること主に以下のVaexのトピックに関して本記事で触れます。インストー

otani0083 2020/12/29

リンク

[ついにメジャーアップデート]Pandas1.0.0rcのアップデート内容を色々調べてみた - Qiita

ついにPandasの1.0.0rc版が公開されたようなので、早速アップデート内容の確認や挙動を試していきたいと思います。元のツイート : Pandas 1.0.0rc0 is now available for testing! Please try it out and report any issues.https://t.co/iTjBtzy3WA — pandas (@pandas_dev) January 10, 2020 TLDR 極端にがらっと変わったという感じでもありませんが、細かいところが色々とたくさんブラッシュアップされたような印象を受けました。整数の列に欠損値が含まれていた際に、カラムの型を整数のまま保持するためのpd.NAのシングルトンが追加された。文字列のカラムがobjectではなく文字列専用の型を指定できるようになった。真偽値のカラムでも、カラムの型を維

otani0083 2020/01/20

文字列専用のカラム、マークダウン出力はいいね。

pandas

リンク

[作業効率化] Jupyterの拡張機能を全部調べてみた - Qiita

今までも、いくつか拡張機能は使っていたものの、大部分は使わずに過ごしていたため、食わず嫌いはいけないな・・と思いドキュメント読みながら使ってみてまとめます。まえおき拡張機能（nbextensions）自体や、過去の記事で触れたHinterlandやTable of Contents (2)などはそちらの記事（Jupyter 知っておくと少し便利なTIPS集）をご確認ください。結構抄訳などしています。（浅く広く。詳細はドキュメントに任せるとして、こんな拡張機能あるのか、程度にご使用ください） nbextensionsを入れたときに最初から入っている拡張機能を対象とします。全部といっても、nbextensionsの設定画面を表示するための拡張機能だったり、基本的にデフォルトで有効で、且つ変えることがほぼなさそうなものは割愛します。環境は「Python 3.6.5 :: Anacond

otani0083 2018/08/13

リンク

Jupyter 知っておくと少し便利なTIPS集 - Qiita

今まで仕事で使ってきた、メジャーなものからマイナーなものまで含めたJupyter NotebooksのTIPS集です。入力補完とりあえずこれが無いと生きていけません。 Nbextensions（Jupyterの拡張機能）自体が未設定であれば、一旦そちらをインストールして、その後にHinterlandという機能にチェックを入れると有効化されます。 AnacondaのJupyter notebookでnbextensionsを使う ※Nbextensionsインストール後、Jupyterのファイルリスト的な画面で、タブで「Nbextensions」という選択肢が追加されます。 Azure Notebooksなどだと、最初からインストール不要で選択できるようになっています。 Google Colaboratoryなどでは、そういった設定ができるのかまだよくわかっていません。（ご存じの方コメン