はてなブックマーク

Python、R、Juliaそれぞれの強みがあるので組み合わせて使いたい場面がしばしばあるかと思います。コードを直接呼び出す機能もありますが、データ解析の場面ではそこまで密に結合させなくても別々のスクリプトで違うステップを担当すれば十分なことも多いでしょう。たとえばPythonでデータのスクレイピングをして、Juliaでマルチスレッドに解析を回し、Rで統計解析や可視化を行うといったケースは想像しやすいかと思います。 Why Feather? そんなとき、Pythonでpickleで保存するともちろん他のプログラミング言語にデータを持っていくことができない、いっぽうでCSVでの保存は遅かったり読み込み時にパースし直すのが面倒、など微妙にやりづらさを覚えることがあります。今回はそんなワークフロー構築での悩みを解決してくれる Featherフォーマット とその使い方を簡単に紹介します。Feath

うわっ…私のpandas、遅すぎ…?って時にやるべきこと（先人の知恵より） こちらに書かれている通り、pandasはたしかに遅い、特に使い方によっては極端に遅い。かといってforループを回避するためにあれこれ読みにくいコードを書きたくない。……だったらJuliaにしたらいいよ！ という記事です。 pandasはどのくらい遅いか？ 元記事のデータは非公開のコードで加工されたもののようなので、ここでは他の公共データセットのデータを使わせてもらいます。Scikit-learnに入っているCalifornia Housingを使いましょう。約2万件しかデータがないのはちょっと物足りないので10回連結して約20万件に水増しします。 import sklearn from sklearn.datasets import fetch_california_housing import pandas as

この記事では、ごくごく細かいtipsを紹介します。といいつつ大半はmatplotlibの使い方になってしまった面もありますが、matplotlibに触ったことがない人がSeabornをいきなり使おうとしたときにつまるポイント（よそではmatplotlibの知識が前提となって解説されているところ）を補足する役割では役立つと思い書いてみます。 描画したグラフを表示する matplotlib側の機能で、描画したあとにplt.show()を呼ぶと表示されます。 import numpy as np import matplotlib.pyplot as plt import seaborn as sns # cf. https://www.reddit.com/r/learnpython/comments/5oscmr/why_is_seaborn_commonly_imported_as_sns