はてなブックマーク

データベースに保存してあるデータを見るときに、結果を再集計したりグラフで確認できると便利です。また、そのときにデータから読み取ったこと、考えたことをメモしておけるとチームで共有できるようになります。 専用のダッシュボードを作る程でもないけれど、という規模のときは、Jupyter Notebook をフロントエンドとして使うと便利です。 実行環境の用意 Docker を使ってテスト環境を用意します。Jupyter (jupyter/datascience-notebook) と PostgreSQL (postgres) の２つのイメージを使います。 まずは PostgreSQL を立ち上げて、Jupyter はそれにリンクさせます。テストデータは後述の pagila を使いますので、データベース名もそれに合わせておきます。公式の Docker イメージでは、環境変数を与えることで設定できま

NY.GDP.PCAP.KD float64 dtype: object df_gdp.index MultiIndex(levels=[['Japan', 'United States'], ['1960', '1961', '1962', '1963', '1964', '1965', '1966', '1967', '1968', '1969', '1970', '1971', '1972', '1973', '1974', '1975', '1976', '1977', '1978', '1979', '1980', '1981', '1982', '1983', '1984', '1985', '1986', '1987', '1988', '1989', '1990', '1991', '1992', '1993', '1994', '1995', '1996', '1997'

Python でとりあえずグラフを描画する場合は matplotlib を使うことが多いと思います。しかし、設定 API がたくさんありすぎてどれを使うべきか迷ったり、デフォルトのカラーパレットがイマイチな印象があります。Seaborn を使うとこれらの課題のいくつかを解決できます。具体例は以下の記事が参考になるでしょう。 pythonで美しいグラフ描画 -seabornを使えばデータ分析と可視化が捗る その1 - Qiita pythonで美しいグラフ描画 -seabornを使えばデータ分析と可視化が捗る その2 - Qiita 純粋な数値演算の場合は縦軸も横軸も数値や日付などになることが多いのですが、データセットによっては日本語を扱うこともあるでしょう。ラベルやテキストに日本語を使うためにはフォント設定が必要になります。この問題にはいくつかの記事が参考になります。 matplotlib

【更新】Jupyter 5 系のアップデート版の記事が別にあります。 JupyterのDockerイメージまとめ - Qiita IPythonはバージョン4.0から Project Jupyter に統合されるようになりました。JupyterはPythonだけでなく、R, Julia, Scalaからも使えるようになり、データ分析の核となるツールと言えます。40を超えるプログラミング言語から使えるだけでなく、Jupyter Notebook Viewer を介して共同作業を促したり、Apache Spark と統合することも可能です。ちょっと SciPy Stack を試してみようかな、と思って IPython Notebook を使う世代とは一線を画すものになっています。 これまではNumPyやpandasと言えばインストールが大変な印象でしたが、Jupyterは複数のDockerイメ

PostGIS の ST_AsGeoJSON を使うと、空間情報を簡単に GeoJSON 形式で出力できます。しかし、空間情報に属性情報を付与したい場合もあります。人口などの量的情報はもちろんですが、Mapbox の Simplestyle に沿った描画情報 - An open platform > Styling features | Mapbox - が挙げられます。 PostgreSQL には row_to_json などの関数があり、SQL の結果を JSON で出力できます。これを利用すると、PostGIS に保存してある空間情報を GeoJSON で出力するときに属性を付与できます。バッチ処理でデータ形式を変換するときには便利なのでメモしておきます。 PostgreSQL: Documentation: 9.3: JSON Functions and Operators データ

QGISは「フリーでオープンソースの地理情報システム」で、お店などの場所を地図上で簡単に確認できます。単なる地点情報だけでなく、鉄道路線のような線の情報や、都道府県や市区町村などの面の情報も扱えます。複数のレイヤーを重ね合わせることで、単なる数値データを地理的な側面も考慮して表現できます。 MapboxはOSM (OpenStreetMap) をベースにした地図サービスです。Mapboxにユーザー登録してプロジェクトを作成すると、地図の見た目を自分でデザインできます。タイル地図を含めたデータ配信APIをたくさん用意してくれていますので、様々なデバイスやアプリケーションから利用できます。 QGISで地物を表示するときに背景が真っ白だと寂しい感じがしますし、Google Mapsでは印刷ができません。OpenStreetMapや国土地理院地図が良い選択肢となることも多いですが、見た目を変えるた

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Bokeh を使うとインタラクティブなグラフを作成できます。HTML での出力、IPython Notebook との統合など、Python だけでデータをグラフィカルに表現できるようになります。 使い方は公式サイトのギャラリーや下記のノートブックが参考になります。 Gallery — Bokeh 0.7.0 documentation Bokeh 5-minute Overview Creating Interactive Visualizations with Bokeh Bokeh の主な開発者は Anaconda などを提供している Continuum Analytics の人たちで、YouTube で作者のプレゼンテーションも見られます。５０分近く長いですが、BokehJS を始めとしたアーキテクチャーの話題もありますので参考になります。 Bokeh: Interactive W

この記事とだいたい一緒です。 国土交通省のデータを使って、緯度経度から市区町村までを取り出す ここでは、住所コードからその市区町村の形状を描いてみます。流れとしては以下のようになります。 国土数値情報ダウンロードサービスから都道府県ごとのZIPファイルをダウンロード ZIPを展開し、Shape形式のデータをPostGISに登録 PostGISを使って形状データを市区町村ごとに結合 GeoJSONで出力して描画 まずは平成25年度のデータをダウンロードします。平成26年度のデータが公開されたらそちらを使った方が良いでしょう。クリックを繰り返すだけの単調作業なので、時間があるときに実施しておきます。47都道府県のZIPファイルを、どこか適当なディレクトリにまとめて保管します。 EC2インスタンスを起動 AWS の EC2 で作業します。インスタンスのイメージIDは Amazon Linux A

Docker で Python 3.4 を使えるようにして IPython Notebook を動かしてみます。 Python 3.4 に対応し切れていないライブラリもいくつかありますが、徐々に移行は進んでいますので、これから書くなら Python 3.4 が良いでしょう。ライブラリの対応状況は Python 3 Wall of Superpowers で確認できます。 Docker を使う理由は： Python 3.4 を使うときに、一手間かかることもある numpy や scipy などを使うときはインストールが大変なこともある (特にWindows) 計算量が増えるときは EC2 でインスタンスタイプを変えられると便利 IPython Notebook でデータ分析を進める理由はこの辺が分かりやすいと思います。 不正論文を減らす仕組みがここにある。iPython Notebookで作

Sphinx でドキュメントを書いているとソースファイル (reST) を HTML に変換するために make html コマンドを実行することが多いと思います。しばらく書いてみると、ソースファイルを変更する度にコマンドを実行して HTML を確認するためにブラウザをリロードして ... という操作は煩雑に思えてきます。 Python LiveReload を使うとファイルの変更を検知してブラウザを自動的にリロードできるようになります。設定スクリプトは Python で記述しますので、Python に関するドキュメントを書いている場合は頭の切り替えが要らない点がメリットと言えます。 バージョンによって設定方法が違っており、各種 API も変わっています。バージョン 2.2.1 からはそろそろ Python 3.x でも使えるようになってきましたので、導入方法をまとめておきます。 dire