概要 地理情報をPythonで扱うのに便利なfoliumというパッケージについてまとめる。 foliumについて foliumは、LeafletというJavaScriptライブラリを上手いことPythonでラップしてくれているライブラリ。 Mapオブジェクトを作成 Mapオブジェクトに様々な形を追加 Mapオブジェクトをhtmlとして保存 という手順で、簡単にインタラクティブな地図を含んだHTMLファイルを作成することができる。JupyterLab上では、単純にMapオブジェクトを表示させるだけで画面内で地図が表示される。 このエントリは、JupyterLab上で書いている。当エントリ内のコードを順番にJupyterLabで実行すれば、同じ結果が得られる（はず）。 バージョン情報 import sys import folium print(f"""Python {sys.version}

Workflow Hacks! #1 が開催されるなど、データ分析のワークフロー管理が見直されつつある今日この頃ですが、Treasure Data 社内ではこれまでのところ Luigi を主なツールとして利用しています。ここでは Luigi を使ったワークフローがどのようなものであるかを紹介します。 （追記: 2016-09-18）その後、社内ワークフローは Digdag（主にSQLのクエリ実行に利用）、及び Airflow（主にスクリプトの実行に利用）へと置き換わり、Luigi を利用することはほぼなくなりました。 ワークフロー管理ツールとは？ データ分析における「ワークフロー管理ツール」とは、データ処理の過程で必要となる一連のタスク(データのロードや、クエリの実行など)を自動化し、管理するために設計されたソフトウェアです。例えば、毎日決まったタスクをスケジュール実行したり、問題が起きた

2014年12月5日に開催されたPostgreSQLカンファレンス2014の講演資料です。 http://www.postgresql.jp/events/jpug-pgcon2014Read less

こんにちは、シバタアキラです。この度PyDataの本家であるアメリカのコミュニティーで半年に一度開催されているPyDataカンファレンスに出席するため、NYCに行って来ました。11/22-11/23の二日間の日程で行われ、延べ250人ほどが参加したイベントです。その時の模様は、先日のPyData Tokyo第二回ミートアップでもご説明させていただき、また後日記事化されると思いますので、そちらをぜひご覧いただければと思います。 今回はそのPyData NYCカンファレンスで私が発表してきたミニプロジェクトについてお話します。最近各所で話題に上がるディープラーニングですが、これを使った応用を「カメリオ」のサービス向上のために使えないか、というのがそもそものプロジェクトの着想でした。今回PyData Tokyoオーガナイザーとして、またディープラーニングで色々と面白い実験をしている田中さん（@a

意識を低く保ったまま、定型作業を自動化する話です。 ※どうも言葉足らずで誤解させてしまっているようなので補足を書きました。ご覧ください http://qiita.com/greenspa/items/fff535d2ae5da36e36feRead less

データ・サイエンスの博士クラスにはまだまだRが人気のようだが、一般層にはPythonが浸透しつつあるようだ。 これまでデータ・サイエンティストの選ぶプログラミング言語はRだったのだが、急激にPythonに置き換わろうとしている。このシフトの理由はいくつかあるようだが、第一にはPython自体が汎用的で比較的学びやすい言語であるのに対し、Rが習得するにあたってやや複雑であることがあげられるだろう。データにますます依存しつつある現代社会とデータに飢えたサイエンティストにとっては「簡単さ」こそが鍵となるのだ。Rは実際にはプログラミング言語ではないRを覚えることに苦労する人が多い理由として考えられるのは、Rが実際にはプログラミング言語ではないからかもしれない。R専門家のジョン・クックいわく、Rとは「統計のためのインタラクティブな環境」であり、厳密にはプログラミング言語ではないのだ。彼はさらに「Rを

Pythonを使ってこの方さまざまな点につまずいたが、ここではそんなトラップを回避して快適なPython Lifeを送っていただくべく、書き始める前に知っておけばよかったというTipsをまとめておく。 Python2系と3系について Pythonには2系と3系があり、3系では後方互換性に影響のある変更が入れられている。つまり、Python3のコードはPython2では動かないことがある(逆もしかり)。 Python3ではPython2における様々な点が改善されており、今から使うなら最新版のPython3で行うのが基本だ(下記でも、Python3で改善されるものは明記するようにした)。何より、Python2は2020年1月1日をもってサポートが終了した。よって今からPython2を使う理由はない。未だにPython2を使う者は、小学生にもディスられる。 しかし、世の中にはまだPython3に

Fabricで時間のかかる処理をしていて、処理の途中でパスワードの入力を求められると、そこで処理が止まってしまっていて、不便に感じることがあります。 fab -Iまたはfab --initial-password-promptとオプションをつけて起動すると、パスワードを必ず実行時に入力するように強制することが出来ます。.zshrcなどでalias fab="fab -I"などと設定しておくと、便利かもしれません。

IPython 2.0のリリース記念に使い方を紹介します。 IPythonて何だよクソが IPythonは、Pythonの対話型インタプリタを強力に(本当に強力に)拡張したものです。 といってもただの拡張に留まらず、大きく分けると以下の機能を持っています。 拡張された対話型シェル 分離型プロセス間通信モデル 並列コンピューティング機構 ですが、まずここはやはり、IPythonの強力な対話型シェルについて使い方を簡単に書いていきます。 では、まずはインストールしましょう。

In [70]: %%timeit ...: a = 0 ...: for i in range(100): ...: a = max(a, random.random()) ...: 10000 loops, best of 3: 37.7 us per loop In [45]: os.path.exists? Type: function String Form:<function exists at 0x10890be60> File: /Users/*** Definition: os.path.exists(path) Docstring: Test whether a path exists. Returns False for broken symbolic links In [46]: os.path.exists?? Type: function String Form

ところで、自動委譲と__getattr__の方法１・方法２にはちょっとした欠陥があります。 w = WriterDecorator1(SimpleWriter("test.txt")) print(w.writeline) # &#061;> <bound method SimpleWriter.writeline of <SimpleWriter object at 0x00B008B0>> WriterDecorator1のメソッドのはずなのに、SimpleWriterのメソッドの名前が表示されてしまいます。さらに、WriterDecoratorのメソッドをとってくる事も出来ません。 WriterDecorator2.writeline #=> AttributeError: type object 'WriterDecorator2' has no attribute 'writel

Decoratorパターンの項でも書きましたが、「メンバのメソッドに丸投げするメソッド」をしばしば書く必要が出てきます。 class WriterDecorator(object): #以下のメソッドは単にwriterに丸投げ def writeline(self, line): return self.writer.writeline(line) の様に。そこで、こういうのを自動的に行うようにします。 やり方は数種類あるようです。 方法１：__init__で属性をセット 一番分かりやすい方法です。getattr(self.writer, name)で、self.writerのbound methodを取れるのを利用します。 class SimpleWriter(object): def __init__(self, path): self.file = open(path, "w") d

I am trying to return a html template with BottlePy. And this works fine. But if I insert a javascript file like this in my tpl-file: <script type="text/javascript" src="js/main.js" charset="utf-8"></script> I get an 404 error. (Failed to load resource: the server responded with a status of 404 (Not Found)) Does anyone know how to fix this problem? Here is my script file: from bottle import route,

Harvard's CS109A course is an introductory course in data science, designed for students with some prior programming experience. The course covers a broad range of topics in data science, including data cleaning, visualization, analysis, and machine learning. Students learn to use tools such as Python to work with data and build statistical models. The course also includes a significant group proj