データ分析ライブラリPandasの使い方 - Librabuch
本エントリは、次のAdvent Calendarのために書かれたものです。 Python Advent Calendar 2013 (12月24日) 取り扱う内容 Pythonのデータ分析用ライブラリであるPandasの紹介と簡単なサンプルコードを取り扱います。 Pandasとは 一時期盛り上がったけどあんまりPandasの情報出てこないからよーしエントリ書いちゃうぞー、と息巻いていたらこのようなフルスタックな書籍が出版されるようです。 [amazonjs asin="4873116554" locale="JP" title="Pythonによるデータ分析入門 ―NumPy、pandasを使ったデータ処理"] どう見てもこの書籍のほうが有益です。本当にありがとうございました。 ...まぁ、発売日より2日早いのでセーフ（なにが？）として、めげずに続けます。 Pandas pandas is
ログ解析ツールを作る - forest book
ログ解析ツールを作っててノッテきてつぶやいたら、 ログ解析ツールを python で書いているときの嬉しさを誰かに共有したい、本当に簡潔に書けて便利なんだよ 2010-11-18 20:29:14 via TweetDeck @t2y 例題とかみてみたいです。 2010-11-18 22:37:54 via TwitBird to @t2y と言われたのでオプションで指定した条件のログを抽出する簡単なサンプルを作ってみました。あくまで私はこんな感じで実装しましたが、他にもっと良いやり方があったら教えてくださいm(_ _)m 私の使い慣れている言語が Python と bash シェルスクリプトと C 言語(嘘です、慣れてません！)しかないので、この中で言えば Python しか選択肢がないですよねというのが本当のところでした(^ ^;; 先ずはログ解析のサンプルプログラムを紹介します(要:
闇Pythonista入門(Pythonワンライナーのテクニック集) - cocuh's note
世界には1行でプログラムを書くワンライナーという技巧的プログラミングの世界があります。 ワンライナーと言われる言語の多くはPerlやRubyなのですが、委員長キャラのPythonでもワンライナーができます。 PEP8とZen of Pythonで綺麗になっているPythonicな世界に Pythonでも1行で書いたよ！楽しい！！ ✌('ω'✌ )三✌('ω')✌三( ✌'ω')✌ などと技巧プログラミングをする闇Pythonista(私)がテクニックなどもろもろをまとめたものがこの記事になってます。 まだPython力を鍛えている途中のわたしなのでなにか指摘などありましたらコメントをいただければです。 対象読者 Pythonをある程度かける人 Pythonの細かい挙動に興味のある人 白Pythonに飽きてしまった人 テクニック1:代入文を式にする Pythonでの代入は基本改行が必要です。
IPython Notebookをアドホック分析環境として使う
こんにちは、Gunosyのエンジニアの粟飯原です。Gunosyでは、主に広告配信サーバー全般の開発運用インフラを行いつつ、データ集計や分析等を行なっています。 Gunosyのエンジニアブログはこちら http://gunosy.github.io/2014/07/08/iptyhonnotebook.html 今回は、自分が開発業務や分析業務で日常的に利用しているIPython Notebookを便利に使う方法を紹介させて頂きます。 基本的に、pipでライブラリがインストールできる環境とnumpy、scipyの環境が揃っていることが前提で進めます。windows環境であれば、ライブラリのインストールは以下のURLのパッケージ群を利用すると快適です。とはいえこのページで紹介しているライブラリはwindowsでは動かないものもあります。 http://www.lfd.uci.edu/~gohl
matplotlib入門 - りんごがでている
matplotlibはPythonでグラフを描画するときなどに使われる標準的なライブラリです。 画像ファイルを作るばかりでなく、簡単なアニメーションやインタラクティブなグラフを作ることも可能です。 実際の例はmatplotlibサイトのギャラリーで見ることができます。 matplotlib/gallery matplotlibは本家のサイトやどこかのブログにあるチュートリアルや例を描画してみるぶんには簡単なのですが、 実際に自分でプロットするとなると基礎的な概念を理解していないと使いにくいライブラリでもあります。 また、基礎的な概念を理解していないとドキュメントを参照する際にもどこを見て、どう実用すればいいのかわかりません。 そこで、この記事ではそのあたりのmatplotlibの基礎を解説していきます。 なお、Python自体の知識はある程度仮定していますが、matplotlib自体の実装
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
python自習テキスト [kirinwiki]
このコンテンツを更新しなくなって久しく、さらにレンタルサーバーのPHPもずっと古いバージョンを使うわけにいかず、従来のdocuwikiを使うのをやめました。全ての内容を静的なHTMLにするのが割と手間なため、手抜きとして、ここの表紙以外をPDFに直してしまいました。これで保存します。python2用なので利用価値もすでに少ないですけどね。 っていうか、実際は動物さんイラスト集サイト。pythonの話はオマケ。 スクリプトが書けると、多分どっかで何かの役に立ちます。決まりきった仕事をチマチマと手作業でやるような場面で、スクリプトを上手に書けると劇的に楽になったりすることもあります。筆者自身がそういう経験を持っているので、他にも同じようなことができる人が現れてほしい。こういった動機で、習得用のテキストをポチポチと書き続けています。 興味はある(or 必要に迫られている)んだけど、本当に何も知ら
pygal - A python svg graph plotting library - News
Try it online News Documentation Support Download RSS Feed Monday, September 17 2012 12:00 Pygal 0.12.1Pygal 0.12.1 is out!Get it via PyPi.ChangelogCabaret is online, check out the new pygal chart generator here: cabaret.pygal.org.Core rewrite of the instanciation mechanism. Now it works with ghost objects holding configuration and values. Those phantoms instanciate the real objects only when the
ソフトシンセを作りながら学ぶPythonプログラミング
PyCon JP 2012のハンズオンセッションで使用したスライドです。ハンズオンに参加して、その場で解説を聞きながら眺めるというようなものなので、あまり自習向けではないです。自習用の資料などは、なんらかのかたちで提供できればと考えています。
Python入門：デコレータとは
前から常々思っていることだが、何かについて勉強する一番効率的な方法はそれを誰かに教えること。人に教えようとすると、それなりに準備をしなければならないし、自分の頭の中を整理しなければならない。また教える過程でするどい質問をされたり間違いを指摘されて、さらに勉強を強いられることもある。 私がこの手の「入門編エントリー」を書くのは、ほとんどの場合「自分自身の理解をより深めたい」ことが一番の目的であるが、ブログの場合、教室などと違って「その道の達人」みたいな人たちがツッコミを入れてくれるケースもしばしばあるので、そのメリットは何倍にもなる。 先日のクロージャに関するエントリーなどは良い例で、「そんな用途にはmemoizeというデコレータが便利」などの指摘がいただけだけであれを書いた価値があるというもの。 そこで、今日はPythonのデコレータに関して。デコレータがPythonという言語に導入された
Google App Engine についてあなたが多分知らない10のこと． - hidemonのブログ
Google App Engineのブログより．なんかスターとかいただいたので，もう少し丁寧に訳してみる． Google App Engine についてあなたが多分知らない10のこと． 1. アプリケーションのバージョンは数字ではなく文字列である． app.yamlやappengine-webのほとんどの例では，versionフィールドに数字をあたえているが，これは単なる慣習にすぎない．バージョンにはURLで許されているものであれば，任意の文字列が使用できる．たとえば，"live" や "dev" をバージョンに使うと，アプリケーションは，"live.latest.yourapp.appspot.com" や"dev.latest.yourapp.appspot.com" でアクセスできる． 2. 複数のバージョンのアプリケーションを同時に利用できる。 1で述べたように，App Engin
GAE上で動作するメイン画像取得サービス·image-extrator MOONGIFT
image-extratorはURL中にあるメインとおぼしき画像を取得するソフトウェアです。 Webサイトのサムネイルサービスでよくあるのはスクリーンショットを撮ってサムネイル画像を返却するサービスです。しかしこれでは雰囲気は分かっても同じドメインだとどれも似たような画像になってインパクトに欠けます。そこで使ってみたいのがメインの画像を返してくれるimage-extratorです。 一例です。 例えばYahoo! Japanのトップページです。この場合、 この画像が選択されました。 こちらの記事の場合は… こちらの画像です。 image-extratorはRedditのシステムで使われているスクレイピングコードをベースに作られています。システムはGoogle App Engineを使っており、URLを投げるとその画像のパスが返ってくる仕組みです。 image-extratorはPython
Python入門 ～Pythonのインストール方法やPythonを使ったプログラミングの方法について解説します～ | PythonWeb
Python は 1991 年にオランダのプログラマー、グイド・ヴァンロッサムによって開発されたプログラミング言語です。シンプルで直感的な文法と可読性の高さから、初心者から上級者まで幅広く利用されています。現在では Web 開発やデータ分析に加え、 AI や機械学習などの分野でも活用されています。 Python の最大の特徴は、「書きやすさ」と「読みやすさ」です。コードが直感的でわかりやすく、少ない行数で効率的かつシンプルにプログラムを書くことができます。そのため、プログラミング初心者にとって学習しやすく、経験者にとっても生産性の高い開発を行うことが可能です。また Python には豊富なライブラリやフレームワークが揃っており、初心者でも高度なアプリケーションやシステムを容易に開発できるのが魅力です。 Python は多くの企業や研究機関で採用されており、大手 IT 企業でも活用されていま
基礎からはじめるPython---目次
オブジェクト指向スクリプト言語であるPythonは，日常の作業に利用するちょっとしたスクリプトから，商用サイトや大規模Webシステムまで幅広く適用できる非常に便利なプログラミング言語です。日本ではあまり認知度は高くありませんが，欧米を中心に幅広く利用されており，米Googleなどの有名企業でも採用されています。 この特集では，プログラミング言語Pythonの魅力と使い方を説明します。特にこれからPythonをはじめようというビギナーの方に，とっかかりとなる言語の基礎と導入方法を説明します。 第1回 気軽にPythonを始めよう 第2回 データベース・プログラミングも簡単 第3回 スクレイピングにチャレンジ！ 第4回 Google App EngineでPythonプログラムを公開してみる 第5回 GoogleAppEngineでMVCアプリケーションを作成する 第6回 Djangoフレーム
urllib2でmultipart/form-dataを扱う - Tech Labo
今日もPython。 サポートする様子がないので自前で用意する。 http://codepad.org/0hBSIhCh 使い方は import urllib2, cookielib import MultipartPostHandler cookie = cookielib.CookieJar() opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie),MultipartPostHandler.MultipartPostHandler) url = "http://example.com/post" post_data = {"name" : "test", "file" : open("filename.mpg", "rb"} open = opener.open(url, post_data) みたいな。UR
「パラメータをソートし，URIエンコードした key=value の形にして & で繋げます」 の書き方 - 宇宙行きたい
http://d.hatena.ne.jp/Yoshiori/20100929/1285727199 この記事で 僕が書いたコード params_str = '&'.join(['%s=%s' % (urllib.quote(key, ''),urllib.quote(params[key], '')) for key in sorted(params)]) で、いただいたブクマコメント id:agricola Python, あれげ リスト内包の使い方に美がないなぁ……。辞書のキーと値を、キーで並べ替えて取り出して=で連結するなら ['='.join((k, v)) for k, v in sorted(d.items(), key = lambda x: x[0])] とか書く気がする。 http://b.hatena.ne.jp/agricola/20100929#bookmark-
サンプルコードで分かるGAE＆Twitter API開発 (1/5)
みなさんこんにちは。ふむふむソフトの飯島です。 前回の記事では、Twitter APIを利用するための手続きと、GAE（Google App Engine） SDKを使ってローカルの開発環境でWebサービスを動かす方法を説明しました。今回はいよいよ、サンプルコードの中身について解説したいと思います。 Twitter APIを使うと、たとえばこうなります！（その3） コードの解説に入る前に、今回も1つ、当社がTwitter APIで作ったサンプルをお見せしましょう。本連載のサンプルコードのカスタマイズ例として、第1回では「ついまん。創刊準備号」、第2回では「Lispeln α（リスペルン アルファ版）」を紹介しましたが、今回はちょっと毛色を変えてTwitter ボット（bot）を紹介します。 1年間かけてひっそりと1万ダウンロードを突破した、当社開発の人気Windows ガジェット「はとぽっ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Jupyter Notebook Viewer
Python ライブラリリファレンス
PythonによるGoogle App Engine(GAE)プログラミング入門 - libro