LAMP - Multiple testing procedure for finding higher order effects
LAMP is a code for multiple testing correction. Given the relationships between transcription factors (TFs) and genes and gene expression levels, the code lists up statistically significant combinations of TFs. The LAMP algorithm calibrates the Family-Wise Error Rate (FWER) at the same level of Bonferroni correction. Applying our method to your data instead of using the Bonferroni correction gives
Python入門 : 4日間コース社内トレーニング
The document describes various probability distributions that can arise from combining Bernoulli random variables. It shows how a binomial distribution emerges from summing Bernoulli random variables, and how Poisson, normal, chi-squared, exponential, gamma, and inverse gamma distributions can approximate the binomial as the number of Bernoulli trials increases. Code examples in R are provided to
MongoDB & Python
TOPICS Programming , Database , Python 発行年月日 2012年05月 ISBN 978-4-87311-544-3 原書 MongoDB and Python FORMAT NoSQLデータベースMongoDBをPythonと組み合わせて使う方法を概説した書籍です。Python 2.7とpymongoを利用してMongoDBのさまざまな機能にアクセスします。MongoDBへの接続、データの読み書き、削除といった基本的なものから、サブドキュメントの利用、位置情報の操作、アップサートなどMongoDBに特化した機能までを紹介します。またPylons、Pyramid、DjangoとMongoDBを組み合わせて利用するための基本的な情報も掲載しています。なお本書はEbook版のみの販売となります。 まえがき 1章 使ってみる はじめに 参照ドキュメントのありか
徹底攻略PDFオープンデータ。PDFMinerで始めるPDFテキスト分析。 - Qiita
紹介 オープンデータは、 政府データを、全ての人が自由に加工し、自由に再配布し、自由に商用利用できるようにしていこうとする政治活動です。 現在、政治の透明性や経済の活性化の観点から注目されており、 日本政府も実際にデータを出し始めています。 -> 参考サイト：Open DATA METI | 経済産業省のオープンデータカタログサイト ただし、日本のオープンデータの問題として、 ☆１のオープンデータが出てくるケースが多い事が挙げられます。 オープンデータは、そのオープン性により５つ星で評価されます。 ☆１のオープンデータ、つまりPDFは、 構造化データではない為に最もクローズドとされています。 しかし、技術に疎い公務員の方に機械可読性の重要性を説くことは難しく、 それを理解して貰えたとしても機械可読性の為の予算を割り振って貰えるかは微妙です。 現実問題として、PDFに対峙する必要があるのです
iPhone アプリの Moves からデータを JSON 形式で取得し、それを gpx 形式に変換する - KainokiKaede's diary
はじめに iPhone アプリの Moves は行動ログアプリとして非常に秀逸だと思うのだが、ユーザーが自由に使える形式でデータをエクスポートできないのが玉に瑕である。この瑕疵を埋めるため、以前、外部 Web サービスを利用して Moves からデータを取得しようと試みた（記事1・記事2）。結果、そこそこ満足いく結果が得られたものの、使用している外部サービスの質がなかなかサイケ（婉曲表現）でストレスが溜まっていた（せめてまともな JSON ファイルぐらい吐いてほしかった）。なのでもう面倒だから最初から最後まで自分でやってしまおうと思い立ってコードを書いた。コードは末尾に載せる。 コードの使用方法 以下、このコードの使用法を簡単に解説する。基本的な使い方はコードの最初のコメントにも書いておいたので、そちらも参照していただけると幸いである。 moves-fetch.py このコードを利用するた
NumPyが物足りない人へのCython入門
18 Mar. 2012 第３回Tokyo.Scipyにて発表したスライドです。 CythonだけではなくF2Pyにも触れていてかなりカオスな内容です。
Wikipediaの記事タイトルをmecabの辞書に追加 | ダークフレイムブログ
mecabにユーザー辞書としてwikipediaの記事タイトルを追加します。 環境 Mac OS X Mountain Lion まず、Wikipedia:データベースダウンロードから全記事タイトルをダウンロードします。 ダウンロードしたファイルを解凍します。 $ gunzip jawiki-latest-all-titles-in-ns0.gz 次に解凍したファイルからcsvファイルを作成します。csvファイルを作成する際にこの記事のスクリプトを参考にしました。 ただ、記号などが着いたキーワードも登録したかったのでエスケープなど行い変更しました。 # -*- encoding: utf-8 -*- import sys import re import codecs import unicodedata if __name__ == "__main__": argvs = sys.ar
翻訳 - Pythonのmultiprocessingモジュールを使ってMapReduceをインプリする — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー PyMOTWをメンテしてるDoug HallmannさんがPython 2.6(および3.0)から導入された，分散コンピューティングを強力にサポートするmultiprocessingモジュールを使ってMapReduceを実装しているのを発見した。MapReduceはGoolgeが使っている並列処理システム。multiprocessingモジュールのサンプルとしても，Pythonを使ったMapReduceの実装としても面白いし，勉強になると思うのでエントリを翻訳してみた。Pythonを覚えることの利点はいくつかあるけど，こういう上質なリソースにリーチする権利を得られる，のも大きな利点の一
はてなブックマーク記事のレコメンドシステムを作成 PythonによるはてなAPIの活用とRによるモデルベースレコメンド - データ分析がしたい
私は情報収集にはてなブックマークを多用しており、暇な時は結構な割合ではてなブックマークで記事を探してます。しかし、はてなブックマークは最新の記事を探すのは便利ですが、過去の記事を探すにはいまいち使えません。個人的には多少過去の記事でも自分が興味を持っている分野に関しては、レコメンドして欲しいと感じてます。 ありがたいことにはてなはAPIを公開しており、はてなブックマークの情報を比較的簡単に取得できます。そこでこのAPIを利用して自分に合った記事を見つけるようなレコメンド機能をRとPythonで作成してみたいと思います。 利用するデータは、はてなAPIを使って収集します。具体的には、はてなブックマークフィードを利用して自分のブックマークしているURLを取得し、そのURLをブックマークしているユーザをエントリー情報取得APIを用いて抽出し、そのユーザのブックマークしているURLを収集します。こ
Intoroduction of Pandas with Python
15.7.11 HiRoshima.R #4 Lightning Talks @imyuaotiの発表資料です。 ※注意※（2015.7.19追記） Rでは処理速度が遅いという理由で for関数の使用は避けるべきと考えられています。 本来は，処理を高速化をしたい場合，以下をうまく活用してください。 ・apply関数 ・foreachパッケージ，pforeachパッケージ 【参考資料】 「勝手に添削：for関数を使った繰り返し処理によるヒストグラムの一括出力 #rstatsj」 http://qiita.com/hoxo_m/items/5127c31f3eafd6be7428 （hoxo_mさんに本スライドの内容を添削してもらいました！） 「for を捨てよ、foreach を書こう」 http://www.slideshare.net/hoxo_m/for-foreach 「R で超簡単
MeCab&mecab-pythonをインストール その１ - ふゆみけ
年末にMeCabのVersion 0.99がリリースされてましたねー よりによってリリース日がクリスマスイブってｗｗ ほい，てなわけでMeCab本体&Pythonバインディングのインストールです． 環境はWin7 64bit 本体のインストール http://mecab.sourceforge.net/#download ここからどうぞ． 僕はWindowsユーザーなのでソースからビルドしようとか無謀なことは考えずにバイナリ落としました．仕方ないね Pythonバインディングのインストール こっちはバイナリ配布されてないんで自力でビルドしないといけません． VisualC++ 2008 Express Edition をインストールしていない方は入れておいてください． http://code.google.com/p/mecab/downloads/list ここから mecab-pyth
Windows での mecab 0.993 python バインディングモジュール（32/64ビット）の作り方メモ
プログラミングとか、見た番組とか、興味を持っていろいろ調べてみたこととか、そういうものを書き留めるためのもの MeCab サイトでは、pythonバインディングのファイルを配布していますが、setup.py は Windows 環境向けには書かれていません。そこで、修正してVC++でコンパイルしたときのメモを書いておきます。以前も同じようなことを書きましたが、それはビルド環境が VC2003 でなければならない5年ほど前でした。 今回ビルドした環境は、Windows7で、32ビット版python2.7 と VC2008 がインストールされています。まず、python2.7 は http://www.python.org/ からダウンロードした通常の32bit版です。VC++はpython2.7では2008版が必要になります。 まず、Windows 向けの MeCab をインストールします。
WindowsでMeCab Pythonを使う - 人工知能に関する断創録
日本語の文章を単語に分割するには形態素解析を使います。日本語の形態素解析には、ChaSen、MeCab、Yahoo!形態素解析などがあります。ナイーブベイズを用いたブログ記事の自動分類（2010/7/3）でMeCabをPythonから使う方法を簡単にまとめましたが、MeCabはよく使うので再度まとめ直して独立したエントリにしました。Yahoo!形態素解析の使い方は、Yahoo!形態素解析API（2009/4/15）で書きました。 Windowsへの導入方法 MeCabは高性能な形態素解析モジュールでPython、 Ruby、Perl、Javaなどさまざまな言語から使えます。Mac OS XとLinuxでは簡単にコンパイルしてインストールができるのですが、WindowsではMinGWやVisual Studioのインストール、コードの修正が必要でかなり面倒くさい。そこで、Pythonモジュー
短縮URLを1行で展開する@Python : Shibuya Blog
2011年02月16日23:57 短縮URLを1行で展開する@Python Tweet 短縮URLを展開するスクリプトをPython&ワンライナーで書いてみました。Pythonでワンライナーする意味ない気がしますが、、、 import sys, urllib2; print (len(sys.argv)>1) and urllib2.urlopen(sys.argv[1]).geturl() or "Usage: # python .py url" 実行してみると、 $ python expand.py http://bit.ly/dpiOZv http://twitter.com/ てな感じになります。urllib2.urlopen()でリソースを開いたのち、geturl()で展開したURLを取得できます。 Enjoy!! 「Pythonを学ぶ」カテゴリの最新記事 短縮URLを1行で展開
Pythonでデザインパターン - モジログ
GitHub - faif / python-patterns https://github.com/faif/python-patterns GoFデザインパターンのPythonによるサンプルコードを集めたプロジェクト。以下の各ファイルが入っている。 - abstract_factory.py - adapter.py - borg.py - bridge.py - builder.py - chain.py - command.py - composite.py - decorator.py - facade.py - factory_method.py - flyweight.py - iterator.py - mediator.py - memento.py - null.py - observer.py - pool.py - prototype.py - proxy.py -
Python で R - RjpWiki
RjpWiki はオープンソースの統計解析システム R に関する情報交換を目的とした Wiki ですPython で R 現在注目のスクリプト言語Pythonで、R を使う。Pythonは有用なモジュールを持っているので、R で出来ないことができるかも。 Rpy † Linux と Win32 をサポート。 ↑ インストール † Linux Win32 ActivePythonをインストール。 RpyのWPからEXEファイルをダウンロード。Rのバージョンと、PythonのバージョンにあったEXEファイルを選択すること。 EXEファイルを実行する。 Mac もともと /usr/bin に python があります。その他の python は http://sakito.s2.xrea.com/python/install/install.html http://homepage2.nift
Pythonで簡易Tumblr画像クローラをつくった - AtAsAtAmAtArA
Python動機Djangoに熟達しないといけないのもそうだけど、もうちょっとPythonの基礎体力的になんかクローラでもつくろうかと思った。しかし2chクロールするのも興味ないし、TwitterのbotつくったりSearchAPI叩いても興味ない。ということで、Tumblrのあのdashboardに流れてくるカオスな画像を保存するクローラを作ったらそれなりにおもしろいんじゃないか、という企画です。まずはAPIドキュメントを熟読http://www.tumblr.com/docs/en/api/v2日本語訳してくれているところもあるので適宜読みましょう。Authが必要なところとそうでないところとかいろいろある。もちろんユーザー情報に結びついているところ(dashboardとかPOSTするときとか)はOAuthが必要だけど、そうでない場合は直接APIを読み込める(http://altnigh
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
High performance python computing for data science
Paper.li
Python 正規表現ゼミ