pyenv + anaconda + python3 - Qiita
python3が使いたい。しかし、Linuxではpython2は様々な場面で利用されておりシステムワイドにpython3をデフォルトにしてしまうと不都合が生じる。例えばlinux用のDropboxのクライアントがpython2系で書かれているようで、update-alternativesを使うやり方ではエラーメッセージが頻発する。pyenvをインストールし、その上にanacondaをインストールして利用する(参考)。 git clone https://github.com/yyuu/pyenv.git ~/.pyenv echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc echo 'eval "$(pyenv init -)
Pythonメモ : better-exceptionsで例外情報を見やすくする - もた日記
better-exceptions インストール 使い方 better-exceptions github.com better-exceptionsを使用すると例外情報が図のようにみやすくなる。 インストール pipでインストールできるので下記コマンドを実行。 $ pip install better_exceptions 使い方 以下のようにbetter_exceptionsをインポートすればよい。 import better_exceptions 試しに下記コードを実行した場合の出力を比べてみる。 import better_exceptions foo = 52 def shallow(a, b): deep(a + b) def deep(val): global foo assert val > 10 and foo == 60 bar = foo - 50 shallow(b
Budou - 機械学習を用いた日本語改行問題へのソリューション - ウェブ雑記
こんにちは！ 日本語のウェブサイトを作っていると、日本語特有の問題にぶちあたることがありますよね。 その中でも今回着目したいのは、日本語改行問題。最近、この問題を解決するためのライブラリを公開したので、紹介します。 github.com そもそも日本語改行問題とは何か ウェブブラウザで日本語で書かれたウェブサイトを見ていると、ときどき文章が変なところで改行されているのを目にすることがありますよね。 たとえば、こんなかんじ。 「ソリューション」が「ソリューショ」と「ン」に分かれてしまっています。読みにくいですね。 英語では単語がスペースによって区切られますが、日本語や中国語などのアジア圏の言語では単語がスペースで区切られないことが多いです。 そのため、英語では単語の途中で改行されることは通常ありませんが、日本語では単語の途中で改行されることがよくあります。 本文ならともかく、見出しやキャッチ
PythonとBeautiful Soupでスクレイピング - Qiita
Pythonでスクレイピングというネタはすでに世の中にもQiitaにもたくさん溢れていますが、なんとなくpyqueryが使いやすいという情報が多い気がします。個人的にはBeautiful Soupの良さも知ってもらいたいと思うのでここではBeautiful Soupを使っていきたいと思います。 ちなみにこのエントリーはほとんどの部分がBeautiful Soup4のドキュメントの要約です。もっと詳しい情報が知りたい場合はドキュメントをご覧ください。 英語 http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 日本語 http://kondou.com/BS4/ よくある勘違い pyqueryはjQueryのようにcssセレクタを使ってHTMLを扱うことができる点がBeautiful Soupよりも使い易いという意見がありますが、それBe
Sense2vec with spaCy and Gensim
If you were doing text analytics in 2015, you were probably using word2vec. Sense2vec (Trask et. al, 2015) is a new twist on word2vec that lets you learn more interesting, detailed and context-sensitive word vectors. This post motivates the idea, explains our implementation, and comes with an interactive demo that we’ve found surprisingly addictive. Polysemy: the problem with word2vec When humans
データサイエンティストを目指す人のpython環境構築 2016 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? pythonの環境構築について "python 環境構築"でググると20万件くらいヒットしますが、割と内容が古いです。 タイトルにはデータサイエンティストと書いてありますが、データサイエンティスト以外にもanacondaはおすすめです。 2.x or 3.x? 3.xは動かないライブラリが多いので2.x推奨 > 3.xで動かないライブラリがある、くらいまで来ました。 easy_installでpipを入れて、setuptoolsも入れて、でもwheelというのもあって... > 古いです。 virtualenv 必須 > そんなこともな
Apache SparkのWebUI、いろいろ比較してみた
Sparkを実行できるWebUIをいくつか比較してみました。 対象としたのは下記の３つです。 Apache Zeppelin pyspark + Jupyter(iPython Notebook) spark-notebook Spark付属のSpark Web Interfaceは実行状況のモニタリングやRDDの状態が可視化されていて非常に便利なものなのですが、上記とは毛色が異なるため今回比較対象に入れていません。 Hueのnotebookやdatabricks cloudに関してはまた今度。。。 まずはそれぞれの概要を少しご紹介します。 Apache Zeppelin Apacheが作っているnotebook形式のWeb UIで、対話型実行ができます。 この記事を書いている時点での最新バージョンは0.6.0です。 Scala, Python, SQL(Spark), SQL(Hive)
基本的なRecurrent Neural Networkモデルを実装してみた - Qiita
Recurrent Neural Network（再帰型ニューラルネット）に関心はあるが，なかなかコード作成に手がつかない，このようなケースが多くないだろうか？理由はいくつかあるが，私の場合は次のようなものが思い当たる． 単純にネットワークの構成が複雑．MLP(Multi-layer Perceptron)から入門してCNN(Convolutional-NN)に進むまでは，特殊なLayerがあるにせよ，信号の流れは順方向のみであった．（誤差の計算は除く．） MLPやCNNにおいては分かりやすい例題，（Deep Learningの’Hello World'と称される）"MNIST" があったが，そのような標準的な(スタンダードな）例題がRNNにはない． 因みにTheanoのDeep LearningやTensorFlowのTutorialは，言語モデルを扱ったものである．言語モデルに精通され
pythonでutf-8日本語文字列を、URIエンコード・URLデコードする
'全力HP' ← → %E5%85%A8%E5%8A%9BHP Pythonで上のような変換をやりたいときの覚書。 utf-8文字列のURLエンコード utf-8文字列 txt: '全力HP' urllib2.quote(txt.encode("utf-8")) URLエンコード済み文字列 ： %E5%85%A8%E5%8A%9BHP URLエンコード済み文字列をutf-8に戻す（URLデコード） URLエンコード済み文字列 enc_txt： %E5%85%A8%E5%8A%9BHP urllib2.unquote(enc_txt).encode('raw_unicode_escape').decode('utf-8') utf-8文字列： '全力HP' サンプルコードをつけたかったが、printなどで表示するためにはunicodeに変換して、えーと、とか考えていたらワケがわからなくな
トピックモデルを利用した対話アプリケーションの作成 - Qiita
ブルーライトに目が焼かれるよりも、ブルーオーシャンで目を癒したい。 もうすぐ2015年も終わりに近づいていますが、皆様いかがお過ごしでしょうか。年末ぐらいは自然に還りたいということで、今回はトピックモデルを利用した対話形式で旅行提案を行うアプリケーションの作成方法についてご紹介します。 本記事は、以前公開したトピックモデルを利用したアプリケーションの作成の姉妹記事になります。 当時はアプリケーションの作成が追い付いておらず、「アプリケーションの作成」と言っておきながらアプリケーションの作成に至っていなかったため、それを補完する内容になります。 トピックモデルそのものについては今回はあまり触れないので、興味がある方は前述の記事の方をご参照ください。 トピックモデルとは 詳細な解説はこちらに譲りますが、トピックモデルとは、その名前の通り文書をトピックごとに分類するための手法です。 ここでいう「
Python と R で連携する - Qiita
R と Python の連携を考える 最近 R による基本的なデータプロッティングやファイル入出力の方法について説明しました。 データ分析の言語としては Python ですべてをやろうという傾向があるようですが、やはり過去の膨大な R による資産は魅力的でそう簡単に切り捨てられるものではありません。 よくあるケースとしては、部分的なデータ解析については R を流用したいが、全体的なプログラミングは Python で書きたいというシーンでしょう。また、プロッティングだけ R でおこないたいという場合もあるでしょう。こんなとき Python と R で連携できれば問題が一気に解決して便利です。 Python から R を利用するライブラリ PypeR かつては RPy2 というライブラリが使われていたようですが、最近使われており主流なのは PypeR です。 PypeR のインストール インス
Python argparseの使い方 - Qiita
追記しました。argparseのテストで気をつけるべきこと。 こちらに移転、更新しました。 スクリプトの引数仕様 とあるスクリプトの引数の仕様を下記のようにしたい。 srcディレクトリパスの指定は必須 dstディレクトリパスの指定は必須ではない 対象とするファイルの拡張子を複数指定したい debug用のprint文は普段はstdoutに出したくない といった仕様をargparseを使って実装し、--helpして表示した結果が下記。 次の章からこの実装方法を順を追ってメモしておく。 $ ./photosort.py --help usage: photosort.py [-h] [-d [PATH_ROOT_DST]] [-e SORT_FILES_EXTENTIONS [SORT_FILES_EXTENTIONS ...]] [--debug] path_root_src This scr
argparseを使ってみた - そこはかとなく書くよ。
追記: t2yさんが翻訳してくださいました。 argparseコマンドラインオプションと引数の解析 python 2.7からコマンドラインの引数を解釈するargparseモジュールが標準で入りました。 従来使われてきたoptparseは廃止されます。ただし、広く使われているところから他の廃止されるモジュールとは異なり消されることはなく、警告も標準では出ません。 optparseからargparseに移行する理由や廃止の進め方はPEP 389に記載されています。 以下にPEP 389の和訳を(訳に自信がない場所がありますが)行ないましたので参考にしてください。 http://www.tdoc.info/PEP-ja/389.html というわけで、ざっとargparseの使い方を勉強したのでここに公開します。間違ってたらご指摘ください。 なお、ちゃんとしたドキュメントは http://doc
[vim]python補完プラグイン「jedi-vim」を快適にする方法(jedi-vim+neocomplete) - dackdive's blog
vimでpythonの開発を行う上で jedi-vimというプラグインが非常に便利だという話はネットで頻繁に目にしますが、 自分の環境ではそれほど使い勝手が良くないなあーと思って色々調整してみました。 結果的に、その他の補完プラグインとして使っていたneocomplcacheをneocompleteに移行し、 もろもろ設定を.vimrcに書いたら今までよりずっと使いやすくなりました。 以下、気に入らなかったポイントとその改善策を。 その1：補完の時に上に小さな画面が出てきて画面がずれる、動作がぎくしゃくする 自分の環境では、補完候補を選択すると画面の上部に勝手にポップアップが表示されます。 これが、候補を切り替えるたびに別の内容が表示されるもんだから いちいちウィンドウの高さが変わって画面がガタガタとずれ、見ていていいもんじゃありません。 また、そのせいか、「高速に動作する」はずのjedi
![[vim]python補完プラグイン「jedi-vim」を快適にする方法(jedi-vim+neocomplete) - dackdive's blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/2ecb381e986c45b869dfda0ac81d56632c6f2a93/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fd%2Fdackdive%2F20140813%2F20140813015311.png)
RStudio Clone for Python – Rodeo
OUseful.Info, the blog… Trying to find useful things to do with emerging technologies in open education and data journalism. Snarky and sweary to anyone who emails to offer me content for the site. So have you been looking for something like RStudio, but for Python? It’s been out for some time, but a recently updated release of Rodeo gives an increasingly workable RStudio-like environment for Pyth
itertoolsによる順列、組み合わせ、直積のお勉強 - Qiita
順列、階乗 (a, b, c, d, e)の全ての並べ方は $5! = 5\times 4 \times 3 \times 2 \times 1 = 120 $通りです。 順列を求めるときにはpermutationsを使用します。 >>> list(itertools.permutations(seq)) [('a', 'b', 'c', 'd', 'e'), ('a', 'b', 'c', 'e', 'd'), ('a', 'b', 'd', 'c', 'e'), ('a', 'b', 'd', 'e', 'c'), 中略 ('e', 'd', 'c', 'a', 'b'), ('e', 'd', 'c', 'b', 'a')] >>> len(list(itertools.permutations(seq))) 120 120個の要素を持つリストができたことが分かります。 次に、(a,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apple Health Data How to Export Analyze Visualize Guide - ryanpraski.com
GitHub - EmergentSystemLabStudent/NPB_DAA
GitHub - mattjj/pyhsmm
GitHub - lucasb-eyer/pydensecrf: Python wrapper to Philipp Krähenbühl's dense (fully connected) CRFs with gaussian edge potentials.
