PythonでMecabを使うための準備 - otukutunの日記
Mac上でPythonを使って、Mecabを操作したいと思い、インストールしました。そしたら、思った以上に詰まったので、メモ。 MecabとIPA辞書のインストール Homebrewを使って、インストール $ brew install mecab $ brew install mecab-ipadic これで、Mecabは使えるようになります。 $ mecab 明日は走ろうと思う。 明日 名詞,副詞可能,*,*,*,*,明日,アシタ,アシタ はう 動詞,自立,*,*,五段・ワ行促音便,基本形,はう,ハウ,ハウ と 助詞,格助詞,引用,*,*,*,と,ト,ト 思う 動詞,自立,*,*,五段・ワ行促音便,基本形,思う,オモウ,オモウ 。 記号,句点,*,*,*,*,。,。,。 EOS 次に、Python上からMecabを操作するために、Pythonのバインディングをインストールします。 Pyt
Python（というわりには少なめな）で土日を使ってサービスを作るための中途半端なモダン環境構築メモ
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Mecab Pythonを使ったTF・IDFによるWikipediaの重要単語抽出 - Y's note
入門 自然言語処理 作者: Steven Bird,Ewan Klein,Edward Loper,萩原正人,中山敬広,水野貴明出版社/メーカー: オライリージャパン発売日: 2010/11/11メディア: 大型本購入: 20人 クリック: 639回この商品を含むブログ (44件) を見る TF・IDF計算 自然言語処理の勉強としてTF・IDFによる重要単語の抽出をwikipediaのデータに対して試してみます。TF・IDFを一言でまとめると、とある単語の重要度を出現頻度から計算する手法です。計算結果は重みを表します。TFは単語の出現数(Term Frequency)、IDFは総文書数 / 単語が出現する文書の総数の対数(Inverted Document Frequency)、TFIDFはその積になります。数式にすると以下のようになりますが、Webを検索してみると人によって計算の仕方が異
jedi-vim(ジュダイ-ヴィム)で2ヶ月近くハマった話 - k4zy no blog
この記事が参考になると思われる方 駆け出しのpythoniaさん 駆け出しのvimmerさん 今回関係ありそうな私の環境 os ：osx lion (｢・ω・)｢ｶﾞｵｰ エディタ ：macvim kaoriya パッケージ管理ソフト ： homebrew (pythonもhomebrew 経由で利用) 10月のはじめに Big Sky :: python 補完のVimプラグイン「jedi-vim」がスゲー という記事を見つけて. 「これはいい」と思ってjedi-vimを導入したのですが，どうにも上手く動いてくれなくて2ヶ月近く放置していました．たぶん自分の環境では使えないのかな... と諦めかけていたのですが，昨日@shtn さんから対処法を教えて頂いたのでご紹介します. 追記(2013/8) jedi.vimのプラグインフォルダ内で git submodule update --ini
Introduction — couchdb-python v0.8 documentation
Introduction¶ couchdb is Python package for working with CouchDB from Python code. It consists of the following main modules: couchdb.client: This is the client library for interfacing CouchDB servers. If you don’t know where to start, this is likely to be what you’re looking for. couchdb.mapping: This module provides advanced mapping between CouchDB JSON documents and Python objects. Additionally
Pythonのライブラリ「prettytable」の正しい使い方 | おくみん公式ブログ
こんにちは。Pythoner見習いのおくみんです。 データマイニングの勉強をするために、「入門 ソーシャルデータ ―データマイニング、分析、可視化のテクニック」というオライリーな本を購入しました。 この本はPythonのプログラムを書きながら読み進めていくのですが、サンプルコードで使われていた「prettytable」というモジュールがうまく動かなかったので正しい使い方を調べてみました。 prettytableとは prettytableは、データを簡単にテーブル(表)レイアウトで出力してくれるライブラリです。下の画像は、Terminalにテーブルを出力した例です。 動かなかった原因 エラーの原因(引数のキーワードが間違っていたり、未定義のメソッドが呼ばれたりした)が不可解だったので、プロジェクトのページを見てみました。色々検証してみたところ、「入門 ソーシャルデータ」のサンプルコー
Learn Python the Hard Way
Millions of people have learned to code. So can you. Newly updated for Python 3, the original and still the most popular way for total beginners to finally learn how to code. Learn Python The Hard Way takes you from absolute zero to able to read and write basic Python to then understand other books on Python. No experience necessary to begin, and you can even try the book out for free to see if th
続・BeautifulSoup で HTML 文書からタグを取り除く（Python） - やた＠はてな日記
前回（BeautifulSoup で HTML 文書からタグを取り除く（Python） - やた＠はてな日記）の内容でも，ある程度は問題なく処理できていました．しかし，大量の HTML 文書を渡してみると，新たに 2 つの問題が見つかりました．それぞれの内容と今回の対処は以下のとおりです． 深すぎる再帰呼び出しによる RuntimeError 例外 <p> を改行（<br>）の代わりに使っている HTML 文書や，バグ入りの自動生成プログラムにより作成された HTML 文書などが原因だろうと思います（未確認）． 再帰呼び出しを使わずに ParseTree を探索するようにしました． 不正な数値文字参照による ValueError と OverflowError ValueError が送出される例：� OverflowError が送出される例：�
PythonでWEBページをクローリングする時のTips - saito’s blog
PythonでWEBページをクローリングする時のTipsをまとめてみました。 urllib2.urlopenのデフォルトのユーザーエージェントを変更する PythonでURLを開くには、urllib2.urlopenします。 urllib2.urlopenは、デフォルトで"Python-urllib/(Pythonのバージョン)"というユーザーエージェントを使用しますが、Wikipediaなど一部のページではこのユーザーエージェントに対し403 Forbiddenを返してきます。以下のコードによってデフォルトのユーザーエージェントを変更すると、403エラーを回避することができます。 import urllib2 opener = urllib2.build_opener() opener.addheaders = [('User-agent', 'your user agent strin
MacPortsでMeCabを入れてPythonバインディングをvirtualenv環境に入れた - kanonji’s diary
最近読んでるオライリーの入門ソーシャルデータを読み進めるのに必要みたいだったので、MeCabを入れました。入れるのはMacPortsで簡単だったけど、ちょっとだけ注意点があったのでメモしておきます。 インストール $ sudo port install mecab $ sudo port install mecab-ipadic-utf8 $ cd /opt/local/lib/mecab/dic/ $ sudo ln -snf ipadic-utf8 sysdic $ mecab これはテストです。 #標準入力 これ 名詞,代名詞,一般,*,*,*,これ,コレ,コレ は 助詞,係助詞,*,*,*,*,は,ハ,ワ テスト 名詞,サ変接続,*,*,*,*,テスト,テスト,テスト です 助動詞,*,*,*,特殊・デス,基本形,です,デス,デス 。 記号,句点,*,*,*,*,。,。,。 EOS
『入門 ソーシャルデータ』で日本語を扱うために - Men talking over coffee with smoking Ark Royal.
追記（2012/09/17）：macab-pythonをMac OSX 10.7 Lion, Python2.7にインストールする。 入門 ソーシャルデータ ―データマイニング、分析、可視化のテクニック 作者: Matthew A. Russell,奥野陽（監訳）,佐藤敏紀（監訳）,瀬戸口光宏（監訳）,原川浩一（監訳）,水野貴明（監訳）,長尾高弘出版社/メーカー: オライリージャパン発売日: 2011/11/26メディア: 大型本購入: 18人 クリック: 779回この商品を含むブログ (42件) を見るオライリーの『入門 ソーシャルデータ』を購入したが、p.8で躓いた。 本書の内容だけでは、「英語は文章が単語ごとにスペースで区切られているが、日本語はそうではない」という特性を処理できないのです。 まずぶちあたった問題はMac 0S X 10.6のコンソールでのPython対話型インタプリ
サイボウズのPython コーディング規約 11 カ条 - Cybozu Inside Out | サイボウズエンジニアのブログ
ymmt2005 こと山本泰宇です。こんにちは。 cybozu.com のインフラ開発チームでは仕事のかなりを Python でこなしています。 Python を選んだ理由は以下の通りです。 便利だから Python には "batteries included" と呼ばれるほど豊富な標準ライブラリが整備されています。例えば HTTP で通信するとか、JSON データを読み込むといった良くある仕事のためにいちいち外部ライブラリを探さなくていいのです。 堅いプログラミングができるから 例外やモジュールといった現代的な機構が備わっているので、ベターシェルスクリプトとして使うのに適しています。 書き方にバリエーションが少ないから チーム開発では他の人が書いたコードを手直しすることは良くあります。書く人によって書き方がいくつもあるような言語より、レビューや修正がしやすいと考えています。 標準的に使
Python で TDD してみる - methaneのブログ
RSpec の入門とその一歩先へ がとてもよい記事だったので、 Python で写経させてもらいました。 https://github.com/methane/pytest-tut Ruby コミュニティと Python コミュニティの考え方の違いも見えて面白いと思います。 環境は Python 3.3 で、実行には py.test コマンドを使いましたが、 py.test の機能は特に使っていないので nose でもなんでも大丈夫です。 ファイルの作成 まずは空の実装とテストを作ります。 message_filter.py class MessageFilter: pass message_filter_test.py 最初のテストを書く py.test は .should といったメソッドを勝手に生やしたりはしません。普通に assert 文を書きましょう。 --- a/messege
DropboxのCamera Uploadsにある写真を/年/月/日のフォルダに振り分けるPythonスクリプト
Dropboxのカメラインポート機能使ってますか！ デジカメをPCに繋げば自動でDropboxにアップしてくれるし、Android/iPhoneもDropboxアプリの設定をしておけば、撮った写真を自動でアップしてくれるから非常に便利(・∀・)！ ただ、この機能には一つ困ったちゃんなところがあります。 全部の写真を「Camera Uploads」ディレクトリに放り込んじゃうので、写真が多くなるとファイルを探すのが大変… こんな感じ(＝ω＝) 写真が増えてわけわからなくなったので、フォルダ整理させるスクリプトを作りました。これを走らせると↓のように「年/月/日」のディレクトリに写真を振り分けます。 ※写真クリックで拡大 画面キャプチャーはMacのものですが、一応Windowsでも動きます。 スクリプトはGithubに置いてます。・・・が、Githubの使い方わかんねーよ！という方のために、z
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.gembook.org/python-33-karano-with-wen.html