Wikipediaの見出し語リストとpercolを使って高速に姉を探す - hitode909の日記
高速にいい感じに姉を探したいという課題があって，Wikipediaの見出し語リストとpercolを使ったら，いい感じになった． 手順 Wikipediaの見出し語リストをダウンロードして解凍しておく． wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-all-titles-in-ns0.gz gunzip jawiki-latest-all-titles-in-ns0.gzpercolもインストールする． pip install percolこれで準備ができたので， cat jawiki-latest-all-titles-in-ns0 | grep '姉' | sed "s/_/ /g" | percol --match=migemoすると，percolを使って効率的に姉を探せる．下のGIFでは，お姉ちゃんは魔法少女と
EmacsWiki: Web Kit
Everyone has their own dreams, and every emacser has an own operating system dream! – AndyStewartWe want full-feature browser in Emacs!I think every emacser are hoping to run a modern browser in Emacs inside, not text browser like w3m, not xwidget that break emacs’ text pure world, we hope running WebKit engine browser like any other modern application, not just text, it can run javascript, it can
機械学習ライブラリ scikit-learn で簡単ツイート分類 | ぱろすけのメモ帳
皆様こんにちは。今日も元気に自分を見つめ直していますか？自分を見つめ直す手段として、過去の自分の発言を見返すことは有用だと考えられます。たとえば、Twitter を使っている方ならば、その過去ログを用いることが考えられるでしょう。Twitter の過去ログはライフログとして機能し、それを用いることにより、過去の出来事のみならず、考え方、感じ方、ふとした着想、などなどを読み取ることができます。しかしながら、過去のツイートを全部見返すのは非常に面倒ですね。たとえば僕のアカウントはトータルで4万ツイート以上あります。これは非常にめんどい。Twitter は情報量多くてだるいよね問題については、従来「再生核 Hilbert 空間を用い、脱ベイズ確率主義に立脚したあまりだるくないツイッター」などの試みが行われてきましたが、今なおその面倒さを軽減する手段については十分とはいえません。本記事では、過去の
綺麗なIPython (ckwで) - ぶりとだいこん
Windows標準のcmd.exeでIPythonってなんか見た目良くないし使い勝手もいまいちだよね。 綺麗なIPythonにしましょう。ckwで。 1．インストール ckw はcmd.exeのGUIのラッパー。開発終了してるけど充分動く。 以下からダウンロードできる。 Downloads · deflis/ckw-mod · GitHub インストールは特にない。解凍して適当なフォルダに置くだけ。 2．起動 そのままckw.exeを起動しても見た目はcmd.exeと変わらない。 設定ファイルckw.cfgを修正する。 (1) ckw.cfgの以下の部分のコメントアウト(先頭の!)を削除する。 5～8行目 !Ckw*foreground: white !Ckw*background: midnightblue !Ckw*cursorColor: green !Ckw*cursorImeCo
リストから重複要素を削除する - Keep it in the fridge
Pythonでリストから重複要素を削除する方法をメモ. 1度,集合型にして重複要素を削除. その後リスト型に戻す. # coding: utf-8 ls = [2,0,0,8,"Apple",0,3,"Bart",2,3,"Apple"] print list(set(ls)) 実行結果: bash-3.2$ python listtest.py python listtest.py [0, 2, 3, 'Apple', 8, 'Bart']コレだと,結果が一意に定まってしまい,要素の順序が保存されない. 重複した要素を削除して,要素の出現順のに並んだリストを手に入れるには↓. # coding: utf-8 ls = [2,0,0,8,"Apple",0,3,"Bart",2,3,"Apple"] output = [] for i in ls: if not i in output:
Pythonのソートについて: sort()とsorted()
Photo by Fort Photo, "Fountains of Light" 自分のためにメモ。pythonでソートを行おうとする場合、リストに組み込まれている関数list.sort()と、単独で使える関数sorted()の2つがある。基本的に取る引数は同じなので機能自体はあまり変わりないのだが、以下の2点が異なる。 sort()関数は返り値を出さずに、リストの本体自体を変更してしまう。これはreverse()関数と同じ。 sort()関数はソートの対象がリストであるのに対し、sorted()関数は対象がイテレータとなる。 試しにpython上で確認してみる。 >>> x = [1,6,3,8,4] >>> y = [1,6,3,8,4] >>> y.sort() >>> y [1, 3, 4, 6, 8] >>> sorted(x) [1, 3, 4, 6, 8] きちんと両方とも
Python にモジュール検索パスを追加
パス設定ファイル (拡張子が .pth) を使って Pthon にモジュール検索パスを追加する方法です。 まず追加前のモジュール検索パスを確認します。 >>> import pprint >>> import sys >>> pprint.pprint(sys.path) ['', '/usr/local/python-3.2.3/lib/python32.zip', '/usr/local/python-3.2.3/lib/python3.2', '/usr/local/python-3.2.3/lib/python3.2/plat-linux2', '/usr/local/python-3.2.3/lib/python3.2/lib-dynload', '/usr/local/python-3.2.3/lib/python3.2/site-packages'] 環境によってこれらのディ
IPythonを使い始めました - 唯物是真 @Scaled_Wurm
今更ながらIPythonを使い始めました。 IPythonはPython用のインタラクティブシェルで、標準のものとは違って補完機能や自動インデント、シェルコマンドの実行などの色々と便利な機能がついています。 並列処理にも使えるみたいですが、その辺りはまだ調べていません。 IPython - Wikipedia インストール 他のライブラリと同様にpipなどでインストールできます。 pip install ipython ちなみにWindows 7 64 bit でも上のコマンドで大丈夫でした。 便利な機能 IPythonのドキュメントを見るとたくさん書いてあって読み切れていないんですが、いくつか便利そうだと思った機能を紹介しておきます ヘルプ ? や %quickref と打つとIPythonの説明が読めます。後者のほうがわかりやすいです %で始まるコマンドはマジックコマンドという機能で、
IPython 0.8.2 で一段と便利になってる - 傀儡師の館.Python：楽天ブログ
2007.12.17 IPython 0.8.2 で一段と便利になってる テーマ：プログラミング言語 Python を使う(336) カテゴリ：IronPython IPython 0.8.2 が 11月30日にリリースされていた。New features in 0.8.2 を見ると、一段と便利になったようなのでアップグレードした。 履歴(%hist) に -g オプションが付いて、「%hist -g foo」とすると、履歴から grep で foo した結果を返してくれる、履歴の検索機能が付いた。 「%rep ls」としておけば、履歴表示(%hist)したときに、ls が含まれる履歴は表示されないようにできる、履歴表示の抑止機能が付いた。 macro で引数を取れるようになった。 とかいうのからもっと便利なものまでたくさん機能アップされている。 IPython Cookbook を見ると
MeCabの辞書をはてなキーワードで充実させるのにものすごい苦労した話 - 驚異のアニヲタ社会復帰の予備
MeCabの辞書を充実させて、名詞、特に人名が途中でぶった切られる事態を回避したいという話。 MeCabの辞書にはてなキーワードを追加しようを参考に、はてなキーワードの登録単語ライブラリをパクってきてMeCabユーザー辞書に入れる。 データはHatena Developer Centerから入手できる。 やることは上記リンクを参照するが、引っかかったところが デフォルト辞書の選択 sudo vi /usr/local/etc/mecabrc viコマンド r か R で編集モードに入って、編集終わったら ESC して :wq で保存して終了。 辞書の更新 createDict.py というスクリプトを使っているが、これが csv ファイルを作るときに、単語の中にカンマが入っているものがあるようで、これのせいで出来上がった csv ファイルの列数が乱れているので、 context_id.cp
MeCabとNLTKを使って最瀕語と共起関係を出力する - Men talking over coffee with smoking Ark Royal.
MecabとNLTKを使って最瀕語と共起関係を出力するコードを書きました。 Mecabのインストールについては、Windowsなら結構難なく行くようですが、Mac OSX Lionだととても躓きました。 その辺りの経緯は、mecab-pythonをMac OSX 10.7 Lion、Python2.7にインストールする - Men talking over coffee with smoking Ark Royal.を参考にしてください。 まず、このMeCabで形態素解析を行うコードですが、以前、『入門ソーシャルデータ』勉強会で、Kenji Koshikawa (Kshi_Kshi)さんに頂いた、mecab_library.pyを元にしています（元のリンクが見つけられませんでした、申し訳ございません）。 mecab_library.py # -*- coding: utf-8 -*- im
Takuya Kitazawa
👋 Hi, I'm Takuya Takuya Kitazawa is a freelance software developer based in British Columbia, Canada. As a technologist specializing in AI and data-driven solutions, he has worked globally at Big Tech, start-up, and non-profit for over a decade. At the intersection of tech and society, he promotes the ethical use of information technologies through his mentoring, business consultation, and public
MeCabの辞書にはてなキーワードを追加しよう - 不可視点
MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解
Wikipediaの記事タイトルをmecabの辞書に追加 | ダークフレイムブログ
mecabにユーザー辞書としてwikipediaの記事タイトルを追加します。 環境 Mac OS X Mountain Lion まず、Wikipedia:データベースダウンロードから全記事タイトルをダウンロードします。 ダウンロードしたファイルを解凍します。 $ gunzip jawiki-latest-all-titles-in-ns0.gz 次に解凍したファイルからcsvファイルを作成します。csvファイルを作成する際にこの記事のスクリプトを参考にしました。 ただ、記号などが着いたキーワードも登録したかったのでエスケープなど行い変更しました。 # -*- encoding: utf-8 -*- import sys import re import codecs import unicodedata if __name__ == "__main__": argvs = sys.ar
Python製デプロイツール Fabricを初めて使う際に役立つTips
by @dekokun on 2013/04/07 19:30 Tagged as: Python, Fabric, デプロイツール. 2013/04/09 追記 意外と反響があるようなので、Tips追加しました。 2013/05/10 追記 並列実行について調べたのでついでに追記 「次のプロダクトはシンプルなデプロイツールだと噂のCinnamonでも使ってみるかー」と言っていたら、「Cinnamonは使ってるユーザ数が少なそうだし同様のことが行えるFabricのほうがいいんじゃないですかね。」というツッコミをいただき、今回はPerlのプロジェクトでもないためFabricを使用することにしました。 初めて触るFabric、やはり初学者にはいろいろとよくわからない部分があったため、はまって解決したことや便利なTipsなどをつらつらと列挙していきます。 なお、以下情報はPython2.7及びF
pythonでのSURF利用方法 - サイバーワールド・メモランダム
pythonでOpenCV2.3を動かしているとき、 局所特徴量抽出手法の一つであるSURFを用いる場合、 以前の関数呼び出し方法ではうまくいかないことがある。 OpenCVのpython版リファレンスマニュアルでは kp, desc = cv.ExtractSURF(cv_im, None, cv.CreateMemStorage(), params) のように書いている。これでもkeypointsの座標とscaleはうまく検出されるが、 angleがすべて90度になってしまう。 surf = cv2.SURF(params) kp, desc = surf.detect(cv_im, None, False) と書くと、angleもうまく検出される。 ちなみに、kp: keypoints desc: descriptors, cv_im: image(grayscale) kp.ptで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SimpleHTTPServerの次の一歩としてFlaskを使う - Qiita
NLTK :: nltk.corpus.reader package
Client Challenge
Feature Detection — opencv v2.1 documentation