Pythonで JUMAN++ を使用する方法 - 望月いちろうの雑記帳
2016 - 10 - 20 Pythonで JUMAN++ を使用する方法 Python 形態素処理 list Tweet Share on Tumblr JUMAN++の Python ラッパー 京大で開発されたRNNベースの 形態素 処理エンジンのJUMAN++は C++ で書かれていますが公式が Python ラッパーを提供しています。 Linux でのみ利用可能とのことですが今回は Mac での動作確認を兼ねて OSX で実行してみることします。 最初にJUMAN++がインストールされているか確認して下さい もしインストールされていない場合はこちらを参考に mochizuki4.hatenablog.com まずは公式にしたがってライブラリをインストール $ wget http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/knp/pyknp-0.3
VS Code で Python をデバッグする環境構築（+ NumPy, SciPy, Matplotlib を実行する環境構築） - BEACHSIDE BLOG
2017-12更新：Anaconda と VS Code での環境構築を新たにまとめました。以下の方が新しいです。 beachside.hatenablog.com Visual Studio Code(VS Code)でPythonをデバッグ実行する環境構築する際のメモです。 NumPy, SciPy, Matplotlibを使って機械学習用に環境作ろうとしています。 > Overview 作業の全体像は以下です。 1. 必要なものをダウンロード＆インストール 2. VS Codeの環境設定 3. コーディング＆デバッグ ここら辺を参考にしています。 code.visualstudio.com > Environment Windows10 Visual Studio Code (1.4.0) Python(3.5.1) Enthought Canopy(Express 1.7.4.33
Natural Language Processing with Python – Analyzing Text with the Natural Language Toolkit
Natural Language Processing with Python – Analyzing Text with the Natural Language Toolkit Steven Bird, Ewan Klein, and Edward Loper This version of the NLTK book is updated for Python 3 and NLTK 3. The first edition of the book, published by O'Reilly, is available at http://nltk.org/book_1ed/. (There are currently no plans for a second edition of the book.) 0. Preface 1. Language Processing and P
Python で word2vec を使ってみる - 巨人の肩の上に登る
画像の出典 word2vecとは 単語のベクトル表現を獲得する一つの手法です。 word2vecの特徴としては、意味的な計算が可能な表現であるということです。 例えば次の式のように、kingのベクトルからmanのベクトルを差し引いたベクトルにwomanのベクトルを足し合わすことで、queenのベクトルと近似するベクトルが得られます。 king - man + woman = queen word2vec | google code 事前知識として A yet another brief introduction to neural networks Statistical Semantic入門 ~分布仮説からword2vecまで~ word2vec install pip でインストールできます。 $ sudo pip install word2vec 英語のモデルファイルが、下記の使い方
mecab, cabocha, juman, knpの処理速度とか - Into the Horizon
knpを初めて使ってみたら結構処理が遅かったので、どれくらい速度に差があるのか検証してみました。 速度のオーダーを確かめてみる程度の検証です（真面目な検証ではない） ■実験設定 pythonからsubprocessを使って*1各ツールを呼び出し ウェブコーパスからn文を解析して、1文辺りの時間を計測、ツール間で比較しました KNPは解析速度が文字数により指数的に低下するようなので、KNPについては文字数を変えて実験してみました。（mecab, cabochaはそこまで文字数に依存しない） 日本語の1文は、だいたい30~40文字くらいの目安感です（きっちりした文章だともうちょい長い） 40文字ってどれくらいかと言うと 「特に上流部なんかは補充が効かないところが多く、一度やられると少し時間がかかります」 これできっちり40文字。 ■実験結果 解析器 入力文数 1文の文字数 実行時間 1文辺りの
Python で Mecabを利用する【mac】 - 39Si
形態素解析ツールである Mecab を Python から使えるようにした。 他にも形態素解析に用いられるものは存在したが、 Mecab がもっとも一般的のようだったので、今回はこちらを使うことにした。 環境 ・MacBook Air - OS X Yosemite mecabの導入 まずはMecabをHomebrewでいれる。 方法は以下のページを参考にした。 Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web $ brew install mecab $ brew install mecab-ipadic 動作テスト terminal で mecab と入力して、適当な日本語入れる。 無事に動いた。 $mecab 今日はいい天気ですね。 今日 名詞,副詞可能,*,*,*,*,今日,キョウ,キョー は 助詞,係助詞,
Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web
検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏 作者:山田 浩之,末永 匡発売日: 2014/09/25メディア: 単行本（ソフトカバー） (この記事で紹介しているのはTF-IDFとかの計算もない簡素なものです。) はじめに Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' ) この前↑の記事をみかけました。クローリングやスクレイピングは、色々と応用が効きそうなのでしっかり勉強したい。 PythonではScrapyという有名なクローリング・スクレイピング用のライブラリがありますが、今回は勉強としてScrapyを使わずに実装してみる。流れとしては以下のとおり Webクローラの構築 Mecabで日本語の形態素解析 検索エンジンの構築 データをMongoDBに格納 Fl
Gensim: topic modelling for humans
✔ Train large-scale semantic NLP models ✔ Represent text as semantic vectors ✔ Find semantically related documents from gensim import corpora, models, similarities, downloader # Stream a training corpus directly from S3. corpus = corpora.MmCorpus("s3://path/to/corpus") # Train Latent Semantic Indexing with 200D vectors. lsi = models.LsiModel(corpus, num_topics=200) # Convert another corpus t
Gensim: topic modelling for humans
✔ Train large-scale semantic NLP models ✔ Represent text as semantic vectors ✔ Find semantically related documents from gensim import corpora, models, similarities, downloader # Stream a training corpus directly from S3. corpus = corpora.MmCorpus("s3://path/to/corpus") # Train Latent Semantic Indexing with 200D vectors. lsi = models.LsiModel(corpus, num_topics=200) # Convert another corpus t
小説家になろうのランキングをトピックモデルで解析(gensim) - 唯物是真 @Scaled_Wurm
小説家になろうというWeb小説投稿サイトがあります。 いわゆるライトノベル的な作品が多いのですが、近年書籍化される作品が多く出ていて注目を集めています。 続々と「小説家になろう」から書籍化作品が登場！ - フラン☆Skin はてな支店 小説を読もう！ || 小説ランキング[累計]の上位100件を解析して、どんな作品が多いのか調べてみました。 解析手法 トピックモデルというものを用います。 これは文書が何のトピックを含むかを推定してくれるモデルで、他にもトピックの代表的な単語などもわかります。 Pythonでトピックモデルを使えるライブラリの一つであるgensim: Topic modelling for humansを使います。 gensim gensimはLDAやLSIなど複数のトピックモデルを実装しています。 今回はLDA(Latent Dirichlet Allocation)という
Tensorflowを使ったDeep LearningにおけるGPU性能調査 - 株式会社カブク
Kabukuエンジニアブログを始めます どうも、おはこんばんちわ、カブクの足立です。 カブクのエンジニアって何やっているのか分かりにくいね、と言われ続け、我々のことを知ってもらうためにエンジニアブログなどで発信していかねば。 と、一念発起してはや半年。 忙しさにかまけて先延ばしにし続けるあるある状況を打開すべくKabukuエンジニアブログを始めます！ 会社のエンジニアブログは重厚長大で、会社ブランディングを意識し、自社が技術的に優れている事をアピールする風潮があります。我々はそこに風穴を空けるべく、重厚長大ではないブログも書いていこう！ 重厚長大じゃなくても世の中のためになることはある。 もっとライトにエンジニアがオフィシャルブログで情報発信していってもいいじゃないか。 と、言い訳たっぷり、ハードルを地中に埋めたところで、記念すべき第一回は会社のビジネス活動に関係ないDeep Learni
Python用のトピックモデルのライブラリgensim の使い方(主に日本語のテキストの読み込み) - 唯物是真 @Scaled_Wurm
gensimは前に以下の記事でも使ったPython用のトピックモデルなどの機能があるライブラリです。 小説家になろうのランキングをトピックモデルで解析(gensim) - 唯物是真 @Scaled_Wurm 以前紹介した以下の論文でもgensimが使われていました 論文紹介 “Representing Topics Using Images” (NAACL 2013) - 唯物是真 @Scaled_Wurm deep learningで話題になったword2vecの機能も取り入れてたりして面白いライブラリです Radim Řehůřek : Deep learning with word2vec and gensim 入力の作り方がすこしわかりにくいかなぁと思ったので、メモっておきます。 コーパスの作り方 以下の公式の例で説明します この例ではリスト内のそれぞれの要素が1つの文書となります
iOSエンジニアのための LLDB Plugin 入門 - NANAIRO
「iOSDC」「AKIBA.swift×Swift愛好会」「iOSDC Reject Conference days2」で話させていただいたんですが、発表ではなるべく興味を持ってもらえるような内容になっていて、LLDB Plugin の作り方など詳細についてはふれていませんでした。 本来ならブログ書いてあるので見てください。と言いたかったんですが、なかなか手が回らず今になってしまいました。 できることも多いので、回数を分けて書いていければなと思います。 言語選択 LLDB の Plugin は Python で作られています。 ただし、Python が全くわからなくても作れているんで安心してください。 LLDB で実行する際に iOS エンジニアなら２つの言語から、どちらで実行するかを選択する必要があります。 Swift Objective-C 正直どちらを選んでもいいと思っています。 ど
PyCon 2016でPythonのライブラリ開発についてトークします - 5.1さらうどん
pycon.jp こんにちは、@giginetです。 9/21, 9/22に行われるPyCon 2016で『はじめて作るDjangoプラグイン』というタイトルでトークをすることになりました 🎉 PyConには毎年参加していて、今年で4年目。 そろそろCFPでも出してみるか〜と思って、話せそうな内容で適当に出してみたら通ってしまって、今泣きながら準備しています。 仕事ではもっぱらSwiftかObjective-C、もしくはRuby on Railsを書いていて、Pythonはアマチュアです。 とはいえ、Djangoは趣味雑アプリケーションを運営したり、バージョン1.1ぐらいから最近でも書いていて、それなりに知見が溜まってきました。 例えば、以下のような小さいプラグインを何個か作っていたり giginet.hateblo.jp 友人のid:lambdalisueが開発しているdjango-p
Pygameのインストール - mfks17's blog（Life is Good !!）
前回、GAE for Pythonの環境をmacに構築しました。 今回は、Pygameをインストールしたいと思います。 環境 macbookpro Early 2011 OS Lion ここを見ると、Homebrewで入れる方法があるみたいなので、ダメ元でやってみます。 自分は、pythonbrewで入れたので、上に記載している方法でやってみます。 その前に、pipが使える環境をvenvで作ります。 pythonbrew switch 2.6.6 pythonbrew venv create Pygame 今回は、python-2.6.6の環境にPygameという仮想環境を作成しました。 参考 pythonbrewで構築するPython環境 その２ | ninxit.blog 次に、必要なものを入れてみたいと思います。 $brew install sdl sdl_image sdl_mix
Google App Engine for Pythonの開発環境をmacに構築する - mfks17's blog（Life is Good !!）
友人に誘われてやってみることにした。 参考サイト様 MacにEclipse+PydevでGoogle App Engine for Pythonの開発環境を作ってHello Worldを動かす - Startup Reality 環境 macbookpro Early 2011 OS Lion Google App Engine SDK のダウンロード ここからダウンロード いつも通り、appファイルをApplicationフォルダにコピーします。 Eclipseのインストール ここからダウンロード 参考サイト様と同じく「Eclipse IDE for JavaScript Web Developers」にしました。 Pydevをインストール 先程のEclipseを立ち上げ、[Help]-[Install New Software..]を開き、[Work with:]に"http://py
2011-12-31
Rubyのrvm、PerlのPerlbrewなど各々の言語のバージョンを管理してくれるツールは、とても有難いものです。 今日は、そのPython版ともいえるpythonbrewをインストールしたいと思います。pythonbrewは@utahtaさんが作られたバージョン管理ツールでperlbrewをパクったと同じ思想なツール、だそうです。使おうと思った経緯は、GAEがやりたくて、という単純なものです。 環境 macbookpro Early 2011 OS Lion pythonbrewのインストール $ curl -kL http://xrl.us/pythonbrewinstall | bash % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Spe
GoogleAppEngineの開発環境でpdbとEmacsでデバッグする – taichino.com
GAEのコードもCarbon Emacsで書いているわけですが、デバッガが使えないのがキツいと思っていたら、python標準のpdbをちょっとした変更だけで使えるという事がわかりました。従ってEmacsでもM-x pdbが出来るという事で、かなり心理的な負荷が下がりましたので、記録します。 pdbはpythonについているデバッガで、普通は以下のコードをデバッグしたいコードの周辺に埋め込んで実行すると、そこがブレークポイントとなって実行が止まります。後はgdb的にステップ実行していくわけです。 import pdb; pdb.set_trace() # この行を埋め込む for i in range(10): # 例えばここをステップ実行したい do something ところが、GAEだと上記のコードを埋め込んでもデバッグできません。set_traceで実行が止まってくれないのです。そこ
pythonbrewでpythonのバージョン管理をする - mfks17's blog（Life is Good !!）
Rubyのrvm、PerlのPerlbrewなど各々の言語のバージョンを管理してくれるツールは、とても有難いものです。 今日は、そのPython版ともいえるpythonbrewをインストールしたいと思います。pythonbrewは@utahtaさんが作られたバージョン管理ツールでperlbrewをパクったと同じ思想なツール、だそうです。使おうと思った経緯は、GAEがやりたくて、という単純なものです。 環境 macbookpro Early 2011 OS Lion pythonbrewのインストール $ curl -kL http://xrl.us/pythonbrewinstall | bash % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Spe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ClassCat® AI Research – 生成 AI – FLUX.1, SD3.5, SDXL, OpenAI API, Gemini API