GraalVM (graalpython) で janome を無理矢理動かしてみたメモ | by mocobeta | Medium
— — Disclaimer: これは 2019/8 現在の人柱記事で，誤りを含むかもしれません。（おかしいことを書いていたらご指摘ください。） — — 最近何かと目にすることが多い GraalVM ですが，Python 3 がうごくらしい（JIT でうごくらしい）というのを聞いて，pure Python な janome は動くのだろうか，と試してみました。 ※ GraalVM は，Java や Scala といった JVM 言語の他，多言語が動作するプラットフォームを目指しているとのことで，Python だけでなく，JavaScript，Ruby や R もサポートし，かつ言語をまたいでの呼び出しも可能，という野心的なプロジェクトになっています（とはいえ，まだまだ実験段階）。詳細は公式ドキュメントを見てください。ざっくり何ができるのかを掴むには，こちらの記事がわかりやすかったです。 P
Welcome to janome's documentation! (Japanese) — Janome v0.4 documentation (ja)
Welcome to janome's documentation! (Japanese)¶ English Janome とは¶ Janome (蛇の目; ◉) は，Pure Python で書かれた，辞書内包の形態素解析器です。 依存ライブラリなしで簡単にインストールでき，アプリケーションに組み込みやすいシンプルな API を備える形態素解析ライブラリを目指しています。 内包辞書として mecab-ipadic-2.7.0-20070801 を使っています。なお，v0.3.8+ では新元号「令和」がシステム辞書に追加されています。 ソースコードリポジトリ¶ https://github.com/mocobeta/janome 気に入ったらリポジトリにも★つけていってください！ :) API リファレンス¶ https://mocobeta.github.io/janome/api/ 動
[janome 開発日誌] 前処理・後処理用の Analyzer フレームワークを追加した janome 0.3.4 をリリースしました | by mocobeta | Medium
[janome 開発日誌] 前処理・後処理用の Analyzer フレームワークを追加した janome 0.3.4 をリリースしました janome のバージョン 0.3.4 をリリースしました。 形態素解析，前処理大事！解析後の処理もいろいろやりたい！・・・気づいたら同じような処理を色々なところで再実装してる・・・ということで，形態素解析の前処理・後処理を簡単にテンプレ化するためのフレームワーク（的なもの）を実装しました。（”Analyzer フレームワーク” と名づけている通り，Solr や Elasticsearch を使っている方はご存知の，Lucene の Analyzer をイメージしてもらえるとわかりやすいと思います。） 詳しくはドキュメントを参照いただくとして，だいたいの感触がわかる実行例を紹介します。ここでは以下の処理フローを定義して，解析対象の文字列に適用しています。
Python: Janome で手軽に形態素解析する - CUBE SUGAR CONTAINER
Janome は Pure Python で実装された日本語の形態素解析ライブラリ。 形態素解析というのは文章から意味をもった最小の構成単位となる形態素を取り出すことをいう。 他の日本語の形態素解析ライブラリは Python から使えてもバインディングが提供されているだけでドキュメントがイマイチだったり、あるいはインストールが大変だったりということも多々あるんだけど Janome はそんなことがない。 インストール インストールは実に簡単。 pip を使ってさっくりできる。 $ pip install janome 使ってみる 使い方も至ってシンプルで janome.tokenizer.Tokenizer さえ知っていればいい。 Tokenizer#tokenize() メソッドに日本語のユニコード文字列を渡すだけで解析ができる。 解析結果はリストで返ってくる。 >>> from jano
TinySegmenterをJulia移植したらMITの先生に指導してもらえた話 - once upon a time,
先日、工藤さんがJavaScript向けに作った日本語のコンパクトな分かち書きツール、TinySegmenterをJuliaに移植したTinySegmenter.jlを作りました。 もともとは、PyconJPでjanomeの話を聞いたら居ても立っても居られなくなって、簡単なTinySegmenterを移植したんですが、そしたら思いもよらぬ展開が待っていました。 [2015/10/22 23:38 追記] 計測の問題を @repeatedly さんから指摘いただいたので再計測しました。 パッケージ登録時にMITの先生からツッコミが入る JuliaのパッケージはMETADATA.jlというセントラルなレポジトリで管理されています。 ここに登録されたパッケージはPkg.add("TinySegmenter")とREPLで実行するだけでパッケージが導入できます。*1 ここに登録をしようとした時に、
Pyconjp2015 - Python で作って学ぶ形態素解析
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
moco(beta)'s backup: PyConJP で janome の発表をしてきました
10/9 - 12 に開催された PyConJP 2015 で、「Python で作って学ぶ形態素解析」というタイトルで janome の発表をさせていただきました。 スタッフの皆様、聞きに来てくださった方々、ありがとうございました。 発表スライド 終わってから、スゴい緊張してたねーと色んな方に言われましたがｗ、良い経験になりました。内容は初歩的なもので、詳しい人には面白くないだろうなあと思いつつ、今まで言語処理に触れる機会がなかった方向けに、何か持ち帰ってもらえればいいなと思ってスライドを作りました。 Togetter まとめてもらえた。ありがとうございます！ 【すもも】Pure Python 実装 janome のアルゴリズムから学ぶ形態素解析入門 #PyConJP_C #pyconjp 発表して良かったこと このPRをくれた nakagami さんとお会いできた。 なんだか「神PR
Pure Python 実装の形態素解析器をつくってみた話 #PyDataTokyo #janome_ma
Pure Python 実装の形態素解析器をつくってみた話 #PyDataTokyo #janome_ma 1. Pure Python 実装の形態素解析器 をつくってみた話 2015.05.22 PyData.Tokyo Meetup #5 -‐ 自然言語処理 (LT) @moco_beta 2. 自己紹介 • @moco_beta • http://mocobeta-backup.tumblr.com/ • 元・Web系 Python エンジニア • いまは日曜 Python プログラマ • 興味があること: 情報検索技術/プロダクト • 自然言語処理・機械学習ワナビー🐣 3. janome とは • http://mocobeta.github.io/janome/ • “janome (蛇の目) は, Pure Python で書かれた, 辞書 内包の形態素解析器です.” (v
JustTechTalk#02 形態素解析のあれやこれや@ジャストシステムに参加しました。
JustTechTalk#02 形態素解析のあれやこれや@ジャストシステム に参加してきました。 ジャストシステムさんの形態素解析器JMATの話とKagome、Janome、Kuromoji.js、ssslaの開発者の パネルディスカッションでした。 ということで、いつものメモです。 ジャストシステムの形態素解析その２（機械学習編） JMATの話 前回は辞書の話 今回は学習の話 教師あり/教師なし JMATは教師あり 教師なしは研究段階 ラティス構造を辞書ベースで構築して、コストの総和が最小の経路を求める 連接、単語生成とか。 学習は3フェーズ ベース、能動、部分アノテーション ベース 300万文のコーパスから1万文のみを利用（なぜ？今から説明） 64GBマシン買ってみたけど、複数実験するには追いつかない オンライン学習がメジャーでない時代に作り始めたので、つかってない CRF学習器を改善
投票: Python で作って学ぶ形態素解析 | PyCon JP 2015 in TOKYO
辞書内包 / Pure Python 実装の形態素解析器 janome を支えるアルゴリズムについてお話します。形態素解析とは、一般に分かち書きともいわれ、自然言語処理の基礎となる技術です。このセッションでは、形態素解析アルゴリズムについて解説し、また janome ではそれをどのように実装したのかについて紹介します。 # Python で作って学ぶ形態素解析 2015/4 に公開した、Pure Python な形態素解析器 [janome][1] の内部を詳解します。 形態素解析とは、一般に分かち書きともいわれ、自然言語処理の基礎となる技術です。辞書ベースの形態素解析は主として辞書のエンコードと解析実行の２つのフェーズからなり、それぞれアルゴリズムが確立されています。 このセッションでは、形態素解析アルゴリズムについて解説し、また janome ではそれをどのように実装したのかと、工夫し
moco(beta)'s backup: 辞書内包／Pure Python実装の形態素解析器 Janome を公開しました
一応の基本機能がととのったので、できたてほやほやではありますが、Python製の形態素解析器 Janome を公開しました。 http://mocobeta.github.io/janome/ インストール方法や使い方は上記ページを見てください。 ソースコードはGithubにおいています: https://github.com/mocobeta/janome 【公開にいたった背景など】 日本語テキストを分析したりテキストマイニングする場合、まずは形態素解析から始めると思います。 Python の場合、そのためには MeCab をインストールして、mecab-ipadic をインストールして、mecab-python をインストールする、という手順を踏むことが多いと思うのですが、環境依存のところでハマって面倒な思いをしたり、サーバ構築の手間がかかったり、しますよね。なので、Pythonモジュ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeNA Engineering - DeNAエンジニアのポータルサイト
https://github.com/mocobeta/janome/blob/e9a3b0d0a17a9e28f85dc820601b147c8b0e1202/janome/lattice.py
janome のソースコードを読む（まだ途中）: ある nakagami の日記
GitHub - mocobeta/janome: Japanese morphological analysis engine written in pure Python