最先端自然言語処理ライブラリの最適な選択と有用な利用方法 / pycon-jp-2020
PyCon JP 2020 での発表スライドです。 GitHub: https://github.com/taishi-i/toiro/tree/master/PyConJP2020
PyCon JP 2020 での発表スライドです。 GitHub: https://github.com/taishi-i/toiro/tree/master/PyConJP2020
ある個人開発 OSS の歩み： 5 歳になった Janome のこれまでと，これから - Speaker Deck
Transcript ͋Δݸਓ։ൃ OSS ͷาΈɿ 5 ࡀʹͳͬͨ Janome ͷ͜Ε·Ͱͱɼ͜Ε͔Β PyConJP 2020 ଧాஐࢠ ࣗݾհ ଧాஐࢠ ڵຯɿݕࡧʢຊۀʣɼػցֶशɼࣗવݴޠॲཧ ❤ OSS : Janome ։ൃऀɼApache Lucene committer ॴଐɿʢגʣLegalForce ݚڀ։ൃΤϯδχΞ @moco_beta Agenda Janome ͷհ ॳظϦϦʔε͔Β͜Ε·Ͱ 0.4.0 ϦϦʔεͷ͓Βͤ ͜Ε͔Β͍͖͍ͬͯͨ͜ͱ https://mocobeta.github.io/janome/ 扉絵の この子は絵師さんに描いてもらいました (*´Ŗ`*) Hello, Janome $ pip install janome $ python >>> from janome.tokenizer import Tokenizer >
ファイル検索したのに、なかなか該当ファイルが見つからないということがある。必死に探し回ってようやく見つけると、検索キーワードの送りがなや表記の揺れが原因でファイル検索で見つからなかったということも多々ある。例えば「引き換え」で検索していたが本文には「引換え」と書かれていた場合だ。今回、こうした表記揺れを吸収するために形態素解析を利用した簡単なファイル検索ツールを作ってみよう。 曖昧検索したところ - grepで見つけられなかったファイルも曖昧検索で見つけることができた 形態素解析で簡単表記揺れ吸収検索 「形態素解析」とは単語辞書を利用して、文章を最小単位の単語に区切る技術だ。多くの形態素解析を行うツールでは、単語辞書を利用して単語のヨミガナを取得する機能がついている。この機能を使う事でちょっとした表記揺れを吸収することができる。 欠点としてはテキストと単語辞書を照合していくため動作速度は遅
[janome 開発日誌] v0.4.0 をリリースしました（メモリ使用量の削減や Python2.7 サポート停止などなど） | by mocobeta | Medium
[janome 開発日誌] v0.4.0 をリリースしました（メモリ使用量の削減や Python2.7 サポート停止などなど） 久し振りの，大型アップデート報告となります 🙌 v0.4.0 をリリースしました。今回はいくつかの Breaking changes と Behavior changes を含むため，マイナーバージョンを 0.4.0 に上げています。アップグレードの際は下記変更点の確認をお願いします。 Breaking changes Python 2.7 サポートの停止Python 2.7 サポートを停止しました。v0.4.0 では Python 3.6 以上のみサポートします。 またこれに伴い，種々のリファクタリングを実施しました。ユーザーサイドでは，Public API に Type Hint を導入したことで，開発時に IDE やエディタの型サジェストを受けられるように
Pythonの勉強／インフルエンサーとは？ Twitterアカウントからスクレイピングで最近の200ツイートを抽出し、分析します。【Pythonでできること】 Pythonでできること インフルエンサーとは 有名人のTwitterアカウントから、最近のツイートをスクレイピング Pythonを使うには？ Twitteer APIの承認 コードの使い方 Twitterアカウントの貼り付け スクレイピングしたツイートを、janomeで形態素解析 Word Cloudで可視化 Pythonでできること 今回は、ひさびさにPythonを使って、何かやりたいと思いまして。 「Python」という言葉を、Ubersuggestでキーワード候補検索すると、、 できること 入門 学習 勉強 などの言葉が候補のなかでSEO的に効果がありそうだったので、いつかどなたかに読んでもらえることを願って、、この辺の言葉
GraalVM (graalpython) で janome を無理矢理動かしてみたメモ | by mocobeta | Medium
— — Disclaimer: これは 2019/8 現在の人柱記事で，誤りを含むかもしれません。（おかしいことを書いていたらご指摘ください。） — — 最近何かと目にすることが多い GraalVM ですが，Python 3 がうごくらしい（JIT でうごくらしい）というのを聞いて，pure Python な janome は動くのだろうか，と試してみました。 ※ GraalVM は，Java や Scala といった JVM 言語の他，多言語が動作するプラットフォームを目指しているとのことで，Python だけでなく，JavaScript，Ruby や R もサポートし，かつ言語をまたいでの呼び出しも可能，という野心的なプロジェクトになっています（とはいえ，まだまだ実験段階）。詳細は公式ドキュメントを見てください。ざっくり何ができるのかを掴むには，こちらの記事がわかりやすかったです。 P
はじめに 「形態素解析器を使いこなしたい！」、そう思ったのはいったいいつからか... 今回は形態素解析器であるJanomeの公式Documentを自分なりにまとめました！ 形態素解析器の使い方がよくわかっていない方の参考になれば幸いです！ 参考文献 Janome API reference v0.4 Janome v0.4 documentation (ja)WELCOME TO JANOME'S DOCUMENTATION! (JAPANESE) Python, Janomeで日本語の形態素解析、分かち書き（単語分割） 目次 Tokenizer Analyzer char_filters token_filters janome.tokenizer module 入力した文字列を"Token"に変換して出力します。 from janome.tokenizer import Tokeniz
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゼロからはじめるPython(82) 形態素解析で表記揺れを吸収してファイル検索しよう
Python入門②インフルエンサーとは？Twitterでふんわり分析 - ハテブカスタム
形態素解析器（Janome）を使いこなしたい！ - Qiita