ゼロからはじめるPython(82) 形態素解析で表記揺れを吸収してファイル検索しよう
ファイル検索したのに、なかなか該当ファイルが見つからないということがある。必死に探し回ってようやく見つけると、検索キーワードの送りがなや表記の揺れが原因でファイル検索で見つからなかったということも多々ある。例えば「引き換え」で検索していたが本文には「引換え」と書かれていた場合だ。今回、こうした表記揺れを吸収するために形態素解析を利用した簡単なファイル検索ツールを作ってみよう。 曖昧検索したところ - grepで見つけられなかったファイルも曖昧検索で見つけることができた 形態素解析で簡単表記揺れ吸収検索 「形態素解析」とは単語辞書を利用して、文章を最小単位の単語に区切る技術だ。多くの形態素解析を行うツールでは、単語辞書を利用して単語のヨミガナを取得する機能がついている。この機能を使う事でちょっとした表記揺れを吸収することができる。 欠点としてはテキストと単語辞書を照合していくため動作速度は遅
形態素解析エンジンMeCabの使い方完全マニュアル〜Python編〜
今では機械に複数の言語を翻訳させたり、知りたい情報を検索サービスですぐに得られるようになりましたよね。実はこの背景には形態素解析という技術が大きく関係しています。 実はこの形態素解析は形態素解析エンジン「MeCab」で体験することができます。 それではこの形態素解析が体験できる形態素解析エンジン「MeCab」をPythonで利用する方法を説明していきましょう。 このMeCabとは形態素解析ができるソフトウェアのこと。単体で利用したり、プログラミング言語「Python」とMeCab連携して使うことが可能です。 そこでまずMeCabと形態素解析についての基本やどのような環境構築・準備が必要なのか。また、MeCabのインストール・Pythonと連携させる方法、PythonでMeCabを利用した形態素解析をする方法を具体的にお話します。 最後にはMeCabを使うときのポイントや、みなさんに併せてお
AWS、PythonでMeCabを使う際の語彙データを無料公開 | Ledge.ai
アマゾン ウェブ サービス ジャパン株式会社（Amazon Web Services、AWS）は、同社のオープンデータセットに、日本語自然言語処理で定番の形態素解析器である「MeCab」を、ラッパーライブラリであるfugashi経由でPythonで使用する際の語彙（ごい）データに加えた、と公式ブログで明らかにした。 多くの機械学習デベロッパーが、AWS上でさまざまなアルゴリズムの開発やモデルを構築している。なかでも、自然言語処理をする際には、対象言語の特性に即した形で前処理をする必要がある。日本語の自然言語処理を実施する際には、一般的に「形態素解析」と呼ばれる文章の分解処理を前位処理として実施する。 日本語形態素解析をするためには、日本語の語彙データが必要になる。語彙データは大きなサイズになるだけではなく、これらを用いた計算の際にも大量のGPUおよびCPUが求められる。そのため、従来このよ
AWS、Pythonから「MeCab」を利用する際の語彙データをOpen Dataとして公開
アマゾンウェブサービスジャパンは、日本語自然言語処理で定番の形態素解析器である「MeCab」を、ラッパーライブラリである「fugashi」経由でPythonにて使用する際の語彙データ「UniDic」が、「Open Dataset」に追加されたことを、10月9日に発表した。 「MeCab」は、オープンソースの形態素解析器で、日本語の形態素解析において幅広く用いられており、言語、辞書、コーパスに依存しない汎用的な設計を基本とし、高速に動作する。 「fugashi」は、「MeCab」をPythonから使用する際のラッパーライブラリで、unidic-pyとの連携によって「UniDic」を簡単に読み込んで使用できる。 「UniDic」は、国立国語研究所によって構築された、日本語テキストを単語に分割し、形態論情報を付与するための電子化辞書。 データはAmazon S3上でホストされているので、AWSで
日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました | Amazon Web Services
Amazon Web Services ブログ 日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました 多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の特性に即した形で前処理を行う必要があります。日本語の自然言語処理を実施する際には、形態素解析と呼ばれる文章の分解処理を前位処理として一般的に行います。日本語形態素解析を行うためには、日本語の語彙データが必要となりますが、このデータは通常 GB 以上のサイズに及ぶ大きなサイズとなります。またこれらを用いた計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの
Azure FunctionsでPythonとMeCabを使う - Qiita
本記事の目的 Azure Data Factoryの前処理で、MeCabを利用した簡単な自然言語処理（形態素解析＋α程度）をしたい。 関数として実装して、後々LogicAppsとか色々なサービスから呼び出せれば便利そう。ということで2つの実装方法を検討した。 Azure Functions（本記事） Azure DataBricks（Azure DatabricksでPythonとMeCabを使う） 機械学習のように重たい処理を行うわけではないのでAzure Functionsで十分だろう、ということで実装してみた。 先に結論を書くと ・Azure FunctionsのHTTP Requestをトリガーとする関数は以下のURLを参考にすれば実装できる Visual Studio Code を使用して Azure Functions プロジェクトを作成する https://docs.micr
SudachiPyでユーザー辞書を使う - Re:ゼロから始めるML生活
気がついたら、前回のブログからだいぶ空いてしまいました。 これまで、Sudachiを使ってユーザー辞書を使おうとした場合には、Sudachi（Java）を使用する必要がありました。 それが最近何やらSudachiPyのリリースがあったらしく、SudachiPyでユーザー辞書が使えるようになったようです。 github.com ということで、今回はそれを使ってみます。 SudachiPyのインストール ユーザー辞書 ユーザー辞書を作成 ユーザー辞書をビルド sudachi.jsonにユーザー辞書を指定 使ってみる Before After Dockerを使ってやってみる Dockerfile 形態素解析 感想 SudachiPyのインストール github.com 普通にReadmeに書いてあるとおりにインストールを進めます。 とりあえずインストールしてみます。 すでに、古いSudachiが
moco(beta)'s backup: 辞書内包／Pure Python実装の形態素解析器 Janome を公開しました
一応の基本機能がととのったので、できたてほやほやではありますが、Python製の形態素解析器 Janome を公開しました。 http://mocobeta.github.io/janome/ インストール方法や使い方は上記ページを見てください。 ソースコードはGithubにおいています: https://github.com/mocobeta/janome 【公開にいたった背景など】 日本語テキストを分析したりテキストマイニングする場合、まずは形態素解析から始めると思います。 Python の場合、そのためには MeCab をインストールして、mecab-ipadic をインストールして、mecab-python をインストールする、という手順を踏むことが多いと思うのですが、環境依存のところでハマって面倒な思いをしたり、サーバ構築の手間がかかったり、しますよね。なので、Pythonモジュ
neologd 辞書内包の janome パッケージをダウンロードできるようにしました（不定期更新） | by mocobeta | Medium
以前に，neologd を内包した janome のビルド手順 を公開したのですが，さすがにちょっと大変だよなと思ったので，ビルド済みのパッケージを以下に置きました。 まだ， pip 一発… とはいかないのですが興味のある方はドウゾ。 インストール (venv)$ pip install Janome-0.3.5.neologd20170814.tar.gz --no-compile (venv)$ python -c "from janome.tokenizer import Tokenizer; Tokenizer(mmap=True)"実行 (venv) $ python >>> from janome.tokenizer import Tokenizer >>> t = Tokenizer(mmap=True) >>> s = u'トランプ大統領、最側近バノン氏解任 政権屋台骨揺ら
Welcome to janome's documentation! (Japanese) — Janome v0.4 documentation (ja)
Welcome to janome's documentation! (Japanese)¶ English Janome とは¶ Janome (蛇の目; ◉) は，Pure Python で書かれた，辞書内包の形態素解析器です。 依存ライブラリなしで簡単にインストールでき，アプリケーションに組み込みやすいシンプルな API を備える形態素解析ライブラリを目指しています。 内包辞書として mecab-ipadic-2.7.0-20070801 を使っています。なお，v0.3.8+ では新元号「令和」がシステム辞書に追加されています。 ソースコードリポジトリ¶ https://github.com/mocobeta/janome 気に入ったらリポジトリにも★つけていってください！ :) API リファレンス¶ https://mocobeta.github.io/janome/api/ 動
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
-NEologd-%25E8%25BE%259E%25E6%259B%25B8%25E3%2582%2592%25E5%2586%2585%25E5%258C%2585%25E3%2581%2597%25E3%2581%259F-janome-%25E3%2582%2592%25E3%2583%2593%25E3%2583%25AB%25E3%2583%2589%25E3%2581%2599%25E3%2582%258B%25E6%2596%25B9%25E6%25B3%2595)
(very experimental) NEologd 辞書を内包した janome をビルドする方法