大規模辞書マッチングを手軽に高速化するソースコードを公開｜#ホットリンク
最終更新日：2023年6月12日 開発本部研究開発グループR&Dチームのサンティです。 今回は、テキストマイニングのエンジニア向けに、以前ご紹介した「大規模辞書マッチングを手軽に高速化してみた」のソースコードを、実験のために公開します。正式な資料は特にありませんが、下記の手順を一通り実行いただければ基本的な操作を体験できると思います。 なお、前提としてある程度Julia言語が使える、またはこれをきっかけにJulia言語を初めて見ようかと思っている方を想定しています。初版では非効率な部分がまだまだ沢山ありますので、皆様からの改良改善点の共有をお待ちしております。 まず、DAWGパッケージの公開リポジトリは下記の通りです。 https://github.com/hottolink/DAWG このパッケージは、Julia言語で記述した疎行列及びダブル配列ベースDAWG(Directed Acyc
エラーページ - ヤフー株式会社
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新形態素解析器JUMAN++を触ってみたけど思ったより高精度でMeCabから乗り換えようかと思った話
GitHub - ikawaha/kagome: Self-contained Japanese Morphological Analyzer written in pure Go
日本語形態素解析の初歩 - あらびき日記
