UniDicの検索結果1 - 5 件 / 5件

• あとで読む

  kuromoji.js + SudachiDict で形態素解析（辞書のビルド、IPADic・UniDic との比較） - Qiita

  • 2 users
  • qiita.com/piijey
  • テクノロジー
  • 2024/04/17

  kuromoji.js + SudachiDict で形態素解析（辞書のビルド、IPADic・UniDic との比較）JavaScript形態素解析SudachiDict UniDic の matrix.def のサイズが間違っていたので修正しました: 59GB → 5.9GB kuromoji.js （日本語形態素解析器 Kuromoji の JavaScript実装）と React を組み合わせて、クライアントサイドで完結するブラウザアプリを開発しています。kuromoji.js は IPADic (mecab-ipadic-20070801) をデフォルト辞書として使用していますが、収録語彙が私のアプリケーションの目的には最適ではないと感じていました。また、UniDic は機能面で魅力的ですが、ビルドして使ってみた結果、データサイズが大きすぎてスマートフォンでは動作しないという課題に

  
• あとで読む

  kuromoji.js + UniDic で形態素解析（辞書のビルド） - Qiita

  • 2 users
  • qiita.com/piijey
  • テクノロジー
  • 2024/03/09

  kuromoji.js （日本語形態素解析器 Kuromoji の JavaScript実装）と React でブラウザアプリを作っています。kuromoji.js はデフォルトでは IPADic (mecab-ipadic-20070801) を利用していますが、IPADic は現時点では更新が止まっており、辞書は新しいのがよい…… ということで、今回は UniDic 最新版（unidic-cwj-202302）を kuromoji.js 用にビルドして使ってみることにしました。 結果として、ブラウザアプリで UniDic 最新版を使って形態素解析を動かすことができました。 ただし、UniDic は IPADic に比べてデータ量が多いことに注意が必要です。パソコンのブラウザ（自分の M1 iMac + Chrome）では動作を確認できましたが、スマホなどリソースの限られた環境では難しい

  • javascript

  
• あとで読む

  SuPar-UniDicで日本語係り受け解析 - Qiita

  • 1 user
  • qiita.com/KoichiYasuoka
  • テクノロジー
  • 2024/02/02

  日本語係り受け解析モジュールSuPar-UniDicは、単語間係り受けと二文節間係り受けの両方をサポートしている。Google Colaboratoryで動かしてみよう。 !pip install suparunidic import suparunidic nlp=suparunidic.load() doc=nlp("吾輩はここで始めて人間というものを見た") import deplacy deplacy.serve(doc,port=None) from suparunidic import bunsetu_span,bunsetu_spans from deplacy.deprelja import deprelja d=bunsetu_spans(doc) g="digraph{"+";".join([f'x{b.start}[label="{b.text}"]' for b i

  
• あとで読む

  「UniDic」国語研短単位自動解析用辞書|UniDicとは

  • 1 user
  • clrd.ninjal.ac.jp
  • 暮らし
  • 2023/12/09

  UniDicとは、国立国語研究所の規定した斉一（せいいつ）な言語単位（短単位）と、 階層的見出し構造に基づく電子化辞書の ① 設計方針 および、その実装としてのリレーショナルデータベース ② UniDicデータベース と、そのデータベースからエクスポートされた短単位をエントリ（見出し語）とする、形態素解析器MeCab用の解析用辞書 ③ 解析用UniDic の総称です。 本サイトでは ③の解析用UniDic を公開・配布しています。 解析用UniDicは短単位をMeCab辞書のエントリとしているため、 UniDicを使った形態素解析は「短単位（自動）解析」とも呼ばれます。 UniDicの第一の目的は、国語研で構築しているコーパスアノテーションを支援することです。 国語研所内にあるUniDicデータベースは、同じく所内のコーパスのデータベースと参照関係にあり、 完成したコーパスデータベース中の
• あとで読む

  富岳でSuPar-UniDicをムリヤリ動かすには - Qiita

  • 1 user
  • qiita.com/KoichiYasuoka
  • テクノロジー
  • 2024/02/03

  昨日の記事で書いたSuPar-UniDicによる係り受けプログラムを、スーパーコンピュータ「富岳」のPyTorch-1.13.0で動かすことを試みた。しかし、富岳のPyTorch-1.13.0はコンパイル時にUSE_LAPACK=1を指定していないらしく、torch.nn.init.orthogonal_()まわりで File "/vol0004/apps/oss/spack-v0.19/opt/spack/linux-rhel8-a64fx/fj-4.8.1/py-torch-1.13.0-glqavnhys6plsjklw2bp3tkkh5ysyrqh/lib/python3.10/site-packages/torch/nn/init.py", line 484, in orthogonal_ q, r = torch.linalg.qr(flattened) RuntimeErro