UniDicの検索結果1 - 3 件 / 3件

• あとで読む

  日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました | Amazon Web Services

  • 102 users
  • aws.amazon.com
  • テクノロジー
  • 2020/10/09

  Amazon Web Services ブログ 日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました 多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の特性に即した形で前処理を行う必要があります。日本語の自然言語処理を実施する際には、形態素解析と呼ばれる文章の分解処理を前位処理として一般的に行います。日本語形態素解析を行うためには、日本語の語彙データが必要となりますが、このデータは通常 GB 以上のサイズに及ぶ大きなサイズとなります。またこれらを用いた計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの

  • aws
  • mecab
  • python
  • 形態素解析
  • 自然言語処理
  • あとで読む
  • nlp
  • データ
  • amazon

  
• あとで読む

  現代・古典日本語の形態素解析・係り受け解析のためのunidic2ud | yasuokaの日記 | スラド

  • 3 users
  • srad.jp/~yasuoka
  • 世の中
  • 2019/08/27

  私(安岡孝一)の8月21日の日記で公開したudkanbunを改造して、UniDicのMeCab辞書と、UDPipeのjapanese-gsdモデルが読めるようにした。これをさらに「Chamame2UD.py」と機能統合して、手元に辞書がある場合はローカルで高速に、ない場合はWeb APIを叩くことで低速に、動作するよう書き直してみた。unidic2udというpython3モジュールとして、PyPIからリリースしたので、ぜひ使ってみてほしい。インストールは、とりあえずは % python3 >>> import unidic2ud >>> ja=unidic2ud.load("gendai") >>> s=ja("笑顔で彼は座った") >>> print(s) # text = 笑顔で彼は座った 1    笑顔    笑顔    NOUN    名詞-普通名詞-一般    _    5   
• あとで読む

  BERTモデルを用いた日本語係り受け解析ツールSuPar-UniDicリリース | yasuokaの日記 | スラド

  • 3 users
  • srad.jp/~yasuoka
  • テクノロジー
  • 2021/02/22

  昨年12月26日の日記で紹介したSuParを、UniDic2UDに繋いで、SuPar-UniDicという日本語係り受け解析ツールを試作してみた。現時点では、10種類のUniDic(unidic-liteを含む)を、7種類のBERTモデルと繋げられるので、合計70種類の組み合わせが楽しめる。しかも、解析結果はspaCy準拠だ。とりあえず、インストール。 $ pip3 install git+https://github.com/yzhangcs/parser --user $ pip3 install suparunidic --user