2022年4月3日のブックマーク (3件)

  • meta翻訳

    meta翻訳は個人によって開発された世界最高精度の翻訳サービスです

    gengohouse
    gengohouse 2022/04/03
    “【採用論文解説】Teacher-forcingによる精度の劣化を緩和する手法”
  • Azure Cognitive Search に独自の日本語アナライザーを実装する? - Qiita

    はじめに Azure Cognitive Search は オープンソースの全文検索エンジンライブラリである Apache Lucene をベースに開発されており、多くの有用なモジュールを Azure Cognitive Search に取り入れています。その中には日語アナライザーも含まれており、Azure Cognitive Search では日語アナライザーとして、Lucene の日語アナライザーと Microsoft Bing をベースとしたアナライザーの 2 種類から選ぶことができます。 これに加えて、Azure Cognitive Search では、カスタムアナライザーという機能を使うと独自のアナライザー(文字フィルター、トークナイザー、トークンフィルターの組み合わせ)を作成することができます。ただし現状はこちらの記事で説明しているとおり、日語のカスタムアナライザーを実

    Azure Cognitive Search に独自の日本語アナライザーを実装する? - Qiita
  • rubyで形態素解析をやってみる - Qiita

    これはなに? 駆け出しrubyエンジニアのnyagato_00です。 業務で、メルマガやコメント内容などから、どのような単語が多く頻出してるのか調べるために、ruby形態素解析を行う方法をまとめました。 形態素解析とは 文字列を形態素、すなわち意味を持つ最小の単位にまで分割する技術のことです。 英語などの文章は、単語ごとに分かれていますが、日語などは句読点以外は連結した文章ですよね。例えば、日語を習得している方は、与えられた文章から単語を選別することができますが、コンピュータの場合そう簡単にはいきません。 例えば、文字列の解析をする前段処理として、まず形態素解析を行い頻出単語などを抽出しこれらの意味から良い感情の文章かそうでないかなど判断させたりします。 こちらの記事に直近の形態素解析ツールについてまとめられていました。 https://qiita.com/sugiyamath/it

    rubyで形態素解析をやってみる - Qiita