meta翻訳は個人によって開発された世界最高精度の翻訳サービスです
はじめに Azure Cognitive Search は オープンソースの全文検索エンジンライブラリである Apache Lucene をベースに開発されており、多くの有用なモジュールを Azure Cognitive Search に取り入れています。その中には日本語アナライザーも含まれており、Azure Cognitive Search では日本語アナライザーとして、Lucene の日本語アナライザーと Microsoft Bing をベースとしたアナライザーの 2 種類から選ぶことができます。 これに加えて、Azure Cognitive Search では、カスタムアナライザーという機能を使うと独自のアナライザー(文字フィルター、トークナイザー、トークンフィルターの組み合わせ)を作成することができます。ただし現状はこちらの記事で説明しているとおり、日本語のカスタムアナライザーを実
これはなに? 駆け出しrubyエンジニアのnyagato_00です。 業務で、メルマガやコメント内容などから、どのような単語が多く頻出してるのか調べるために、rubyで形態素解析を行う方法をまとめました。 形態素解析とは 文字列を形態素、すなわち意味を持つ最小の単位にまで分割する技術のことです。 英語などの文章は、単語ごとに分かれていますが、日本語などは句読点以外は連結した文章ですよね。例えば、日本語を習得している方は、与えられた文章から単語を選別することができますが、コンピュータの場合そう簡単にはいきません。 例えば、文字列の解析をする前段処理として、まず形態素解析を行い頻出単語などを抽出しこれらの意味から良い感情の文章かそうでないかなど判断させたりします。 こちらの記事に直近の形態素解析ツールについてまとめられていました。 https://qiita.com/sugiyamath/it
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く