ヤフーは4月18日、AI・自然言語処理技術のひとつである分散表現の学習時間を短縮化する技術「yskip」をオープンソースソフトウェア(OSS)として公開したと発表した。 Word Similarityタスクのデータセット3種類(WordSim353、MEN、SimLex999)とAnalogyタスクのデータセット2種類(Googleデータ、MSRデータ)を用いた結果 分散表現とは、単語をベクトルで表現する自然言語処理領域のAI技術のひとつ。同技術を用いると、大量のテキストデータからさまざまな単語の関係性を機械学習し、単語同士の意味の相違を機械的に推定できる。同社では、同技術をユーザーの興味関心情報と記事や広告のマッチングの裏側の技術として活用しているという。 ただし、分散表現は、より大量のテキストデータを用いて学習することで精度向上が期待できるが、日々増加し、新たなトレンドも生まれてくる「