Taku Kudo on Twitter: "今どきのNLPは生データから教師なし学習するサブワードを使い言語非依存になっています。英語に特化してるのではなくトークン数の差は学習データの量の差からくるものです。日本語データを増やせば自然にトークン数の差は減ります。日本語知識に「特化」するとかえって多言語処理の弊害になります。"

テクノロジーカテゴリーの変更を依頼記事元:

twitter.com

4 usersがブックマークコメント

記事へのコメント2件

注目コメント
新着コメント

misshiki “今どきのNLPは生データから教師なし学習するサブワードを使い言語非依存になっています。...豊富な英語コーパスを犠牲にして日本語を増やすのは現実的ではない”

自然言語処理

2023/05/24 リンク

yarumato “今どきのLLM開発は、言語非依存になっています。日本語の形態素解析等は多言語化の障壁でしかありません。”

2023/05/23 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Ftwitter.com%2Ftaku910%2Fstatus%2F1660845546553180163" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://twitter.com/taku910/status/1660845546553180163">Taku Kudo on Twitter: "今どきのNLPは生データから教師なし学習するサブワードを使い言語非依存になっています。英語に特化してるのではなくトークン数の差は学習データの量の差からくるものです。日本語データを増やせば自然にトークン数の差は減ります。日本語知識に「特化」するとかえって多言語処理の弊害になります。"</a><a href="https://b.hatena.ne.jp/entry/s/twitter.com/taku910/status/1660845546553180163">はてなブックマーク - Taku Kudo on Twitter: "今どきのNLPは生データから教師なし学習するサブワードを使い言語非依存になっています。英語に特化してるのではなくトークン数の差は学習データの量の差からくるものです。日本語データを増やせば自然にトークン数の差は減ります。日本語知識に「特化」するとかえって多言語処理の弊害になります。"</a></div></iframe>