![](https://cdn-ak-scissors.b.st-hatena.com/image/square/f698a28acafa93eafd2fb25b3d49efcd784e4caa/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fengineer-festa-ogp-background-074608b13b4bbe67c10ada41e7e2d292.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9TWlzdHJhbEZvclRva2VuQ2xhc3NpZmljYXRpb24lRTMlODElQUIlRTMlODIlODglRTMlODIlOEIlRTYlOTclQTUlRTYlOUMlQUMlRTglQUElOUUlRTUlOTMlODElRTglQTklOUUlRTQlQkIlOTglRTQlQjglOEUlRTMlODMlQTIlRTMlODMlODclRTMlODMlQUJSYWt1dGVuQUktN0ItY2hhci11cG9zJUUzJTgyJTkyJUUzJTgzJUFBJUUzJTgzJUFBJUUzJTgzJUJDJUUzJTgyJUI5JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjNGRkZGRkYmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz03MmJjMGE4NzRiYTg4NzU0M2QxZjk0ZTFkMTA4ZDc0Yg%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBLb2ljaGlZYXN1b2thJnR4dC1jb2xvcj0lMjNGRkZGRkYmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1mNzczYWJiNjA4YTBiODI5ZTZhZjkwYzViNzViNzUxYQ%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3Dddb47b015992989789786c94fa0f7742)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
MistralForTokenClassificationによる日本語品詞付与モデルRakutenAI-7B-char-uposをリリース - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
MistralForTokenClassificationによる日本語品詞付与モデルRakutenAI-7B-char-uposをリリース - Qiita
MistralForTokenClassificationによる日本語品詞付与モデルRakutenAI-7B-char-uposをリリース言語処理系... MistralForTokenClassificationによる日本語品詞付与モデルRakutenAI-7B-char-uposをリリース言語処理系列ラベリングrakuten品詞付与 昨日のJHPCNシンポジウムでも指摘したのだが、RakutenAI-7Bのトークナイザは非常に出来が悪く、MistralForTokenClassificationによる系列ラベリングに適さない。たとえば「今も海が見えるでしょうか」を「今」「も」「海」「が見」「える」「でし」「ょう」「か」とトークナイズしてしまうので、「が見」がどうにもならないのだ。 だったらトークナイザを改造して、「が見」が「が」「見」になるようにすればいい。そう考えて、私(安岡孝一)なりにRakutenAI-7B-char-uposを作ってみた。ちょっと動かしてみよう。 >>> from transformers import pipel