![](https://cdn-ak-scissors.b.st-hatena.com/image/square/2eff9b85728698904d8259c7d18e94148529d2e7/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fengineer-festa-ogp-background-074608b13b4bbe67c10ada41e7e2d292.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU2JTk3JUE1JUU2JTlDJUFDJUU4JUFBJTlFJUU3JTk0JTlGJUU2JTg4JTkwQUklRTMlODElQUVUb2tlbkNsYXNzaWZpY2F0aW9uUGlwZWxpbmUlRTMlODElQUJCZWxsbWFuLUZvcmQlRTYlOEIlQTElRTUlQkMlQjUlRTMlODElQUYlRTUlQkYlODUlRTglQTYlODElRTMlODElOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyM0ZGRkZGRiZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWM0Yjk1ODg4ZmQyYmRlNWU1MjJkZjIxYTBjM2ZiNTU1%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBLb2ljaGlZYXN1b2thJnR4dC1jb2xvcj0lMjNGRkZGRkYmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1mNzczYWJiNjA4YTBiODI5ZTZhZjkwYzViNzViNzUxYQ%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3D591b9fb31df9cbed6e099cc05fcf1efe)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
日本語生成AIのTokenClassificationPipelineにBellman-Ford拡張は必要か - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
日本語生成AIのTokenClassificationPipelineにBellman-Ford拡張は必要か - Qiita
長尾浩良・五藤巧・是枝祐太『単方向・双方向事前学習済み言語モデルにおけるアーキテクチャ・事前学習... 長尾浩良・五藤巧・是枝祐太『単方向・双方向事前学習済み言語モデルにおけるアーキテクチャ・事前学習方法の違いによる影響の分析』(第38回人工知能学会全国大会論文集, 4Xin2-37, pp.1-4, 2024年5月31日)と村脇有吾『文字言語モデルからの単語言語モデルの教師なし合成』(情報処理学会研究報告, Vol.2024-NL-260, No.2, pp.1-14, 2024年6月28日)を横目に、GPT2ForTokenClassificationを使ってgpt2-{small,medium,large}-japanese-uposを作ってみた。しかし、単なるTokenClassificationPipelineだとイマイチ精度が上がらなかったので、系列ラベリングの「B-」「I-」解消にBellman-Fordを入れて、文末から文頭へと逆方向に情報が伝わるようにした。UD_Japan