BERT（Keras BERT）を使用した文章分類を学習から予測まで紹介！ | cloud.config Tech Blog
概要 絶賛フロントエンド勉強中の井上です。今回は自然言語処理界隈で有名なBERTを用いた文書分類（カテゴリー分類）について学習（ファインチューニング）から予測までを紹介したいと思います。本記事では実装ベースでお話しするので、「そもそもBERTって何？」という方は検索するか、参考URLを載せておくのでそこから飛んでいただけると助かります。 目次 事前準備 学習 評価 予測 参考文献 事前準備 Google Colaboratory 学習は膨大な計算量が必要なので、Google Colaboratoryを使用します https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja 無料でTPU（Tensor Processing Unit）が使えるのでお得！ googleさんありがとうございます TPUはIntelのHaswellと
論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ
こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f
「GPT-3」は思ってたより「やばい」ものだった。話し言葉でプログラミングまでこなすAI - CUBE MEDIA
このサイトを立ち上げて、執筆するとき、いくつか心のなかで決めたことがありました。 その中の一つに「タイトルで”やばい”という言葉は使わないようにしよう」というものがあります。まとめサイト等で、対して大きな事件でもないものを「やばすぎるｗｗｗ」等と囃し立ててアクセスを取る行為が嫌いだったからです。 しかしその禁を今日破ります。「GPT-3」は、私が思っていた以上に「やばい」代物でした。 もちろん「ライターが要らなくなる」とか「１ヶ月後にはロボットが秘書になる」とか、そういった大げさなものではありませんが、 思ったより早く「AI社会」の片鱗が落ちてきた、という印象です。 まだ多くの方は「GPT-3」という単語を聞いたことがないかもしれません。GPT-3は「Generative Pretrained Transformer」の頭文字を取ったもので、1750億個のパラメータを使用した「文章生成言語
GPT-3の衝撃 - ディープラーニングブログ
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
言語処理100本ノックをdocker(19)で。python(1)覚えるのに最適。 - Qiita
注意事項。無茶でかいです。うんじゅうGBあるらしい。ごめんなさい。 いくつかに分割してあげなおすよう調整中の予定が転職で手がまわらず。ごめんなさい。 Windowsだ, Macintoshだ という違いを意識せず、Debian系つながりで、 Raspberry PIでもそのまま動く可能性が大なのがお勧めの理由。 ソースコードは、gitで保存し、各種枝分かれを管理したい。 複数人で並列に実行している言語処理１００本ノックのソースを、 GitHub に掲載し、そのソースを利用するdockerを作っていた。 言語は原則pythonとし、それ以外の言語での記述も保存できる方法を検討していた。 GitHub登録は最年長が、作業のリーダは最年少者がするのは、過去の同グループの習慣による。 ソースコードのない環境、あるいはいろいろなソースも入っている環境を構築しているメンバはこちら。 https://h
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Facebookが自然言語処理開発を促進するPyTextをオープンソース公開