【PyTorch】GPTをPrompt-tuningしてみた | 株式会社AI Shift
こんにちは．AIチームの二宮です． 本記事では，最近話題のPrompt-tuningのご紹介と，実装・実験・分析を行ってみました． はじめに 近年，言語モデルの大規模化が著しいです．例えば，huggingfaceで公開されている日本語版のいくつかの言語生成モデルGPTのパラメタ数は以下になります． (M: million, B: billion) rinna/japanese-gpt2-xsmall: 37M rinna/japanese-gpt2-medium: 336M rinna/japanese-gpt-1b: 1.3B abeja/gpt-neox-japanese-2.7b：2.7B naclbit/gpt-j-japanese-6.8b：6.8B BERT-baseが約110M，BERT-largeが約340Mであることを考えると，非常に大規模であることを実感しますね．最近話
HuggingSoundによる音声認識モデルのfine-tuning | 株式会社AI Shift
こんにちは AIチームの戸田です 今回は最近リリースされたHuggingFaceをベースにした音声処理用のツール、HuggingSoundを使って音声認識を試してみます。 HuggingSoundはHuggingFaceが公式に出しているものではなく、リオデジャネイロ大学のJonatas Grosman氏が個人的に開発しているライブラリで、今年に入ってリリースされたばかりの新しいライブラリです。 日本語の音声認識モデルはGrosman氏がこのライブラリを使ってCommon Voice、 CSS10、 JSUTをfine-tuningしたものを公開してくれていますが、本記事ではイチからfine-tuningを試してみたいと思います データ準備 学習に使用するデータは声庭で公開されているデータを利用します。声庭は有志でアノテーションを行っている公開音声データで、利用・修正・再配布が自由なオープ
社内SQL研修のために作った資料を公開します | 株式会社AI Shift
こんにちは、Development Teamの三宅です。 先日、社内（AI事業本部内）でSQL研修の講師を担当したので、今回はその内容について簡単に共有したいと思います。 はじめに 例年、AI事業本部では、新卒エンジニアの育成のためにソフトウェアエンジニア研修を行っております。今年はフルリモートでの実施となりました。研修期間は2週間ほどで、内容は前半が講義、後半が実践（チーム開発）でした。私が担当したのは、講義パートの一部であるSQL研修です。SQLやRDBにあまり慣れていない人でも、できるだけ体系的な学びが得られるようにすることを目標に、様々な資料をまとめて提供する方針で準備しました。結果的には、ハンズオン込みで4時間ほどのやや長い講義となりましたが、勉強になったという声も頂けたのでやって良かったと思っています。 研修資料 研修内容 SQL研修の内容は、基本的には大学のデータベース講義で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
