ファインチューニング（Fine-tuning：微調整）とは？
用語「ファインチューニング」について説明。「事前学習」した訓練済みニューラルネットワークモデルの一部もしくは全体を、別のデータセットを使って再トレーニングすることで、新しいタスク向けにモデルのパラメーターを微調整することを指す。 連載目次 用語解説 機械学習（厳密にはニューラルネットワーク）におけるファインチューニング（Fine-tuning：微調整）とは、あるデータセットを使って事前学習（Pre-training）した訓練済みモデルの一部もしくは全体を、別のデータセットを使って再トレーニングすることで、新しいタスク向けに機械学習モデルのパラメーターを微調整することである（図1）。一般的に、再トレーニングの際の学習率はより小さな値にするため、既に調整済みのパラメーターへの影響もより小さなものとなる。 ファインチューニングは、（広義の）転移学習（Transfer Learning）の一つのア
Transformerアーキテクチャと自然言語処理の発展
1. はじめに はじめまして、この投稿がZennの初投稿となります。 初学者ゆえ至らない点や、不適切な表現があるとは思いますが都度ご指摘していただけると幸いです。 この記事についてですが、先月から自然言語処理を今のトレンドであるTransformerを主軸に勉強し始めており、インプットだけでなくアウトプットのためZennを書こうと思ったのがきっかけです。 (同様にQiitaにてベイズに関するアウトプットも行なっています。) また、参考資料については下にも書いてはいますが「Transformerによる自然言語処理」をメインにしています。 といってもこの本は誤翻訳がひどいので自分で調べながらやる必要があり、二度手間になるかもです。ただ内容としては初学者の自分でも理解でき、GitHubに公開されているJupiter Notebookと同時に進めれば誤翻訳もまあ修正できると感じたので個人的には良い
Python: LightGBM の学習率と精度および最適なイテレーション数の関係について - CUBE SUGAR CONTAINER
勾配ブースティング決定木 (Gradient Boosting Decision Tree; GBDT) では、以下が経験則として知られている。 学習率 (Learning Rate) を下げることで精度が高まる 一方で、学習にはより多くのイテレーション数 (≒時間) を必要とする しかしながら、上記が実際に実験などで示される機会はさほど無いように思われた。 そこで、今回は代表的な GBDT の実装のひとつである LightGBM と、疑似的に生成した学習データを使ってそれを確かめていく。 確かめる内容としては、以下のそれぞれのタスクで学習率を変化させながら精度と最適なイテレーション数の関係を記録して可視化する。 二値分類タスク 多値分類タスク 回帰タスク 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 12.6.2 Bu
TechCrunchの2023年予測！データサイエンス分野における4つのトレンド【テッククランチ】
TechCrunchの2023年予測！データサイエンス分野における4つのトレンド【テッククランチ】 2023年1月18日 寄稿者 Torsten Grabs Snowflakeの製品管理ディレクター。データエンジニアリング、データレイク、データサイエンスワークロード、Snowpark開発者エクスペリエンスを統括している。 データサイエンスは長い間、複雑なフレームワークや使用する言語を理解している筋金入りのデータ専門家の領域だったが、そうした専門家は絶対的に不足している。 幸い、ツールやフレームワークを取り巻く状況は絶えず進化している。2023年にはデータチームと企業の課題を共に軽減する新たな展開があると予想されている。 長い間待ち望まれていた「市民データサイエンティスト」が、差し迫った必要性と使用するツールやプラットフォームの簡素化によって、ついに分析において大きな役割を果たすようになるだ
話し方で「飲みすぎ」か分かるAI 12秒の会話で酩酊状態を特定
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 オーストラリアのLa Trobe UniversityとDeakin Universityに所属する研究者らが発表した論文「Audio-based Deep Learning Algorithm to Identify Alcohol Inebriation（ADLAIA）」は、12秒間の発話に基づいて個人の酩酊（めいてい）状態を予測できる機械学習モデルを提案した研究報告である。 急性アルコール中毒は、認知・精神運動能力を低下させ、交通事故や暴力など、さまざまな公衆衛生上の危険を引き起こす。酩酊者は通常、呼気測定器を用いて血中アルコール濃度（BAC）を測定することによって識別できる。 今回
AIでイラストを“トレパク”？ 既存画像から再生成する「i2i」機能を巡る法解釈
2022年夏から大きく注目を集めているイラスト生成AI。その機能の一つに「i2i」（image to image）という手法がある。これは参考画像を入力すると、AIが似た構図のイラストを生成する機能だ。使い方次第では便利だが、定期的に「i2i機能を使って“トレパク”をしている人がいる」としてTwitterなどで問題になっている。 この問題について、骨董通り法律事務所（東京都港区）の代表を務める福井健策弁護士が1月25日、Twitterで「ユーザーが元絵を知っている場合は、著作権侵害が成立する可能性が高い」との見解を示した。判断のポイントは、元作品への依拠の有無だという。福井弁護士に詳細を聞いた。 イラスト生成AIユーザーも問題視する「i2i」 i2i機能を使うと、自分で書いた落書きやラフスケッチ、資料写真などを入力してイラストを生成できる。アイデアを膨らませたり、作画作業の補助として使った
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AI and Machine Learning for Coders