※リンクを効かせたい場合はダウンロードしてください
はじめに大規模言語モデルを作ろうと思った時に、どういう選択肢があるか、特徴や課題について調べたメモです。分野を網羅しているというわけでは全くありません。 どのモデルを使うべきか?学習を行う上で大切な指標の一つは、計算効率です*。 限られたリソース(FLOP数)で最大限の学習効果を得ることが目的です。 この観点から、本記事では様々なモデルの計算効率を見ていきます。 *計算効率以外にも、推論速度や必要メモリなど、諸々の要素はあります。 Scaling lawに基づく比較Scaling lawとは?機械学習におけるスケーリング則(scaling law)とは、モデルの性能がそのサイズ、訓練データの量、または計算資源の増加に伴ってどのように変化するかを定量的に記述した法則です。 計算結果の比較モデルの学習効率を見るにあたって、FLOPsあたりの誤差を見ていくことが重要と言えます。 モデル毎に効率を
33歳という若さで突然、脳梗塞に襲われた漫画家のあやめゴン太さん。当時は会社員としてハードに働きながら、夜は漫画家を目指して創作活動をしており、不規則な生活を続けていたといいます。 発症当日は朝から体の異変を感じつつも、仕事を優先して病院に行くのが遅れ、かえってその後の治療が長引く事態に。ご自身の作品『33歳漫画家志望が脳梗塞になった話』(集英社)でも、診断当日の様子や入院、リハビリ生活などが描かれています。 「もっと自分の体調に目を向けて、病気のサインを受け取っていれば」「脳梗塞のリスクや症状を知っていれば」と語るあやめさんに、あらためて当時の状況を振り返りながら、忙しい中でも自分の体と向き合うことの大切さについて語っていただきました。 フォーネスライフが提供する疾病リスク予測サービス「フォーネスビジュアス」では、脳卒中など各種疾病の発症リスクを予測することができ、結果に応じてコンシェル
生成AIの研究開発LLabを運営し、日本語LLMの開発・提供を手掛ける株式会社Lightblue(以下Lightblue)は、商用可利用可能な日本語LLM「Karasu」「Qarasu」を公開したことをお知らせします。 公開した「Karasu/Qurasu」モデルは下記のリンクからご利用いただけます https://huggingface.co/collections/lightblue/karasu-658e78e9188f3934c6fb701e Karasu/Qarasuシリーズについて Karasuシリーズ:70億パラメータのShisa(https://huggingface.co/augmxnt/shisa-7b-v1)に対して、日本語と英語の学習データを用いて70億トークンで継続事前学習とファインチューニングを実施したモデルです。 Qarasuシリーズ:140億パラメータのQw
AWSジャパンは1月31日、大規模言語モデル(LLM)の開発支援プログラム「AWS LLM開発支援プログラム」の成果報告会を開催した。これまでは非公開だったが、NTTがプログラムに参加していたことも明らかになった。 AWS LLM開発支援プログラムは、2023年9月にスタート。対象企業17社に総額600万ドル規模の利用料補助や、技術支援などを提供するもので、サイバーエージェント、rinna、Preferred Networksなどが採択されていた。 NTTは当初、プログラムへの参加を発表していなかった。当時は「発表の準備が間に合っていなかった」(NTT人間情報研究所 西田京介上席特別研究員)といい、今回の成果発表会に合わせて公表した。対象企業の一覧は以下の通り。 カラクリ マネーフォワード サイバーエージェント ユビタス ストックマーク Lightblue Sparticle リクルート
3つの要点 ✔️ NeurIPS 2022採択論文です。D3VAEと呼ばれる生成モデルを用いた時系列予測の新しい方法を提案しています。拡散、ノイズ除去、およびもつれ解除の手法と双方向変分オートエンコーダーを組み合わせたものです。 ✔️ 限定的でノイズの多いデータによる時系列予測の問題に対処し、より安定していて解釈しやすい予測を提供することを目的としています。 ✔️ 提案された方法の有効性を実証するために、合成データと現実世界のデータに関する広範な実験を紹介しています。 Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement written by Yan Li, Xinjiang Lu, Yaqing Wang, Dejing Dou (Submitted on 8 Jan 2023) C
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く