PyMC：階層モデルとモデルの比較
import os import matplotlib.pyplot as plt import numpy as np import pandas as pd import seaborn as sns import arviz as az import pymc as pm import pytensor.tensor as pt # Initialize random number generator RANDOM_SEED = 8927 rng = np.random.default_rng(RANDOM_SEED) az.style.use("arviz-darkgrid") df = pd.read_csv("../input/RStanBook/chap08/input/data-salary-2.txt") df["KID"] = df["KID"] -1 df.head(
WAICとWBICを事後分布から計算する - StatModeling Memorandum
前回の理論的なまとめを踏まえてStanでWAICとWBICを計算してみます。 今回は例題として混合正規分布から発生させたデータ100個を用いて、2種類のモデルで推定を行い、それぞれに対してWAICとWBICを求めてみます。まずはデータ生成部分のRコードは以下です。 N <- 100 a_true <- 0.4 mean1 <- 0 mean2 <- 3 sd1 <- 1 sd2 <- 1 set.seed(1) Y <- c(rnorm((1-a_true)*N, mean1, sd1), rnorm(a_true*N, mean2, sd2)) 次にモデルその1の説明です。ここでは2つの正規分布のうち平均0の方は固定で、もう片方の正規分布の平均（mu）とそれらの混ぜ具合（a）を推定することにします。Stanコードは以下です（model1a.stan）。 data { int<lower=
Megatron-LMのソースコードを読む - Sabrou-mal サブロウ丸
NVIDIAが提案するTransformerをベースとする言語処理モデルの並列化実装。サーベイ記事はこちら↓↓↓ Githubのレポジトリには Data Preprocessing （データ前処理） Pretraining（事前学習） Evaluation and Tasks（評価） のコードが含まれています。 事前学習については BERT GPT T5 の3つのモデルについて、分散版とそうでないものがそれぞれ用意されていますね。 論文を読むと分かりやすいですが、Megatron-LMで提案しているのはモデルの垂直的な分割によるモデル並列とAttention部分の水平分割による並列処理の合わせ技です。 下記ではpretrain_bert.pyの実行を例にしてそれぞれを見ていきます。 ここではmodelの作成と訓練の大まかな流れが規定されています。 modelの作成はtraining::se
GPT-4で会話を圧縮して要約して骨格を作った後肉付けして論文にするまで｜落合陽一
You are token efficiency compressor for only GPT readable text generator. Compress the {INPUT} text as much as possible using characters and language that you (GPT) can read, not necessarily human readable. Please use as many characters as you know how to use, and keep the token length as short as possible to make the token operation as efficient as possible. The final output is a text that contai
【インターンレポート】6.7B日本語モデルに対するLoRAチューニング
以下で今回使用する三つのタスクについて紹介します。 XL-Sum：2021年に公開された44言語を含むニュース要約データセットです。BBCの記事の本文やヘッドラインの要約文から作られていて、本文から要約文を生成するタスクです。 人手評価や自動評価で高品質であることが示されています。 日本語の部分は合計8891本文-要約ペアがあり、GPTの応用先として要約が期待されているためこのタスクを採用しています。 本実験ではROUGEを評価指標として自動評価を行います。 JNLI：2022年に公開された日本語言語理解ベンチマークJGLUEのタスクです。 2つの文の間に含意関係があるかを含意/中立/矛盾の3段階で判定する自然言語推論(Natural Language Inference, NLI)タスクで、BERT系モデルの評価でよく使われています。 日本語GPTに対しては、入力の文ペアをモデルに与えて
GitHub - microsoft/LoRA: Code for loralib, an implementation of "LoRA: Low-Rank Adaptation of Large Language Models"
This repo contains the source code of the Python package loralib and several examples of how to integrate it with PyTorch models, such as those in Hugging Face. We only support PyTorch for now. See our paper for a detailed description of LoRA. LoRA: Low-Rank Adaptation of Large Language Models Edward J. Hu*, Yelong Shen*, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Ch
Riemannian Geometry: Definitions, Pictures, and Results
A pedagogical but concise overview of Riemannian geometry is provided, in the context of usage in physics. The emphasis is on defining and visualizing concepts and relationships between them, as well as listing common confusions, alternative notations and jargon, and relevant facts and theorems. Special attention is given to detailed figures and geometric viewpoints, some of which would seem to be
Microsoft Cobalt 100 を深堀する - Vengineerの戯言
はじめに 先週発表があった Microsoft Cobalt 100 については、このブログでも 11月17日に 取り上げました。 vengineer.hatenablog.com 今回は、Cobalt 100 について、もう少し深堀したいと思います。 Arm Compute Subsystems N2 (CSS N2) の振り返り Arm CCS N2 については、下記の記事に詳しく書いてあります。8月に開催された Hotchips の資料ベースのようです。 www.servethehome.com 下図は上記の記事から説明のために引用します。 この中で、Die-to-Die connectivity のところに、 Support for SMP compute or accelerator attch with UCIe or partner-specific D2D PHY とありま
Practical Tips for Finetuning LLMs Using LoRA (Low-Rank Adaptation)
Low-rank adaptation (LoRA) is among the most widely used and effective techniques for efficiently training custom LLMs. For those interested in open-source LLMs, it's an essential technique worth familiarizing oneself with. Last month, I shared an article with several LoRA experiments, based on the open-source Lit-GPT repository that I co-maintain with my colleagues at Lightning AI. This Ahead of
AI Alignment Forum
(Originally posted to the Deepmind Blog) Specification gaming is a behaviour that satisfies the literal specification of an objective without achieving the intended outcome. We have all had experiences with specification gaming, even if not by this name. Readers may have heard the myth of King Midas and the golden touch, in which the king asks that anything he touches be turned to gold - but soon
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.math.sci.hokudai.ac.jp/~wakate/mcyr/2023/pdf/tsuji_hiroshi.pdf
【DL輪読会】LongNet: Scaling Transformers to 1,000,000,000 Tokens | ドクセル
Llama
大規模言語モデル (LLM) の進化: GPT 以降の最新動向 / AWS Dev Day 2023 - Evolution of LLM since GPT
Neural networks generalize because of this one weird trick — AI Alignment Forum
大規模言語モデル分散学習ハッカソンに参加してきました！ - 原田・長・黒瀬・椋田研究室 Blog
https://www.ma.tum.de/_Resources/Persistent/a/f/8/9/af899119ed3c55ec924fda7a12d1eeecd18b481b/2019-09-25_Bachelorposter_Stadlmayr.pdf
Surface Singularities and Dynkin Diagrams
Resolving du Val singularities
Intel/Llama-2-7b-hf-onnx-int4 · Hugging Face
https://www.jstage.jst.go.jp/article/jsiamt/23/3/23_KJ00008829130/_pdf
対数ソボレフ不等式について
Singular Learning Theory - Part 1
Geometry of Program Synthesis