ラピダスが直面する20年の反省と3つの技術課題
先端半導体製造に向けた国策企業Rapidus（ラピダス）が抱える課題に関して、多くの識者が報道やSNS上で非常に厳しい意見を出している。ただ、具体的に何が障壁なのか説明されているケースがほとんどないようだ。今回はラピダスが抱える課題についてビジネス面と技術面から見解を示したい。 2000年代に失敗したファウンドリー経験 ラピダスについては日立製作所と台湾の半導体受託製造（ファウンドリー）大手である聯華電子（UMC）との合弁、トレセンティテクノロジーズ（TTI）を抜きに語ることはできない。TTIは2000年に設立された。 半導体製造は生産性向上のために製造に使用するウェーハ口径を4インチ、5インチ、6インチ、8インチ（200mm）と拡大させてきた。しかしながら12インチ（300mm）のファブ（工場）建設が具体的に検討され始めた1998年時点では、月産2万枚で少なくとも2000億円の投資が必要
GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？
GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく増加してしまいます。そんな中、メモリの消費量を激減させつつ少ないデータでトレーニングできる手法「QLoRA」が登場しました。 [2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs https://arxiv.org/abs/2305.14314 artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs https://github.com/art
【ローカルLLM】QLoRAの複雑なパラメータを（少しでも）整理する｜Baku
前回の記事でも触れたとおり、QLoRAによるLlama-2のファインチューニングで試行錯誤している。 「QLoRA」は、LlamaのようなローカルLLMをファインチューンする場合に現在主流となっている手法。通常のLoRAよりもGPUリソースを大幅に節約でき、コストや時間の面でメリットがあるとされる。 パラメータ設定については、Llama-2-7BでQLoRAを行う場合の公式のスクリプトがあり、大部分は以下の設定を流用すればいいはず。 CUDA_VISIBLE_DEVICES=0 python qlora.py \ --model_name_or_path meta-llama/Llama-2-7b-hf \ --use_auth \ --output_dir ./output/llama-2-guanaco-7b \ --logging_steps 10 \ --save_strategy
LLama2の訓練可能な全層をQLoRAで学習する｜Kan Hatakeyama
理論: LoRAとフルパラメータファインチューニングではどこが異なるのか?LoRAはどこを更新するか?例えばtransformersのpeftライブラリの場合､llamaにおいてはattention 層のquery (q), value (v)のみをデフォルト設定で更新しているようです｡ しかし､llama2-7bには300近い層(named_parameters)が存在します｡ 次のコマンドで､層を確認してみます｡ from transformers import pipeline from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig import torch #モデル読み込み model_name = "meta-llama/
Klein-Du Val特異点関連論文 - K's Atelier
永井保成，「代数幾何学入門」の中にある3つのテーマの一つ，特異点論の最後の話題がKlein-Du Val特異点。 以前調査したときはろくに資料が見つからなかった気がするのだが，なんとなく探しなおしたら論文がひっかかった。以前はADE型特異点の話しかみつからなかったような・・・ https://homepages.warwick.ac.uk/~masda/surf/more/DuVal.pdf http://www.mi.uni-koeln.de/~burban/singul.pdf https://people.bath.ac.uk/ac886/students/JamesADE.pdf du Val singularity - Wikipedia ADE singularity in nLab 本書は，「楽しみながら峻峰を目指す」の言葉通り，最終的には研究論文レベルの入り口まで話題をもっ
再計算を用いたMN-Core向けコンパイラの最適化 - Preferred Networks Research & Development
私がPFNに入ってから知った、もっとも好きな技術トピックの一つである、MN-Core™向け再計算のご紹介をします。再計算(recomputation、rematerializationやcheckpointingなどのキーワードで呼ばれることもあります)は、その名の通り同じ計算を複数回することで、GPUメモリを節約するために再計算を利用するテクニックは広く知られています。PFNでも、再計算を使ったメモリ節約アルゴリズムに取り組み、実際の事業でフル活用しています。 MN-Core向けの再計算は、消費メモリ削減でなく、高速化を主目的としています。再計算で計算する量が増えるにも関わらず、高速化が達成できるというのが、私がとても面白いと思う点です。カラクリを紹介していきます。 MN-Coreは、DRAMとSRAMの二種類のメモリを持ち、使えるリソースをとにかく演算器に費やしているのが特徴のアクセラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Machine learning, singularity theory and phase transitions
https://www.embopress.org/doi/full/10.15252/msb.202311566
Emu Video
https://www3.risc.jku.at/projects/adjoints/blowup/
Canonical singularity - Wikipedia
https://dl.acm.org/doi/10.1145/3458817.3476205
RPubs - Watanabe本 例7.1 具体例における学習係数の算出