GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？
GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく増加してしまいます。そんな中、メモリの消費量を激減させつつ少ないデータでトレーニングできる手法「QLoRA」が登場しました。 [2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs https://arxiv.org/abs/2305.14314 artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs https://github.com/art
コロナで「普通盛り」がおかしくなった近所のそば屋のジジイの末路 - kansou
近所に安くて早くてうまい最高のそば・うどん屋があるんですが、コロナの影響でしばらく臨時休業してたせいなのか、再開してから量がどんどんヤバいことになってて怖いです。 例えば「豚南蛮そば」の「普通盛り」を注文すると いやなんで？ どう考えてもつゆの量おかしいだろ。俺「普通」って言ったよな…？あ？前はこんなんじゃなかったよな？ つゆだけならまだしも、よく見たら具も、は？…豚肉、ネギ、ほうれん草 「つくね」 なんで？ 意味不明すぎる。サービスに狂ったんか？もはや豚南蛮そばじゃなく「全南蛮（ぜんなんばん）そば」だろ。どういうことだ…いったいどうしちまったんだ… アホみたいな量のそばをなんとか食べ終わり会計時、店主のジジイに「ごちそうさまでした…あの…普通盛りなのに量スゴかったですね…」って話かけたら、 「いやぁ…人に出すの久しぶりでワケわかんなくなっちゃって…」 かわいすぎるだろ。 うるせぇよ、なん
ケトン食療法の長期継続で、進行がん患者の生存期間が劇的に改善 大阪大学
ケトン食療法の長期継続で、進行がん患者の生存期間が劇的に改善 大阪大学 大学ジャーナルオンライン編集部 大阪大学大学院医学系研究科先進融合医学共同研究講座のグループは、同学が開発した新たながん患者向けのケトン食療法を12か月以上長期継続することにより、進行がん患者の生存期間を劇的に改善できることを発表した。 本グループは、ケトン食療法ががん患者にとって有力な支持療法になりうると期待し、2013年からがん患者向けの新たなケトン食療法の臨床研究を開始した。対象は臨床病期Ⅳ期の進行がん患者で、既に2020年に有望な臨床効果を報告したが、長期継続による効果を明らかとすべく、さらに3年間観察し解析した。 全53名の進行がん患者を、ケトン食継続12ヶ月以上（21名）と12ヶ月未満（32名）の2群に分けて解析を行った。両群の生存率の中央値は、12ヶ月以上群で55.1ヶ月、12ヶ月未満群で12.0ヶ月であ
重度の統合失調症と診断された女性の脳が自己免疫疾患で損傷していたことが判明、治療を受けて20年ぶりに家族と会話できるように
かつては精神疾患と聞くと「心や気持ちの問題」と考える人も多くいましたが、近年では精神疾患が身体のさまざまな問題と密接に関連しており、身体的な原因で精神疾患が引き起こされるケースもあることがわかっています。重度の統合失調症と診断された女性が、実は自己免疫疾患により脳が損傷を受けていたことが判明し、適切な治療を受けて20年ぶりに家族と会話できるようになった物語を日刊紙のワシントン・ポストが伝えています。 How autoimmune disease can attack the brain, cause psychiatric symptoms - The Washington Post https://www.washingtonpost.com/wellness/2023/06/01/schizophrenia-autoimmune-lupus-psychiatry/ アメリカのメリーラン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
