OpenAIのGPT-4などの大規模言語モデルによって、AI技術が急速に普及しています。しかし、GPT-4をはじめとする大規模言語モデルの多くがクローズドな商用モデルか、あるいは部分的にしかオープンになっていません。「RedPajama」は完全にオープンソース化された大規模言語モデルを開発するプロジェクトで、その第1段階として1兆2000億以上のトークンを含むLLaMAトレーニングデータセットが公開されました。 RedPajama, a project to create leading open-source models, starts by reproducing LLaMA training dataset of over 1.2 trillion tokens — TOGETHER https://www.together.xyz/blog/redpajama GitHub -
Metaが公開した大規模言語モデル「LLaMA」の論文に基づいて大規模言語モデルを構築するオープンソースのプロジェクト「RedPajama」が、LLaMAを可能な限り忠実に再現することを目的としたベースモデル「RedPajama-INCITE」を公開しました。 Releasing 3B and 7B RedPajama-INCITE family of models including base, instruction-tuned & chat models — TOGETHER https://www.together.xyz/blog/redpajama-models-v1 RedPajamaはAIスタートアップのTogetherやチューリッヒ工科大学、スタンフォード大学などが共同して研究を進めているプロジェクトであり、非営利の研究目的でのみ利用可能なLLaMAをベースに、商用利用可
llama.cpp で CPU で LLM 学習を極め, CPU LLM 学習王になりたい. やりましょう! baby-llama まずはサイン波を学習します. とりあえず動かせば学習してくれます. train-text-from-scratch とりあえず動かすには README にあるとおりです. シェイクスピアのテキストを読んで学習するようです. 本家だとポインタの nullptr チェックしていないとか適当なので, 私の fork を使ったほうがいいかもしれません (いくつか fix を取り込んでいる & セグフォしないように asan でチェック済み) ../../build/bin/train-text-from-scratch \ --vocab-model ../../models/ggml-vocab.bin \ --ctx 64 --embd 256 --head 8
Orca : GPT-4の推論過程を模倣し、ChatGPTに匹敵する性能を有する13BのOSS言語モデル Orca: Progressive Learning from Complex Explanation Traces of GPT-4というMicrosoft Researchが発表した論文の一部を紹介します。 従来のinstruction-tuned model (Vicuna-13Bなど)とは異なり、GPT-4のような大規模言語モデルのステップバイステップの推論過程を学習させることで、軽量なモデルながらChatGPT (3.5)に匹敵する精度を実現したモデルとのことです。 要約( by ChatGPT)Microsoft Researchが開発した13億パラメータのモデルOrcaは、GPT-4からの豊富な信号、説明のトレース、ステップバイステップの思考過程を利用して、大規模基盤モデ
量子力学は実在論ではなく、情報理論の一種です。でもこう言われても、 「情報は情報のみで存在し得るのか?」 「量子力学が情報を扱う理論であるなら、実在を表す本当の理論を。」 と素朴に感じてしまう方も多いと思います。「実在」というものが日常生活であまりにも当たり前のように刷り込まれているから当然の反応でもありますが、それは幻想なのです。 まずはよく考えてみて下さい。睡眠から覚めて目に入る世界は、光(つまり素粒子である光子の集まり)が持ってくる情報に過ぎません。例えば錯視は意識の現象的研究に役立ちますが、更に人間が見ている世界は最終的に脳内で加工されたものであることを教えてくれています。このデモンストレーションビデオも重要です。 空間や物体を奥行きがある3次元的対象だと感じるのも、脳の働きだと教えてくれています。是非最後までご覧ください。アッと驚かれる体験をされることでしょう。次のサイトに出てく
「人間は過去の記憶を持つが、未来の記憶を持たないのは何故か」という質問をされることがあります。物理学からの1つの回答として、それは人間の脳の構造のためとも答えられます。未来の記憶がないのは、我々の脳が未来を計算する能力と、その結果を視覚や聴覚などの五感情報に転換をして、記録する領域を持たないからです。 古典力学では、現在の初期条件が全て分かれば未来も一意的に定まります。その未来の詳細も運動方程式を解くことで予言できます。議論を単純にするために地球だけであらゆる物質が循環しているとしましょう。そして現在の地球の物質の情報の全てを知ることができると仮定しましょう。実際にはそのようなことはとても無理なのですが、物理学の原理的な思考実験ですので、飽くまで理想的にそう考えてみます。その情報を初期条件にして自動的に物理学の運動方程式を解く機能と、その結果を保存する記憶書き込み領域がもし人間の脳にあれば
アインシュタインは、量子力学をこの世界のもっとも基本的な理論の1つとは見なしていませんでした。その理由の1つとして、日常的なモノの実在性とその決定論的な運動を量子力学は許していないという点を挙げています。量子力学ではない、決定論的な実在の物理法則が他にあると信じていたのです。 『君は,君が見上げているときだけ月が存在していると本当に信じるのか?』 これはアインシュタインが親しい物理学者に向けて言ったとされる言葉です。量子力学はその月の実在性も否定する理論だったので、彼は死ぬまで不審に思い続けていたのでした。しかしアインシュタインが期待したような路線で成功をした理論は現れませんでした。一方で量子力学は、もの凄い精度でその正しさが実験的に確認をされている基礎理論として、広く認められるようになりました。 見えていた月が次の瞬間に振り返ってもまだ実在し続けることは、例えば人工衛星やロケットなどへの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く