大規模言語モデル間の性能比較まとめ｜mah_lab / 西見 公宏
StableLMのファインチューニングってできるのかな？と調べたところ、GitHubのIssueで「モデル自体の性能がまだ良くないから、ファインチューニングの段階ではないよ」というコメントがありまして。 シートの中身を見てみるlm-evalシートstablelm-base-alpha-7bは54行目にありまして、確かに他の言語モデルと比較するとまだまだな性能のようです。応援したいですね。 シートの列の意味それぞれの列の意味については推定ですが以下の通りです。 RAM 言語モデルのGPUメモリ消費量。 lambada(ppl) LAMBADAデータセットによる測定値。ロングレンジの言語理解能力をテストする（文章全体を読まないと答えられないタスクでの評価）。PPLはPerplexityという指標で、モデルの予測の不確かさを示す。PPLが低いほど、モデルの予測精度が高い。 lambada(acc
GitHub Copilot 導入して1ヶ月経ったので振り返ってみた - Gaudiy Tech Blog
こんにちは。ファンと共に時代を進める、Web3スタートアップのGaudiyでエンジニアをしているkodai（@r34b26）です。 今年に入ってから、AIの話題が尽きることのない、楽しい日々を送っています。それにしても目まぐるしく発展していっていますね〜 Gaudiyもちょうど1ヶ月前にプレスリリースで発表しましたが、全社的にChatGPT PlusとGithub Copilotを導入して、時代の変化に合わせたプロダクト開発スタイルを模索しているところです。 prtimes.jp （最近AIツールの模索にハマりすぎて3時に寝落ちる日々を送っています。） Twitterでも、#GitHubCopilot使えます のタグをよく見かけますし、GitHub Copilotを使い始めている企業が続々と増えているようです。 ということで、今回は、GitHub Copilot導入後ちょうど1ヶ月の運用を
シンギュラリティは来ない - きしだのHatena
ChatGPTが思いがけずいろいろなことを人間より賢くやっているのを見てシンギュラリティという言葉を使う人が増えたように思いますが、逆に、シンギュラリティは来ないのではという思いを強くしています。 まず、この文章でのシンギュラリティがなにかという話ですが、レイ・カーツワイルが「シンギュラリティは近い」の1章の終わりで「さあ、これが特異点だ」といっている特異点、そのシンギュラリティです。 シンギュラリティは近い―人類が生命を超越するとき 作者:レイ・カーツワイルNHK出版Amazon この特異点は単にAIが人間より賢くなるというだけではありません。人間より賢くなるだけだと、便利な道具が増えるだけなので、大騒ぎするほどの変化は起きません。人の仕事を奪うといっても、蒸気機関ほどでもないですね。印刷機などと並んで、人の生活を変える転換点にすぎず、ただひとつの点をあらわすシンギュラリティには なりま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
