LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた
三行要約 LLM のファインチューニングでは事実の学習ができないという話があったので、事実の学習の例として、シェイクスピアのRomeoをBobに置き換える実験を行った 実験では、訓練対象とする層による結果の違いを確認した。アテンション層のみを訓練した場合は、Bobへの置き換えはできなかった。一方、全結合層を含めて訓練した場合は、学習率を調整するとBobへの置き換えができた ファインチューニングが事実の学習に向いているかはさておき、工夫次第でファインチューニングも事実の学習に利用できる可能性はある 背景 先月 ChatGPT(GPT-3.5 Turbo) のファインチューニングがリリースされました。いろいろな方が試されて、うまくいった、いかなかったという話がちらほらありました。例えば以下の記事では、一晩試してみた程度では、ChatGPTに最新の知識を教え込む目的での Fine-tuning
山道を日々走る俺が山道走行のコツについて述べる
https://anond.hatelabo.jp/20230912211531 こんな増田が話題になっていますね！この増田に向けてと言う訳ではありあせんが、日常的に山道を生活道路として走っているので、アドバイスしておきます。 結論から言わせていただくと 車間距離短すぎです。一般道路の2倍から3倍はとりましょう。山道の運転で車間距離は正義です。相手が譲らないと言う事に腹を立てても仕方がありません。自分が時間を譲って、どこかで10分ぐらい休んでから、その後行きましょう。趣味のドライブで深夜の山道を走るのは、できたら避けてください。それらの道は、周辺の住民にとって命をつなぐ道です。山道の制限速度は上限速度です。本当に守らないと命に関わります。捕まらないと言う基準ではなく命を守るために守りましょう。以下解説しましょう。 車間距離短すぎだろ下手糞が増田はこのように書いていますね。 こういうドライバ
Kubernetesソースコードリーディング入門
Kubernetes Novice Tokyo #27 で発表した資料です。 https://k8s-novice-jp.connpass.com/event/293144/ 発表のライブ配信はこちら。 TODO スライドで紹介した参考リンク集: https://bells17.medium.com/things-you-should-know-about-reading-kubernetes-codes-933b0ee6181d https://www.amazon.co.jp/dp/4297104385/ https://www.amazon.co.jp/dp/4297118378/ https://go.dev/tour/welcome/1 https://gopherdojo.org/studyroom/ https://www.amazon.co.jp/dp/4621300253
小さなゲームのアイデアって、どうやって思いつくの - ABAの日誌
さあ小さなゲームを作る準備は整った。じゃあどういったゲームを作ろうか。 ゲームのアイデア出しは一番楽しく一番苦労するポイントである。ここで良いアイデアが思いつけば制作はとんとん拍子に進む。逆にここで微妙なアイデアをつかむといばらの道だ。まあ小さなゲームの場合、ちょっと作ってダメだったら単に捨てればよいのだけど。 ゲームのアイデア発想法はWeb上にたくさん記事がある。なので適当に検索して自分に合いそうなものをピックアップしてみるのも良い。私が探した中で気に入ったものを例に挙げよう。 redditのr/gamedevにあったスレッド'How do you guys come up with ideas for your games?' 1 では、以下のプロセスが書いてあった。 あなたが好きな既存のゲームからインスピレーションを得よう。 奇妙に見えるものを組み合わせてみよう。カードゲーム + 釣
管理職とは？ 管理職の定義・役割・なりたくない人のキャリアパターン・メリットを5分で解説 - ミーツキャリアbyマイナビ転職
管理職とは、企業において、部門・チームをまとめ、部下の育成を担う役割。従来、多くのビジネスパーソンにとって、管理職になることは出世と成功への道であり、将来の目標でした。 しかし近年は、「苦労に見合った給与がもらえない」「責任が重くなる」「プライベートの時間が減る」といった理由から、「管理職はコスパが見合わない」「管理職になりたくない」と考える人が増えているようです。将来、今の職場で管理職になるかどうかを迷っている人もいるのではないでしょうか。 今回は、管理職の定義や役割、必要なスキル、管理職になるメリット・デメリットなどの基礎知識を確認したうえで、管理職にならないという選択肢についても考えてみましょう。 ＜INDEX＞ ・管理職の定義 ・管理職の役割と仕事内容 ・管理職に必要なスキル ・管理職に向いている人と向いていない人 ・管理職になるメリット ・管理職になるデメリット ・管理職になりた
JavaScript／TypeScript開発のためのオールインワンキット「Bun 1.0」がリリース
Bunは、JavaScriptの優れた点をすべて捨てることなく、遅さと複雑さを排除することを目的に開発されており、任意のライブラリやフレームワークの動作が可能となり、使い慣れたツールを使って開発を行うことができる。 一方で、BunはNode.jsの代替となり、トランスパイラなしで各種ファイルの実行が可能であり、クラス最高のパフォーマンスとesbuild互換のプラグインAPIを備えたJavaScriptバンドラとして各種バンドラを置き換えられる。さらに、npm互換のパッケージマネージャであり、Jest互換のテストランナであり、高速なJavaScriptランタイムでもある。 これまで、BunではmacOSとLinux用のネイティブビルドのみを用意し、Windowsで利用する場合はWindows Subsystem for Linuxが必要だったが、「Bun 1.0」ではWindows版の実験的
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
