ChatGPTはどのように学習を行なっているのか
はじめに ChatGPTのインパクトが個人的にすごかったので、どういった学習が行われているのか、どういう課題があるのか等を理解しようと思い、OpenAIの記事をベースに情報をピックアップしてざっとまとめました。 あくまで私なりの解釈で情報を整理してまとめたものになりますので、いくつか専門性の低い分野に対しては曖昧な記述になっていたり、理解を誤って記載しているかもしれません。 もし間違い等がありましたらご指摘いただけると大変ありがたいです。 ChatGPT: Optimizing Language Models for Dialogue 参考 ChatGPTは、OpenAIによって開発された、対話に特化した言語モデルである。 特徴としては、 前の対話内容に続く質問への回答が可能。 間違いを認めることもできる。 正しくない前提に対する異議を唱えることもできる。 不適切なリクエストには応じない。
レーザーで脳をワイヤレス充電すると「短期記憶が25%増加」すると判明！ - ナゾロジー
レーザーで脳細胞が活性化するようです。 英国のバーミンガム大学（University of Birmingham）で行われた研究によって、1064nmの近赤外線レーザーを頭の外側から右脳の前頭前皮質に6分間照射したところ、短期記憶が25%も増加したことが示されました。 実験に使用されたレーザーのエネルギーは低く、実験参加者たちは頭皮に熱や痛みを感ることはありませんでした。 研究者たちはレーザーによる記憶力のブーストは安全かつシンプルであり、将来的に脳機能障害を患う人々やADHDなどの症状を持つ人など、多くの人々に恩恵をもたらす可能性があると述べています。 しかし、いったいどうしてレーザーを照射するだけで短期記憶力が増加したのでしょうか？ どうやら基本原理はレーザー光線によるミトコンドリアのワイヤレス充電にあるようです。 研究内容の詳細は2022年12月2日に『Science Advance
学習が何で律速してるか、把握してますか？ - arutema47's blog
(最新SSD IOはPCIe x4でした。ご指摘ありがとうございます。） はじめに どの処理で律速しているか調べる 各処理の速度改善方法 データ読み込み速度の改善 データ前処理速度の改善 GPU処理速度の改善 コンピューティングについての他記事 はじめに Kaggle Advent Calendar 2022 8日目です。 突然ですが、あなたはDNN学習時にどの処理で学習速度が律速しているか把握してますか？ DNN学習には図に示すように大きく3つの要素があります： （SSDからの）データ読み込み （CPUによる）データ前処理 （GPUによる）DNN計算 学習時のデータの流れとしては SSDからデータが読み込まれ、CPUに送られる(SATA or PCIe) CPUにてaugmentationや正規化などの前処理が行われ、GPUにデータが送られる(PCIe x16) GPUにてDNNの計算・
Pythonで点群処理ワンライナー
はじめに 2022年も終わりますね。 今年は点群処理が網羅的に解説された本が出たり、テキストから点群生成できるAIが出てきたり、いろいろ点群界隈も盛り上がっていたかと思います。 そんな正統派点群技術が盛り上がった年の最後に、闇の点群技術を紹介できればと思います。 Pythonワンライナーの世界 Pythonワンライナーとは、普通に書くと数行に渡りそうな処理をワンライナー(一行)で書くことで、ただただ自己満足・自己顕示欲のためだけに難解なコードを作成するアレなテクニックです。 この記事では一般的なPythonワンライナーコードではなく、点群処理に特化したアルゴリズムのワンライナーを紹介していきたいと思います。 前提条件 まず、本記事のテクニックではnumpyおよびscipyのみライブラリとして使用することを許可しています。 Open3Dまで使ってしまうと闇どころか完全なチートになってしまうの
超関数型プログラミング
この記事はFOLIO Advent Calendar 2022の23日目です。 ソフトウェア2.0 ソフトウェア2.0 という新しいプログラミングのパラダイムがあります。これは Tesla 社のAIのシニアディレクターだった Andrej Karpathy が自身のブログ記事（"Software 2.0"）で提唱した概念で、 ニューラルネットワーク のような最適化を伴うプログラムを例に説明されています。 従来のプログラム（Software 1.0）は人間が命令に基づいたプログラムを作成し、望ましい挙動を行わせます。それに対してニューラルネットワークのようなプログラム（Software 2.0）では人間はある程度の自由度をパラメータという形で残したプログラムを作成し、「入出力のペア」や「囲碁に勝つ」というような教師データや目的を与えてプログラムを探索させるというものです。 画像出典: "So
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゲーム開発者のための C++11～C++20, 将来の C++ の展望 - CEDEC2020 - Speaker Deck