Transformerアーキテクチャの変遷 ~Attention is All You Needからgpt-ossまで~
MoEのパラメータ数は「"トータルパラメータ数"-A"アクティブパラメータ数"」の形式に統一して記載した。 以下、要素を個別に解説。 活性化関数 モデルに非線形性を持たせるために使われる関数。 非線形性が重要な理由として例えば、線形層だけを繰り返しても、結局一つの線形層で記述できるという性質がある。 （直観的理解のため、線形層をバイアス項も無視して考えるとただ行列をかける処理で、行列AとBを続けて掛けるのと積の行列ABをかけることは変わらない。(xA)B = x(AB)） よって、線形層やConvolution層(これも線形演算)の後には基本的に通すことになる。（回帰モデルの最終出力や、Attention内部等、目的により例外もあり。） ReLU以降のものは入力に何をかけているかの観点で見ると理解しやすい。 現在はGLU系のものが主流。 ReLU 通常はmaxで記述されるが、「恒等関数×ス
AI開発における知識の定着のしづらさと抗い方
開発にいろんな人がAIを使っている こんにちは。 最近はSNSのエンジニアさんも、技術記事も、見ていると今やどこもかしもAIを使った開発が盛んになってきていますね。 自分が働いている会社もAIフル活用で、GeminiやDevin、Copilotの有料版をエンジニア全員に付与されており、日々のお仕事でも活用しています。 使い始めて半年以上経過し、社内でも色々と変化や認識が生まれてきました。 定期的にAIへのいい感じの指示の出し方の共有会をする AIはどんどん使ってくれ とはいえAIは間違いがあるという前提で付き合うこと 人間へのプルリクエスト前にgithub上のAIレビュー（copilotレビュー）も必ず挟む etc... このような、バリバリAIを使った開発はものすごく効率が良くなった反面、エンジニアである自分の知識の定着が薄くなってるように感じておりました。 🔥AI開発を初めてから、技
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - dy/jz: Research: minimal JS subset compiling to WASM
