Transformer 深層学習モデル以前の言語モデルの課題 言語モデルでやりたいことは、「今まで生成した単語列を元に、次の単語を予測する」ことで、その単語は今まで生成した単語列を条件とし、次にある単語がくる条件付き確率を求め、その確率が最大のものを選ぶということだった。（LLM資料p.8参照） ただ、これだと単語列が長くなったときや、類義語の処理に課題が生じてしまっていた。 ニューラル言語モデル しかし、計算したい条件付き確率をNNで推定することにより、対処できた。 Encoder-Decoder型のRNN（Recurrent Neural Network)が最も基本的なモデルにはなるが、これでは長文に対応できなかった。（勾配消失＆単語間の長距離依存性の把握が困難） RNNが勾配消失するのは、活性化関数のtanhが1未満の値を取るため、BPTT時に掛け算されるとだんだん値が小さくなってし
年末恒例企画「ゲーム業界著名人コメント集」。177人が振り返る2023年と，2024年に向けた思いを語る 編集部：Chihiro 編集部：Igarashi 123456789→ 4Gamerの年末恒例企画，「ゲーム業界著名人の年末コメント集企画」が今年もやって来ました。今回は177人の方にご参加いただきました。 ※記事掲載時点では176名でしたが，2024年1月9日14：30頃に1名追加しました 2023年は，この数年間，人々の暮らしや行動，企業での働き方などに大きな影響を与えた「新型コロナウイルス感染症」が5類感染症に位置づけられた。これに伴い，「東京ゲームショウ2023」が久しぶりに制限なしで開催されたり，声を出してスポーツを観戦できるようになったり，日本各地で大規模な音楽フェスティバルが実施されたりと，コロナ禍以前の日常が戻ってきたことを実感できた1年だったと思う。 ゲーム業界に目を
プレイ前に読みたい「バルダーズ・ゲート3」の予備知識。関連作品と歴史から読み解く，フォーゴトン・レルムの歩き方 ライター：傭兵ペンギン Larian Studiosが開発を手がけたターン制RPG「バルダーズ・ゲート3」（PS5 / PC，以下，BG3）の日本語版が，スパイク・チュンソフトから2023年12月21日に発売となる。 日本に先んじること約4か月，9月6日に正式ローンチが行われた海外版は，Steamでのレビューはもちろん各種レビューサイトで高評価を得ており，さらに先日発表されたGolden Joystick Awardsでは，最高賞である「Ultimate Game of the Year」を受賞するなど，人気を不動のものとしてる。4Gamer読者の中にも，その人気の理由が気になっている人も多いのではないだろうか。 本稿では，そんなBG3の面白さについて掘り下げると共に，プレイ前に
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Day 3】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】 - Qiita
年末恒例企画「ゲーム業界著名人コメント集」。177人が振り返る2023年と，2024年に向けた思いを語る
プレイ前に読みたい「バルダーズ・ゲート3」の予備知識。関連作品と歴史から読み解く，フォーゴトン・レルムの歩き方