昨今のDeepLearningの研究を席巻するTransformerの解説は数式を用いたものが多く、なかなか理解が難しいかもしれません。そこで当記事では別途作成を行ったTransformerの解説コンテンツを元に数式を用いないでTransformerの仕組みと処理の流れの概要の取りまとめを行いました。 Introduction Transformerの概要 TransformerはChatGPT・GPT-$4$など多くのLLMで用いられる主要な仕組みです。元々は$2017$年に機械翻訳の分野で考案された仕組みである一方で、その表現力の高さから現在では文書要約や対話などより難しいタスクへの適用が行われています。 Transformerの処理の全体図：Transformer論文より Transformerの応用分野 Transformerは大変強力な処理の仕組みであり、様々な応用先があります。

2003年には「プレーンテキストなんてものは全く存在しない」と言われ、テキストの解読には文字コードの情報が必須となっていました。しかし、2023年になるまでの20年の間に絵文字などのおかげでUnicodeの利用率は98％へと到達し、再び文字コードを気にせずにすむ時代がやってきています。そんな時代において、正しくUnicodeを使うために必要な知識をエンジニアのニキータ・プロコポフさんが解説しています。 The Absolute Minimum Every Software Developer Must Know About Unicode in 2023 (Still No Excuses!) @ tonsky.me https://tonsky.me/blog/unicode/ Unicodeの歴史と利用率の推移をまとめたグラフは下図の通り。2000年代後半から急速に普及が進んでいったこ

2023年8月にリリースされたばかりの、元 Google の AI エンジニアが創業した LLM プラットフォーム「Fireworks.ai」に、日本語のオープンソース LLM モデル「ELYZA-japanese-Llama-2-7b-fast-instruct」が追加されました。 これが滅茶苦茶速くて、なんと現在はプロモーション期間で無料で使えます。急げ。 1. 高速＆格安で生成できる API エンドポイントFireworks.ai は、大規模言語モデル (LLM) のサービスに活用できる、超高速推論プラットフォームです。 以下はオリジナルの Llama2-7b と Fine-tuner Llama2-7b の推論にかかる料金を、Fireworks / Mosaic / Replicate / OpenAI それぞれのプラットフォームで比較したものですが、最大 120 分の 1 の料金