225行のコードでGPTの仕組みを理解する
概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下で、225行しかなくとても読みやすいです。 また短いですがtransformerのエッセンスが詰まっていて勉強になりそうです。 このコードを読み解くことでGPTやtransformerがどのように動いているのか、ざっくり理解してみようと思います。 ちなみに完成するとこんな感じの文字列が生成されます。ぱっと見文章っぽいですね。 first Scitizen: He's enough; but he cannot give his friends. MARCIUS: Do yo
dstatの万能感がハンパない - （ひ）メモ
サーバーのリソースを見るにはグラフ化は重要ですが、推移ではなくリアルタイムな状況、例えば秒単位のスパイキーな負荷を見るには、サーバー上でvmstatやiostatなどの*statファミリーを叩く必要があります。 さて、vmstatはメモリの状況やブロック数単位のI/O状況は見られますが、バイト単位のI/O状況やネットワークの送信、受信バイト数を見ることはできません。 # vmstat 1 procs -----------memory---------- ---swap--- -----io----- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 3 1 0 4724956 355452 726532 0 0 54 484 3 3 1 0 99 0 0 2 0 0 47
第193回 Quiclkyで簡単にGUIアプリケーションを作る | gihyo.jp
少し遡ること9月26日、アプリケーション開発者向けのサイト"Ubuntu App Developerサイト"が正式公開されました。これはUbuntuでアプリケーションやゲームを開発し、さらにはSoftware Centerでそれを公開したいと考えるユーザー向けに、ツールキットやUbuntu特有のプロセスに関する情報を提供するサイトです[1]。 今回はUbuntu App Develperサイトでアプリケーション開発ツールの一つとして紹介されている「Quickly」を使って、簡単なGUIアプリケーションを作ってみます。 Quicklyの使い方 Quicklyとは Quicklyとは、Pythonベースのアプリケーションテンプレートと、そのテンプレートを元に効率的に開発するためのツールです。コマンドをいくつか入力するだけで、簡単にGUIアプリケーションのひな形の作成からLaunchpadでの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめに — Python早見帳
