GPT in 60 Lines of NumPy | Jay Mody
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
Pythonで省メモリに大量の文字列を扱う工夫 - MNTSQ Techブログ
たくさんの文字列（や離散的な符号列）をメモリに載せないといけないんだけど、いろんな制約があって通常のList[str]では載らない…ということありませんか？（まぁあんまりなさそうですね） たまたまそういうことがあったので、その際に検討した内容をまとめておきます TL;DR メモリをもっと増やしましょう 富豪的に解決できるならいつでもそれが最高です しかし、世の中それでなんとかならんこともたくさんあります 用途があうのであれば専用のデータ構造を採用する 例えばもし共通のprefixやsuffixが存在し、順序に興味がなければtrie treeなどが使えます 例えば、弊社であれば、法人名をメモリに持ちたいなんてときもあります。そういうときに法人名の辞書をtrieで持ったりすることがあります 「株式会社」「一般財団法人」や「銀行」といった共通語がたくさんでてくるのでtrie treeでごりごり削
numpy.where — NumPy v2.1 Manual
numpy.where# numpy.where(condition, [x, y, ]/)# Return elements chosen from x or y depending on condition. Note When only condition is provided, this function is a shorthand for np.asarray(condition).nonzero(). Using nonzero directly should be preferred, as it behaves correctly for subclasses. The rest of this documentation covers only the case where all three arguments are provided. Parameters: c
numpy.cumsum — NumPy v1.26 Manual
numpy.cumsum# numpy.cumsum(a, axis=None, dtype=None, out=None)[source]# Return the cumulative sum of the elements along a given axis. Parameters: aarray_likeInput array. axisint, optionalAxis along which the cumulative sum is computed. The default (None) is to compute the cumsum over the flattened array. dtypedtype, optionalType of the returned array and of the accumulator in which the elements ar
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
numpy.percentile — NumPy v2.1 Manual
numpy.empty_like — NumPy v2.1 Manual
numpy.random.poisson — NumPy v2.1 Manual
numpy.histogram — NumPy v1.26 Manual
numpy.hstack — NumPy v2.1 Manual
numpy.random.Generator.choice — NumPy v2.1 Manual
numpy.prod — NumPy v2.1 Manual
numpy.random.Generator.normal — NumPy v2.1 Manual
numpy.logical_not — NumPy v2.1 Manual
numpy.random.mtrand.RandomState.randint — NumPy v1.17 Manual
numpy.random.mtrand.RandomState.randint — NumPy v1.17 Manual
numpy.reshape — NumPy v2.1 Manual
numpy.mean — NumPy v2.1 Manual
numpy.absolute — NumPy v2.1 Manual
numpy.zeros — NumPy v2.1 Manual
numpy.stack — NumPy v2.1 Manual
