January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
はじめに こんにちは、ZOZO NEXT ZOZO ResearchのSai Htaung Khamです。ZOZO NEXTは、ファッション領域におけるユーザーの課題を想像しテクノロジーの力で解決すること、より多くの人がファッションを楽しめる世界の創造を目指す企業です。 ZOZO NEXTでは多くのアルゴリズムを研究開発しており、その中でJAXというライブラリを使用しています。JAXは高性能な機械学習のために設計されたPythonのライブラリです。NumPyに似ていますが、より強力なライブラリであると考えることができます。NumPyとは異なり、JAXはマルチGPU、マルチTPU、そして機械学習の研究に非常に有用な自動微分（Autograd）をサポートしています。 JAXはNumPyのAPIのほとんどをミラーリングしているので、NumPyライブラリに慣れている人なら非常に導入しやすいです。A
はじめに 特異値分解 特異値分解と最適化問題 リーマン多様体上での特異値分解 $\mathrm{St}(p,m)\times\mathrm{St}(p,n)$ 上の最適化 接空間 レトラクション $R_{(U,V)}$ 勾配 $\mathrm{grad} F(U,V)$ リーマン多様体上での共役勾配法 Pymanopt による求解 モジュールのインポート 解くべき最適化問題の定義 最適化手法の定義 出力内容 おわりに 参考文献 おまけ はじめに 以前（2019 年 11 月）に「リーマン多様体上の最適化の初歩と Pymanopt による数値実験」 という記事を投稿した． mirucacule.hatenablog.com 記事内で用いた最適化 Toolbox である Pymanopt のバージョンアップに伴い，実行方法に変更が生じたため改めて書き直そうと思ったのが本記事を執筆するに至った経
Matplotlib 軸周り完璧マスターガイド | 軸・軸目盛・目盛り線の設定 - YutaKaのPython教室
Pythonでグラフを描くときは、Matplotlibを使うことが多いですが、 グラフの「この要素」を変更するには、「どのメソッド」を使えばいいのかわからない…。 検索するのが大変で、もうMatplotlib使いたくない！ という方のために、 Matplotlibの軸・目盛り・目盛り線の設定 について総まとめしました。 私自身も今回紹介する内容を覚えてからは、Matplotlibの軸周りの設定はある程度自力でできるようになっています。 軸・目盛り・目盛り線の設定サマリーチャート 時間軸の設定 軸周りの設定の前に… pltメソッドとオブジェクト指向 基本のグラフ 軸ラベルの設定 軸ラベルの表示 軸ラベルの見た目変更 軸の最大値・最小値の設定 目盛の表示値を変更 リストで目盛りを指定：xticks([目盛り値のリスト]) np.arangeで値を指定：xticks( np.arange(sta
Mastering Customer Segmentation with LLM | Towards Data Science
Unlock advanced customer segmentation techniques using LLMs, and improve your clustering models with advanced techniques Content Table · Intro · Data · Method 1: Kmeans · Method 2: K-Prototype · Method 3: LLM + Kmeans · Conclusion Intro A customer segmentation project can be approached in multiple ways. In this article I will teach you advanced techniques, not only to define the clusters, but to a
Author蒲原 紳乃輔 Categoriesディープラーニング Published2022.9.9 Modified2025.1.21 本コンテンツの利用方法 このページでは体験型学習ブログということで、機械学習/深層学習の内容を本や動画のみではなく、プログラムコードを動かしてもらいより体系的に学んでいただくために作成したものです。ブログ内で以下のようなPythonコードを実行できるエディターが備わっております。 プログラムコードは赤枠で囲まれている再生ボタンで実行可能です。また、青枠部分はコードが記述されている場所で自由に書き換えることが可能です。特定の値を試して実行する際にご利用下さい。エディターの使用方法についての説明は以上になります。まずはじめに動画でもあった正則化の等高線図を表示してみましょう。 デフォルトのコード import numpy as np import matpl
DeepMindのDQNからR2D2くらいまでの深層強化学習（Q学習）の発展の歴史を、簡単な解説とtensorflow2での実装例と共に紹介していきます。 まずは深層強化学習の新たな時代を切り開いたDeepMindのDQN（2013）です。論文からはわかりにくいatari環境向けの実装上のテクニックとDQNを構成する各要素が後継手法でどのように改良されていったかのレビューに焦点を置いてBreakout（ブロック崩し）向けにtensorflow2での実装例を紹介します。 DQNシリーズ DQNの進化史 ①DeepMindのDQN - どこから見てもメンダコ DQNの進化史 ②Double-DQN, Dueling-network, Noisy-network - どこから見てもメンダコ DQNの進化史 ③優先度付き経験再生, Multi-step learning, C51 - どこから見て
We have seen that Python language is a powerful tool for data science and data operations, but how powerful is Python for Data visualization? One of the key responsibilities of Data scientists is to communicate results effectively with the stakeholders. This is where the power of visualization comes into play. Creating effective visualizations helps businesses identify patterns and subsequently he
1. はじめに 本記事は、エンジニア向けにChatGPTの活用例を紹介する 「ChatGPTと始めるシリーズ」第5弾です。今回は強化学習に挑戦したいと思います！ 今回の題材はこちらです。 OpenAI Gym のシミュレーション環境 LunarLander-v2 を使用して、宇宙船を着陸させるエージェントを強化学習を用いて作成します。 （過去のシリーズ記事はこちらです） 2. 作業内容と問題 2.1. 作業内容について提案してもらう 少し複雑な作業になるので、まずは作業内容を ChatGPT と相談したいと思います。 ChatGPT からの回答がこちらです。 本記事では、上記の作業内容に沿って、強化学習の基本である Q-Learning、 Deep Q-Learning の順に試していきます。 2.2. 問題設定 今回使用する環境は冒頭で紹介したように、下記のリンクの LunarLande
1. 状態空間モデル 状態空間モデルは、2つの確率過程からなります。１つは潜在変数・状態変数・隠れ変数といわれるもので、これは直接観測できないがマルコフ連鎖に従う変数だとモデリングされます。例えば景気の良し・悪し等、概念として存在するけれど直接は観測できないものを想像してください。２つめは観測値で、これは直接観測できるもの、つまりデータです。ただし変数に依存して観測されるとします。今の例ですと、例えば株価などを想像してください。意味としては株価は景気の良し悪しに依存して決まるということです。この観測値にも「状態変数で条件づけると過去の自分自身とは独立となる」という仮定を置きます。 1.1. 状態空間モデルの定式化 \( t = 1,2,…,T \) を時刻とします。\( d_{ \boldsymbol{ x } } \) 次元の状態ベクトル \( d_{ \boldsymbol{ y }
import matplotlib.pyplot as plt import numpy as np x = np.linspace(-2*np.pi, 2*np.pi) y1 = np.sin(x) y2 = np.cos(x) plt.plot(x, y1, color='b', ls='-', label='y=sin(x)') plt.plot(x, y2, color='r', ls='-', label='y=cos(x)') plt.xlim(-2*np.pi, 2*np.pi) plt.ylim(-1.5, 1.5) plt.xticks([-2*np.pi, -(3/2)*np.pi, -np.pi, -(1/2)*np.pi, 0, (1/2)*np.pi, np.pi, (3/2)*np.pi, 2*np.pi]) plt.legend() plt.grid() pl
NumPy library on Python is an essential tool for data scientists to work on numerical data, especially when they deal with data arrays, especially multi-dimensional, and need a memory-efficient fast indexing of arrays, However, knowing about other useful packages when solving data science problems is essential. So, let’s see which packages are available in Python programming language and are used
今回は、Google Colabで自作LLMの完成を目指す記事となります。 既成LLMをどのように使うかの記事を書いて来ましたが、LLMをどのように作るかの記事がなかったので今回書いてみることにしました。 GitHubに自作LLMを作っているページがありましたので、利用させて頂いております。 GitHubのこちらのページは凄く有益ですので、一度読んでみることをおすすめいたします。 今回は、上記ページのコードを参考に、Google Colabで実装していきます。 今回は、自作LLMを完成させてみようということを目的に書きますので、精度などは問題がありますが、記載のとおりGoogle Colabに貼り付けてもらえれば自作LLMの完成という成功体験を積むことに主眼を置いています。 ハイパーパラメータを変更すると考えることが増えるので、原則変更しない方向でいきます。 Google Colabのリソ
今回は教師なしの文章ベクトル化手法である MixCSE の検証です。教師なし学習ですから教師ありの手法よりは精度的に不利でしょうが、局面によっては役に立つケースもあるのでは？と試してみることに。公開されているコードは transformers ベースなのですが、今回は Colab の TPU で動かしてみたので、その方法も紹介しますね。 1. はじめに 今回は教師なしの文章ベクトル化手法である MixCSE1 の検証をしてみました。 本連載では文章ベクトル化のモデルとして、 Sentence BERT を取り上げたこと(第9回, 第18回)がありますが、品質の良いベクトルを生成する為には大量かつ良質の教師データが必要でした。 法律や特許のような特定領域に特化した文章を扱う局面では、対象領域の文書で学習したモデルを使いたいところですが、特定領域限定の都合良いデータはなかなか手に入りません。そ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT in 60 Lines of NumPy | Jay Mody
JAXによるスケーラブルな機械学習 - ZOZO TECH BLOG
リーマン多様体上の最適化―特異値分解の例を通して― - 冷めたコーヒー
予備校のノリで学ぶ「L1/L2正則化」：ヨビノリ & zero to one コラボ企画第一弾
DQNの進化史 ①DeepMindのDQN - どこから見てもメンダコ
Data Visualization Using Python
ChatGPT-4 と始める強化学習：宇宙船着陸ゲームに挑戦しよう！ - Qiita
【状態空間モデル】カルマンフィルタを Pythonで実装してみた | アベリオシステムズ数理技術チーム
pythonのmatplotlibでsinとcosグラフを作成 - Qiita
NumPy for Data Science Beginners in Python
ゼロから始める自作LLM｜Masayuki Abe
はじめての自然言語処理 MixCSE による教師なし文章ベクトル生成 | オブジェクトの広場