January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
There are millions of GitHub repos and filtering them is an insane amount of work. It takes a huge time, effort, and a lot more. We have done this for you. In this article, we’ll share a curated list of 100+ widely-known, recommended, and most popular repositories and open source GitHub projects for Machine Learning and Deep Learning. So without further ado, Let’s see all the hubs created by exper
Python open source libraries for scaling time series forecasting solutions
By Francesca Lazzeri. This article is an extract from the book Machine Learning for Time Series Forecasting with Python, also by Lazzeri, published by Wiley. In the first and second articles in this series, I showed how to perform feature engineering on time series data with Python and how to automate the Machine Learning lifecycle for time series forecasting. In this third and concluding article,
MAI-Thinking-1: Building a Hill-Climbing Machine The Microsoft AI Team 1 Abstract Progress in AI is driven not by a single model, but by the ability to continually improve upon the current state of models. Achieving this requires treating model development as a system-level optimization problem, for which the solution is building a hill-climbing machine for rapid improvement. Our process includes
訓練データ（教科書）での性能: R²スコアが0.551。これは、モデルが学習に使ったデータの内容を、約55%は説明できていることを示します。完璧ではありませんが、データから何らかのパターンを学習しようとした努力の跡が見えます。テストデータ（本番試験）での性能: R²スコアが -0.205。これは衝撃的な結果です。マイナスの値は、モデルの予測が「常に全データの平均値を予測する」という最も単純な予測よりもさらに悪いことを意味します。つまり、このモデルは未知の問題に対しては全く役に立たない、むしろ有害でさえあるということです。過学習の診断：グラフが語るモデルの「病状」この「訓練データではそこそこ、テストデータでは最悪」という性能の大きなギャップこそが、「過学習」の典型的な症状です。モデルが訓練データに存在するパターンを「丸暗記」することに終始してしまい、物性の背後にある普遍的な法則を学ぶことがで
先日参加した Kaggle コンペFeedback Prize - English Language Learningで知った手法、RAPIDS SVR (SVC) が高速に学習でき、回帰や分類タスクでは有益な手法の一つと感じたので、どのようなものかを紹介する。実際にこのコンペの上位解法では、RAPIDS SVR の手法が使われていた。 また RAPIDS SVC を使って日本語評価データセットのJGLUEのクラス分類データセットの MARC-ja を評価する。評価につかった実装はGitHub 上で公開している。 なおこの記事は、Kaggle Advent Calendar 2022の13日目の記事だ。 SVR (SVC) とは? SVR はサポートベクタ回帰(Support Vector Regression)で、SVC はサポートベクタ分類(Support Vector Classif
17 types of similarity and dissimilarity measures used in data science. | Towards Data Science
The following article explains various methods for computing distances and showing their instances in our daily lives. Additionally, it… Various ML metrics. Inspired by Maarten Grootendorst. "There is no Royal Road to Geometry." – Euclid Quick note: Everything written and visualized has been created by the author unless it was specified. Illustrations and equations were generated using tools like
Install Build and Install Usage Quick Start Guide Lazy Evaluation Unified Memory Indexing Arrays Saving and Loading Arrays Function Transforms Compilation Conversion to NumPy and Other Frameworks Distributed Communication Using Streams Exporting Functions Examples Linear Regression Multi-Layer Perceptron LLM inference Python API Reference Array mlx.core.array mlx.core.array.astype mlx.core.array.a
Exactly ten years ago today, we published "Why We Created Julia", introducing the Julia project to the world. At this point, we have moved well past the ambitious goals set out in the original blog post. Julia is now used by hundreds of thousands of people. It is taught at hundreds of universities and entire companies are being formed that build their software stacks on Julia. From personalized me
はじめに 5倍が 20倍に!?!?! こんにちは｡ jodaと申します｡ 機械学習を使用した仮想通貨botをつくってみた(い) ということで､ まずは機械学習を利用して､勝てるロジックを見つけていこうと思います｡ 簡単な自己紹介をさせていただきますと､ 自分はここ2年ほど､C++をベースとした為替の自動売買システム(EA)を作って稼働させておりました｡ (結果は微妙です) 心機一転､世を賑わせる仮想通貨にも手を出そう! ということで､仮想通貨botをつくっていこうと思ったのですが､ 肝心のトレードロジックの検証方法がわからない状況でした｡ 今回は､まずpnadasを使って検証を行います｡ その後､冒頭の画像のように､ 機械学習を使ってトレードロジックを改善したいと思います｡ (実際の執行が冒頭の画像の様になるとは限りません) 概要 こちらの記事は､ jodawithforce.hatena
Version 1.0
Version 1.0# For a short description of the main highlights of the release, please refer to Release Highlights for scikit-learn 1.0. Legend for changelogs Major Feature something big that you couldn’t do before. Feature something that you couldn’t do before. Efficiency an existing feature now may not require as much computation or memory. Enhancement a miscellaneous minor improvement. Fix somethin
We have seen that Python language is a powerful tool for data science and data operations, but how powerful is Python for Data visualization? One of the key responsibilities of Data scientists is to communicate results effectively with the stakeholders. This is where the power of visualization comes into play. Creating effective visualizations helps businesses identify patterns and subsequently he
Essential Machine Learning Equations: A Reference Guide
Why This Guide Exists I created this as a practical reference for the mathematical foundations of machine learning. It’s not comprehensive (no guide could be), but it covers equations I find myself returning to regularly. Each section includes working Python implementations that I’ve tested or used at some point. This started from a tweet by @goyal__pramod and grew as I collected formulas I actual
予測モデルなどを構築するとき、パイプライン化することがあります。 もちろん、探索的なデータ分析でも、パイプラインを使いながら実施することもあります。 例えば、Rなどでは伝統的に、パイプラインを使いながら探索データ分析をします。しかし、そうでなければならないというわけでもありません。 一方で予測モデルは、機械学習パイプライン化したほうが、分かりやすいですし扱いやすいです。 今回は、「予測モデルは機械学習パイプライン化しよう（Python）」ということで、PythonのScikit-learn（sklearn）を使い、パイプラインの構築の仕方について簡単に説明します。 パイプラインとは？ 「パイプライン」というキーワードは、色々な分野で使われています。今回の「パイプライン」（pipeline）は、「パイプライン処理」と呼ばれるコンピュータ用語です。 パイプライン処理とは、複数の処理プログラムを
Paul: Today’s spotlight: Paolo Perrone, master of turning tech into scroll-stopping content. This one’s packed, let’s go 👀 ↓ I’m going to be honest with you. Most AI agent tutorials are garbage. They show you how to copy-paste LangChain code, build a demo that breaks the moment you try anything real, and leave you feeling like you learned something. Three months later, you try to build something
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT in 60 Lines of NumPy | Jay Mody
100+ Best GitHub Repositories For Machine Learning
MAI-Thinking-1: Building a Hill-Climbing Machine
マテリアルズインフォマティクス（MI）入門①【線形回帰で挑む物性予測と「過学習」の罠】 - LabCode
ファインチューンせずに高速に学習できる RAPIDS SVR (SVC) の紹介と MARC-ja の評価 - A Day in the Life
MLX — MLX 0.30.1 documentation
Why We Use Julia, 10 Years Later
仮想通貨MLBot つくってみた い ② テンプレートコード - joda!!
Data Visualization Using Python
予測モデルは機械学習パイプライン化しよう（Python）
The Realistic Guide to Mastering AI Agents in 2026