『Pythonではじめるオープンエンドな進化的アルゴリズム』の査読を担当しました - 何かを書き留める何か
果て無きゴールへ 2023年10月18日にオライリージャパンから『Pythonではじめるオープンエンドな進化的アルゴリズム』が発売される。 www.oreilly.co.jp この度、邦訳の査読者として、主にPython面で少しお手伝いさせていただいた。 『作って動かすALife』と主著者は同じであり、精神的続編である。 『ALIFE | 人工生命 ―より生命的なAIへ』の実践編かもしれない。 従来のアルゴリズムとは違うオープンエンドなアルゴリズム、つまり何らかのハッキリとした目標があるわけではなく、進化発展することを目的としたアルゴリズムが主題である。 実際にロボットを歩かせる、迷路を解かせるというテーマでアルゴリズムをPython製のライブラリを使って実装をする。 実際に歩いている様子（静止画だが）を見るだけでも、人によってはワクワクすると思う。 新しいテーマであり、変化が激しい可能性
Entity Embeddings を使ってタイタニック号生存者を予測する深層学習モデルを作る - Qiita
Entity Embeddingsという深層学習の手法があります。深層学習がよく使われる画像分析や音声分析などのデータとは違う、カテゴリ変数や順序変数の特徴量を学習する時に使います。 Entity Embeddingsが広く知られるようになったきっかけは、KaggleのRossmann Store Salesコンペでした。１位と２位のチームがドメイン知識をフル活用したアプローチをしたのに対し、この手法を活用したチームはドメイン知識の無い中なんと３位に入賞しました。コンペの説明と、使われた手法については、３位のNeokami Incのインタビュー記事、使われたソースコード、コンペ後に発表した手法に関する論文などで学ぶことができます。 タイタニック号生存者予測コンペのサンプルデータに対し、このEntity Embeddingsを実装するにはどうすれば良いのでしょうか。 0. 環境構築 環境構築
1つの Two-Tower モデルで4種類の推薦を実現する - Qiita
import os import tempfile %matplotlib inline import matplotlib.pyplot as plt import numpy as np import tensorflow as tf import tensorflow_datasets as tfds import tensorflow_recommenders as tfrs plt.style.use("seaborn-whitegrid") ratings = tfds.load("movielens/100k-ratings", split="train") movies = tfds.load("movielens/100k-movies", split="train") ratings = ratings.map( lambda x: { "movie_title": x
Bluesky のフォロー推薦モデルを書いた - HackMD
Social Network を活用するには自分の興味にあったアカウントをフォローすることが大事です．そのために重要な役割を果たすのが「おすすめユーザ推薦 (friend recommendation)」です．
PyTorchのEmbeddingの挙動についてまとめてみた - DROBEプロダクト開発ブログ
はじめに CTOの都筑(@tsuzukit2)です この記事では PyTorch の Embedding の挙動について記載します Embedding とは何か 公式の仕様書はこちらになります Embedding - PyTorch 1.9.0 documentation 公式の説明は以下となっており、非常に的を得ていると思います A simple lookup table that stores embeddings of a fixed dictionary and size. 意訳すると、 固定長の辞書埋め込みを保存するシンプルなルックアップテーブル になるんじゃないかなと思います。Embedding は、何だか難しそうにも思えてしまうのですが、ここに記載されている通り非常にシンプルなテーブルでしかないという事です モジュールの解説としては以下のように記載があります This mod
scikit-learnで5行でできる類似テキスト検索
この記事はKaggle Advent Calendar 2022の16日目の記事です。 0.はじめに KaggleではShopeeやH&Mコンペなどの(e-)commerceに関連した、類似商品検索やレコメンド系のコンペが度々開催されます。 これらのコンペには商品名や商品画像、ユーザーの購入履歴といったデータが含まれており、商品・ユーザーベースの特徴の抽出を行う必要があります。さらにその特徴を用いて候補となる商品を並び出して、機械学習を用いて最終的に出力する商品を予測します。 本記事では、このようなコンペの第一歩として、商品名などテキストに注目した特徴抽出をscikit-learnを主に使った手法を紹介します！ なお、私自身コンペを通して学んだことを書いているので、誤りやより良い方法もあるかと思います。何かあればコメントで共有していただけると助かります🙇 1.類似テキスト検索 類似テキス
Stable Baselinesを使ってスーパーマリオブラザーズ1-1をクリアするまで - Qiita
はじめに 強化学習でゲームを解くことに興味があってちょっとずつ勉強している強化学習苦手勢です。Advent Calender 用に何かゲームの攻略について書いてみることにしました。OpenAI が公開している Stable Baselines の紹介とそれを使ってスーパーマリオブラザーズ 1-1 をクリアするところまでやりましたという内容です。OpenAI Gym / Baselines 深層学習・強化学習 人工知能プログラミング 実践入門を参考にました。 Stable Baselines Stable Baselines は OpenAI が公開している強化学習アルゴリズムの実装セットです。多くの有名な手法を利用しやすい形で提供しています。強化学習アルゴリズムは実装時に仕込んでしまったバグの検出が難しく、学習が上手くいかない時に問題を切り分けにくくしています。Stable Baselin
mlflowとluigiによるML実験管理例 - Qiita
はじめに 本記事ではMLの実験を行うときの、コード、パラメータ、モデル、評価結果を管理するための構成例を紹介します。 サンプルコードはこちら 前提知識 Must python docker Want mlflow luigi 思想 前処理を加えたデータや学習したモデルなどプログラムで出力されるファイルは全てmlflowの管理下におく。 コードはgitで管理し、実験結果とcommit hashを紐づける。 前処理、学習、推論などタスク同士の依存関係を管理して、依存しているタスクを自動で実行できるようにする。また、既に実行されたタスクは実行しないようにする。 構成概要 titanicのdataに対して、前処理、学習、推論を行う例を紹介する。 ディレクトリ構成は以下のような感じ。 src/tasks/下に前処理などの具体的なタスクを行うファイルを作成する。 tomlファイルで実行するタスクを指定
Captumを試す - Qiita
PyTorch Developer Conference 2019 で発表されたものの中に、 Captum というライブラリがあります。 解説記事が見当たらなかったので、実際に動かして記事を書いてみました。 まだ beta であり、かつ積極的に開発されているようなので、今後動作が変わる可能性は十分にあると思います。 Captum とは？ Captum とは、機械学習モデルを解釈し、理解するための手法をまとめたライブラリです。 ラテン語で、"理解する" という意味らしいです。 実装されている手法は以下のとおりです。 https://captum.ai/docs/algorithms 入力が出力に及ぼす影響を評価 Integrated Gradients Gradient SHAP DeepLIFT DeepLIFT SHAP Saliency Input X Gradient Guided
AIモデルのsafetensors形式とは何者か？ckptと比較しつつ解説する
１，そもそもckpt形式のモデルファイルはどのようにデータを保存していたのか safetensors形式はckpt形式の様々な欠点の改善を目的として作られたデータ保存方法であり、HuggingFaceが主導しています。 そのため、safetensorsの利点を説明するにはまず従来のckptで何がアカンかったのか、ckptのデータ保存方法から読み解く必要があります。 .ckpt拡張子とpickleの関係 画像生成AI関連のモデルでよく目にする.ckptという拡張子は、「pickle」というPythonのモジュールを用いて直列化して保存されたデータに用いられる拡張子です。 データを直列化（バイト列に変換する）ことを「pickle化」・「ピクル化」と呼びます。 逆に、バイト列からデータを復元することを「非pickle化」「非ピクル化」といいます。 pickleモジュールを使って、例えば以下のよう
TabPFN - Qiita
初めに このシリーズでは、機械学習や数理最適化などの数理モデルのざっくりとした理論と実装コードを紹介します． 今回紹介するのは，TabPFNというテーブルデータのためのTransformerモデルです．論文では「小さな表形式データに対して1秒以内に教師あり分類タスクを実行でき，ハイパーパラメータのチューニングがいらない高精度のモデル」と紹介されています．精度としてはOpenML-CC18というデータセットの中の30個のデータセットでGBDTの性能を上回ったほか，AutoMLに対して同等の精度を70倍の速度で達成したそうです． 論文：TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second 目次 1. 概要 2. ざっくり理論 3. 実装 4. おわりに 5. 参考文献 1. 概要
Parquet+Petastormを使って画像分類モデルをSparkで学習させてみました！ - CCCMKホールディングス TECH Labの Tech Blog
こんにちは、CCCMKホールディングス技術開発の三浦です。 最近寒い日が続いています。寒いと温かい飲み物が欲しくなりますが、近ごろは緑茶を飲むようになりました。お湯を入れたらすぐに飲むことが出来る粉末タイプのものもあって、気軽に楽しむことが出来ます。 今回の記事は分散処理フレームワークSpark周りについて調べた内容です。普段深層学習モデルの分散学習をDatabricksを通じ、Sparkクラスタで行っています。その中で最近少し引っかかっていたのが画像やテキストなどのモデル学習用データを読み取る処理がボトルネックになっている点でした。この部分をどう改善すれば良いのかなかなか分かりませんでした。 今のデータの入力処理は特にSparkの特徴を活かしきれているとは言えず、TensorFlowやPyTorchのDataLoaderを通じて都度画像ファイルやテキストファイルを読み込んでモデルに入力さ
機械学習における反実仮想説明（Counterfactual Explanations）を生成するライブラリ“DiCE”を活用したサービス開発についての考察 - AREKORE
個人的に、機械学習における反実仮想説明（Counterfactual Explanations）*1を生成するPythonのライブラリ“DiCE”に興味を持ちました。そして、DiCEを活用したサービス開発について考察をしました。本記事はその考察についてのメモです。 機械学習における意思決定を促進する説明 反実仮想説明を生成するDiCE DiCEとは？ DiCEの使用方法と動作の紹介 DiCEを活用したサービスの例 DiCEを活用したサービス開発における課題と解決策 設計の工夫による現実に起こりうる反実仮想説明の生成 特徴間の関係を加味したクラスの設計 特徴の扱い方としての値オブジェクトの採用 複数の反実仮想説明に基づく施策の設計 反実仮想説明の関連研究 事実から反実仮想まで変動させるための状態遷移の考慮 本記事のまとめ 機械学習における意思決定を促進する説明 機械学習を活用した予測において
1ペタバイトのデータセットで機械学習する / WebDataset入門
深層学習をする上で、最も大切なマシンスペックを聞かれたら何と答えますか? GPUのTensor性能、VRAM、GPUの数、CPU性能、メモリ、… 問題によって正解は異なりますね。 しかし、特に大規模なデータセットで機械学習する場合では、しばしばネットワーク帯域とストレージシステムのディスクI/Oによって制限されます。この記事ではそのような課題に対して、学習側でどのようにデータを扱うかを見ていきたいと思います。 1. この記事は? こんにちは、TURING MLチームです。TURINGはEnd-to-Endな深層学習モデルでLv5完全自動運転車の開発を目指す会社です。 私たちは自動運転モデルを動かすため、可視域のカメラセンサによる画像で学習し、カメラ映像のみから車体の操作や経路選択、安全性の判断を行わせています。(実際の車を動かす事例はこちらの記事をご覧ください。) そのため、機械学習のため
Amazonのデータセットで始める商品検索
この記事は 情報検索・検索技術 Advent Calendar 2022 の7日目の記事です。 はじめに 今年の夏、Amazonが多言語 (英語、スペイン語、そして日本語) のラベル付きの商品検索のデータセットを公開しました。 論文: https://arxiv.org/abs/2206.06588 リポジトリ: https://github.com/amazon-science/esci-data 情報検索において商品検索は、ウェブ検索を作りたいという企業より商品検索を作りたい企業の方が多いという意味で、ポピュラーなトピックだと思います。ところが公開データで実験を行おうとするとドメインが違うウェブ検索のデータセットか、ラベルのない商品カタログか、ラベルはあるけど小規模なデータセットかという限られた選択肢しかなく、仕方がないので非公開の独自データセットを作って実験を行うという状況でした。
RLlib を使ってナップサック問題を強化学習 - なんとなくな Developer のメモ
ナップサック問題へ強化学習を適用すると、どうなるのか気になったので試してみました。 強化学習には、Ray に含まれている RLlib を使い、Jupyter Notebook 上で実行します。 Ray 0.8.7 今回のサンプルコードは http://github.com/fits/try_samples/tree/master/blog/20200922/ はじめに 以下のようにして Ray と RLlib をインストールしておきます。（TensorFlow も事前にインストールしておく） Ray インストール > pip install ray[rllib] ナップサック問題 今回は、以下のような価値と重さを持った品物に対して、重さの合計が 35 以下で価値の合計を最大化する品物の組み合わせを探索する事にします。 価値 重さ 105 10 74 7 164 15 32 3 235 22
EvoTorch触ってみた | Webシステム開発／教育ソリューションのタイムインターメディア
先日，EvoTorchという進化計算ライブラリが公開されました(HP, Docs, GitHub, PyPI)．名前ですぐに気が付くかもしれませんが，Pythonのオープンソース機械学習ライブラリPyTorchと密接に関係があります． EvoTorchは，PyTorchと同じPythonのオープンソースライブラリで，PyTorchの上に直接構築されています．この記事は，リリース直後でほぼ英語しか情報が出てこない，EvoTorchを触ってみた雑感を書いていきます． 資料，例題が複数用意してあって良い 自分が見た限り，以下の7つの例題が公開されています． 最小限のシンプルな実装1最小限のシンプルな実装2GPU利用多目的最適化並列強化学習ブラックボックス最適化強化学習1強化学習2 また，Jupyter Notebookで実行可能な5つの例題が公開されています．それぞれの例題に説明があり，簡単にプ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ分析コンペにおいて 特徴量管理に疲弊している全人類に伝えたい想い
PyTorch-BigGraph: A Large Scale Graph Embedding System
最適化② - イラストロジックをortoolsで解いてみる - Qiita
