Rubyの機械学習ライブラリまとめ
はじめに 最近では、機械学習関連Gemが多く開発され、Rubyでも機械学習できるようになってきました。代表的なものを、ざっくりとまとめてみました。 まとめ情報 いきなりですが、この記事は私の偏見で選んだものですので、他のまとめ情報も紹介します。もっとも大きなのがAndrei Beliankou (arbox) さんのまとめリポジトリです。色んなものが紹介されています。 Railsエンジニアにとっては、SearchkickやStrong Migrationsで有名な、Andrew Kane (ankane) さんも、機械学習関連のGemを多く作成しています。C/C++のAPIが提供されている、他言語の機械学習ライブラリを、FFI/Fiddle/Riceでラップして、Rubyで使えるようにしています。ankaneさん自身が書かれた、それらGemのまとめ記事があります。 ベクトル・行列・線形代数
PyCon JPとは PyCon JPは日本国内外のPythonユーザーが一堂に会し、互いに交流を深め、知識を分け合い、新たな可能性を見つけられる場所として毎年9月中旬に開催される国際カンファレンスです。 PyCon JP 2019は2019年9月14日のスプリント（HENNGE株式会社）、9月15日のチュートリアル、9月16日〜17日のカンファレンス（大田区産業プラザPiO）と4日間の会期で開催されました。来場者は4日間で約1160人と昨年を上回る大盛況で、Pythonへの注目が年々増していることがわかります。 今回は16日に行われたカンファレンスの中から、注目セッションやイベントの様子と感想について運営スタッフがレポートします。 基調講演「Why Python is Eating the World」― Cory Althoff （牛窪翔） 1日目の基調講演は、Cory Altho
[やってみた] Jetson Nano でDeepComposerのWorkshop Lab2（GANカスタムモデルの学習＆推論）をやってみた。#AIM223 #reinvent 2019 | DevelopersIO
明けましておめでとうございます。AWS事業本部の梶原＠福岡オフィスです。早速ですが、昨年のre:Inventで参加したワークショップ「AWS DeepComposer: Get started with generative AI」のDeepComposerのWorkshop Lab2(カスタムモデルの学習&推論部分)をJetson Nanoで学習＆推論をやってみたので手順等、共有します。 DeepComopser自体はまだGAされておりませんが、Workshopで使用されたリポジトリはGithubにて先日公開されており、ワークショップではSageMakerを使用しましたが、カスタムモデルの実習部分(Lab2)はSageMakerには大きく依存していないように見えたので、手元にあるJetson Nanoで実施してみました。基本的にはローカルのPC(GPU付を推奨)でも今回ご紹介する学習、推
![[やってみた] Jetson Nano でDeepComposerのWorkshop Lab2（GANカスタムモデルの学習＆推論）をやってみた。#AIM223 #reinvent 2019 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/07497979baabd96454dcb5294eb2b4f2624bf853/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Fjetson-nano.png)
これまで、RとPythonは両方使える人が少なくないながらも開発陣やコミュニティの思想が違うせいもあってか、「Rは統計学向け」「Pythonは機械学習向け」的な住み分けが年々進み、特に機械学習関連の重要なフレームワーク・ライブラリ類はPython向けのみがリリースされることが多く、R向けにはリリースされないということが常態化している印象がありました。 そんな中、この9月にPythonの機械学習OSSを代表する2つのライブラリが相次いでR版パッケージを発表したので、個人的にはなかなか驚きました。中には「この2つがRに来たからにはもうPythonは触らない」と豪語する過激派の方もいらっしゃるようですが（笑）、それはさておき個人的な備忘録としてこの2つのR版パッケージを試してみた記録を記事として残しておこうと思います。 なお、以下のモデリングはほぼ何もチューニングを行っておりません。あくまでも「
Home Home Meta topics Key issues Other issues Background References Glossary Home Introduction Packaging is an important and time-consuming part of authoring and maintaining Python packages. This is particularly true for projects that are not pure Python but contain code that needs to be compiled, and have to deal with distributing compiled extensions and with build dependencies. Many projects in
python_modules.pdf
Python3 OpenCV / Pillow / pygame / Eel / PyDub / NumPy / matplotlib / SciPy / SymPy / hashlib, passlib / Cython / Numba / ctypes / PyInstaller / JupyterLab / json / urllib / zenhan / jaconv Copyright © 2017-2022, Katsunori Nakamura 2022 3 25 Python ‘ .py’ Python Python Windows PSF Python py .py Enter macOS Linux PSF Python python3 .py Enter Anaconda Prompt Python python .py Enter Python Python Pyt
Reading Time: 3 minutes GPU アプリケーションを高速化する方法には、主にコンパイラ指示行、プログラミング言語、ライブラリの 3 つがあります。OpenACC などは指示行ベースのプログラミング モデルで、コードをスムーズに GPU に移植し、高速化することができます。使い方は簡単ですが、特定のシナリオでは最適なパフォーマンスが得られない場合があります。 CUDA C や C++ などのプログラミング言語は、アプリケーションを高速化する際に、より大きな柔軟性を与えてくれます。しかし、最新のハードウェアで最適なパフォーマンスを実現するために、新しいハードウェア機能を活用したコードを書くことも、ユーザーの責任です。そこで、そのギャップを埋めるのが、ライブラリです。 コードの再利用性を高めるだけでなく、NVIDIA 数学ライブラリは、最大の性能向上のために GPU ハード
Kenji Hiranabe on Twitter: "Python の numpy の裏では FORTRAN で書かれた BLAS, LAPACK が現役で動いていますよ！ 行列数値計算は自分で書いてはダメ．これだけの歴史の蓄積がある．これはいい資料． https://t.co/G8UaXisxn8"
Python の numpy の裏では FORTRAN で書かれた BLAS, LAPACK が現役で動いていますよ！ 行列数値計算は自分で書いてはダメ．これだけの歴史の蓄積がある．これはいい資料． https://t.co/G8UaXisxn8
GitHub - mratsim/Arraymancer: A fast, ergonomic and portable tensor library in Nim with a deep learning focus for CPU, GPU and embedded devices via OpenMP, Cuda and OpenCL backends
Arraymancer is a tensor (N-dimensional array) project in Nim. The main focus is providing a fast and ergonomic CPU, Cuda and OpenCL ndarray library on which to build a scientific computing ecosystem. The library is inspired by Numpy and PyTorch and targets the following use-cases: N-dimensional arrays (tensors) for numerical computing machine learning algorithms (as in Scikit-learn: least squares
Understanding Deep Learning (Still) Requires Rethinking Generalization – Communications of the ACM
CACM Web Account Membership in ACM includes a subscription to Communications of the ACM (CACM), the computing industry's most trusted source for staying connected to the world of advanced computing. Sign In Sign Up Despite their massive size, successful deep artificial neural networks can exhibit a remarkably small gap between training and test performance. Conventional wisdom attributes small gen
サイトマップ
金子研究室ホームページサイトマップ． 金子研究室ホームページでは，約2000ページを公開している．ページは，データベース関連技術，データの扱い，インストール，設定，利用，プログラミング，サポートページ，連絡先，業績に分けて構成している．サイトマップでは，ホームページ内の全てのページについてのサイトマップを示している． 【サイト構成】 人工知能 データベース ３次元，地図 プログラミング 情報工学全般 インストール 連絡先，活動，その他 金子邦彦研究室 ▶ サイトマップ ▶ サイト内検索 ▶ アクセスログ（直近28日分）, Google Search Console ▶ まとめページ（目次） ▶ 人工知能，データサイエンス，データベース，３次元のまとめ ▶ Windows のまとめ ▶ Ubuntu の使い方 ▶ Python のまとめ（Google Colaboratory を含む） ▶
RからシームレスにPythonを呼べるreticulateが便利だった | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
こんにちは。データサイエンスチームの t2sy です。 この記事では、R と Python をシームレスに繋ぐことができる reticulate パッケージを紹介します。 reticulate パッケージを使うことで R を主に使っているデータ分析者が、分析の一部で Python を使いたい場合に R からシームレスに Python を呼ぶことができ、ワークフローの効率化が期待できます。 実行環境は以下です。 Amazon EC2: t2.large インスタンス (vCPU: 2, メモリ: 8GiB) Ubuntu Server: 16.04 LTS RStudio Server: 1.1.442 Anaconda: 2-5.1.0 scikit-learn: 0.19.1 umap-learn: 0.2.1 > sessionInfo() R version 3.4.4 (2018-
AWS Lambda Pythonでsqlite-vssによるベクトル検索を利用する - maybe daily dev notes
昨今LLMの台頭により、テキストをベクトル化して類似文書の検索に利用する手法が流行っています。 今回はAWSでこの検索を実現するための一方法として、SQLiteのプラグインであるsqlite-vssをAWS Lambda上で使う方法をまとめます。 github.com 意外とハマりどころや特有の考慮事項が多いので、必見です！ アーキテクチャ LambdaでSQLite？と思った方のため、このアーキテクチャの要点をまとめます。 このアーキテクチャのメリットは、完全なサーバーレスでベクトル検索を実行できる点です。OpenSearchやPostgres (pgvector)、Redisなどのインスタンスを管理する必要はありません。サーバーレスの利点はもはや言うまでもないでしょう。 また、SQLiteを使うため、ベクトルだけでなく他のリレーショナルなデータをあわせて格納できる点も便利でしょう。例え
The state of static analysis in the GCC 12 compiler | Red Hat Developer
Building a static analyzer into the C compiler offers several advantages over having a separate tool, because the analyzer can track what the compiler and assembler are doing intimately. As a Red Hat employee, I work on GCC, the GNU Compiler Collection. Our static analyzer is still experimental but is making big strides in interesting areas, including a taint mode and an understanding of assembly-
MKLについて Intel® oneAPI Math Kernel Library （以下単にMKLと略します）は高度にベクトル化およびスレッド化された線形代数、高速フーリエ変換 (FFT)、ベクトル演算関数、統計関数を含む数値演算ライブラリです。 アプリケーションがBLASやLAPACKのルーチンを呼び出しているのであれば、MKLに置き換えることで性能を大幅に向上させることが期待できます。 まずは結論から 次のスクリプトを実行するだけです。 numpy と scipy をMKLをリンクしてリビルドしてくれます。 #!/bin/bash PYPI_CACHE_DIR=$HOME/cache/pypi # ---- YOU MAY NOT NEED TO EDIT BELLOWS ---------- __AUTHOR__="Goichi Iisaka" __VERSION__="1.0"
July 8, 2019 Volume 17, issue 2 PDF Surviving Software Dependencies Software reuse is finally here but comes with risks. Russ Cox For decades, discussion of software reuse was far more common than actual software reuse. Today, the situation is reversed: developers reuse software written by others every day, in the form of software dependencies, and the situation goes mostly unexamined. My backgrou
Pythonで学ぶ線形代数
【Pythonで学ぶ線形代数】講座の概要 科学技術計算に Python を活用する場合、解くべき問題は可能な限り行列（より一般的にはテンソル）で表現し、コンピュータに配列処理を実行させます。なぜなら、科学技術計算用パッケージ NumPy は、大規模な配列演算を高速処理するように設計されており、Python エンジニアはその処理速度を減速させないコードを書くことが求められるからです。 配列演算の基盤となる数学は 線形代数（linear algebra）です。NumPy および、NumPy をベースに構築された SciPy は、linalg というモジュールに線形代数演算用の関数をまとめています。 『Pythonで学ぶ線形代数』では、テーマごとに行列やベクトル演算のコードを実装しながら、線形代数の数理構造を解説します。このシリーズの記事を読み進めることによって、配列を用いたプログラミングと線形
かつて世界一を支えたNECのベクトル演算技術、いま「次世代イノベーション」を担う：モノづくり最前線レポート（1/2 ページ） 同社が東京都内で開催したユーザーイベント「C＆Cユーザーフォーラム＆iEXPO2019」（2019年11月7～8日）では、最新の「SX-Aurora TSUBASA」アーキテクチャを搭載したベクトルプロセッサなどを展示。また、2019年11月1日からはメモリ帯域を強化した新製品の受注も開始している。 スーパーコンピュータの性能ランキングである「TOP500」において、2002年6月から5期連続の首位を獲得した地球シミュレータ。高い理論ピーク性能と実効性能比を兼ねそろえた地球シミュレータはその登場時、欧米の計算機技術者へ衝撃を与えたとされる。 その高性能を支えたのは、NECが誇るベクトルプロセッサだった。そして今、NECのベクトルプロセッサは科学技術計算に限らず、AI
【小ネタ】 Jetson NanoでAruco「AR（Augmented Reality）マーカー検出機能」を使用する | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 Jetson Nanoでは、JETSON NANO DEVELOPER KITが公開されており、イメージは、通常これを利用します。 OpenCVは、最新のJetPack 4.4でVer4.1.1がセットアップされており、そのまま利用可能です。 しかし、opencv_contribのaruco「AR（Augmented Reality）マーカー検出機能」https://github.com/opencv/opencv_contrib/tree/3.3.0/modules/arucoについては、含まれておらず、利用できません。 nvidia@nvidia-desktop:~$ python3 Python 3.6.9 (default, Jul 17 2020, 12:50:27) [GCC 8.4.0] on linux Type "help
AMD Ryzen 3900X vs Intel Xeon 2175W Python numpy - MKL vs OpenBLAS
Introduction (and a bit of history!) In this post I've done more testing with Ryzen 3900X looking at the effect of BLAS libraries on a simple but computationally demanding problem with Python numpy. The results may surprise you! I start with a little bit of history of Intel vs AMD performance to give you what may be a new perspective on the issue. More reality check with the AMD Zen2 Ryzen 3900X!
How Julia ODE Solve Compile Time Was Reduced From 30 Seconds to 0.1 We did it. We got control of our compile times in a large-scale >100,000 line of code Julia library. The end result looks like: However, the most important thing is the friends we made along the way. In this blog post we will go through a step-by-step explanation of the challenges to compile times, ways to understand and debug com
The 'eu' in eucatastrophe – Why SciPy builds for Python 3.12 on Windows are a minor miracle
This matrix would be a lot larger if it included historical OSes and less common architectures, where support with the respective compiler was often in a 1:1 relationship (i.e. that combination would cover a single cell in the matrix). The matrix also does not cover which programming languages a given compiler is able to process, but for simplicity, you can picture C/C++ here. Of course, GCC remai
この記事を読んでわかること 概要 参考 補足 LAPACK(Linear Algebra PACKage) に関して 環境 apt (default) docker コンテナの用意 numpy のインストール 検証 BLAS 速度 pip (default) docker コンテナの用意 numpy のインストール 検証 BLAS 速度 build (default) docker コンテナの用意 numpy のインストール 検証 BLAS 速度 apt (openBLAS) docker コンテナの用意 openBLAS のインストール numpy のインストール 検証 BLAS 速度 pip (openBLAS) docker コンテナの用意 openBLAS のインストール numpy のインストール 検証 BLAS 速度 build (openBLAS) docker コンテナの用
numpy で MKL を使う - Qiita
Intel Math Kernel Library (MKL) というのは, Intel 製の高速な数値計算ライブラリ. MKL の Ubuntu へのインストール方法はここに書いた. numpy, scipy で MKL を使う Anaconda を使っている場合は初めから mkl が入っているので特に何もしなくてもよい. そうでない場合は下記のようにすることで MKL にリンクできる. numpy, scipy が MKL にリンクされているか確認 >>> import numpy as np >>> np.show_config() blas_mkl_info: NOT AVAILABLE blis_info: NOT AVAILABLE openblas_info: libraries = ['openblas', 'openblas'] library_dirs = ['/usr
How to install OpenCV 4.10 with CUDA 12 in Ubuntu 24.04
Install_OpenCV4_CUDA12.6_CUDNN8.9.md Install OpenCV 4.10 with CUDA 12.6 and CUDNN 8.9 in Ubuntu 24.04 First of all install update and upgrade your system: $ sudo apt update $ sudo apt upgrade Then, install required libraries: Generic tools: $ sudo apt install build-essential cmake pkg-config unzip yasm git checkinstall Python VirtualEnvironments with VirtualenvWrapper (Optional) Install PIPX: ----
Win10 ノートを初期化して環境構築し直したので, 環境構築メモです. はじめに Win10 で Python を扱う場合, Win10 側で実行するか, WSL を利用して Linux 環境で実行するかという選択肢があります. 多くのライブラリは Linux 向けに作成されているので, WSL を利用するのがおすすめです. そうすると, 次に WSL1 と WSL2 という選択肢があります. WSL2 のメリットは主にファイル I/O が爆速であることと, docker が使えることでしょうか. 逆にデメリットとしてメモリ食い虫であること, Win10 側のタスクマネージャーの情報量が減ることがあります. メモリがカツカツなのでなければ WSL2 のほうが良いと思いますが, どちらでも構いません. Linux 環境構築 WSL2 の導入 公式の Windows 10 用 Windows
cuSOLVER
cuSOLVER API Reference The API reference guide for cuSOLVER, a GPU accelerated library for decompositions and linear system solutions for both dense and sparse matrices. 1. Introduction The cuSolver library is a high-level package based on the cuBLAS and cuSPARSE libraries. It consists of two modules corresponding to two sets of API: The cuSolver API on a single GPU The cuSolverMG API on a single
このエントリは、Sansan Advent Calendar 2019 21日目の記事です。 adventar.org 基本的にタイトルの通りですが、この記事では統計的ネットワーク分析のデファクトスタンダードとなっているERGMをRで実装していきます。 {igraph}以外のパッケージは使わずにできるだけスクラッチで開発します。 前もって断っておきますが、正しくパラメータ推定できるような実装には至ることができませんでした。 ERGMとは ERGM = Exponential Random Graph Model 日本語では「指数ランダムグラフモデル」と訳されることが多いです。 略称は「あーぐむ」と読むようです。 概要については以下の記事で紹介されています。 qiita.com ERGMを使うと何が嬉しいのか 観測されたネットワークが、どのような構造的なメカニズムによって生成されたのかを知る
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 アメリカ時間の2020年5月15日に新しい EC2 M6g インスタンスが GA されました。 AWS (とその関連会社) が設計したということでクラウド最適化された CPU であると勝手に期待しています。 コストパフォマンスに優れているということで汎用的なワークロードでは積極的に使用していきたいと思います。 上記が公式アナウンスですが、一部気になる箇所がありました。 現在使用しているのと同じメカニズム (yum、apt-get、pip、npm など) を介してインストール可能な一般的に使用されるソフトウェアパッケージの Arm バージョンが見つかります。一部のアプリケーションは再コンパイルが必要な場合がありますが、インタプリタ型言語 (Java、Node
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1日目：独学プログラマが語る「なぜPythonが世界を席巻しているのか？」 | gihyo.jp
RにTorchとLightGBMがやってきた - 渋谷駅前で働くデータサイエンティストのブログ
pypackaging-native
NVIDIA 数学ライブラリによる GPU アプリケーションの高速化
MKL版NumPy, SciPy をビルドする方法(お手軽バージョン) - Qiita
Surviving Software Dependencies - ACM Queue
かつて世界一を支えたNECのベクトル演算技術、いま「次世代イノベーション」を担う
SciML: Open Source Software for Scientific Machine Learning
Ubuntu 16.04 上で numpy の環境構築をする - Arbitrary arbitrage
WSL2でPython環境構築 (2021年3月版) - 鴨川のはりねずみ
RでERGMを実装したかった（が、失敗した） - SNAGeek
M6gインスタンス yumで標準的にインストール可能なパッケージを調べてみた | DevelopersIO