MLflow 〜これで機械学習のモデル管理から API 作成まで楽にできるかも〜 - Qiita
※下記に 1.0.0 版の記事書きました MLflow 1.0 リリース！機械学習ライフサイクルを始めよう！ - Qiita はじめに 機械学習をサービスとして運用するには以下のステップが必要となるのではないでしょうか。 （ちなみに仕事できかいがくしゅうしたことないので下記の 99 割は根拠無いです ） 要件定義 目的や目標値の確認 「機械学習のスコアが高い」と「要件を満たす」は等価じゃないことに注意 どう提供するのか 入力値がわかりきっているなら、夜間バッチで全通り予測するとか とはいえ大抵分からないから随時入力を受け取ったら予測するようにしたいのです API としてアプリケーションサーバーから呼ぶ ← 今回想定していること データの分析 EDA（探索的データ分析）ともいう 困ったら最低下記だけでもやれば良い気がしてます 【Pythonメモ】pandas-profilingが探索的データ
PRML 4.1 の最小二乗法＆フィッシャーの線形判別を試してみた - 木曜不足
社内でやってる PRML 読書会が4章に入って、Fisher の線形判別分析(LDA)とかをちょうどやっつけたところ。 4.1.5 で Fisher's LDA と「最小二乗との関連」をわざわざ述べているのはどうして？ というあたりで、最小二乗と互換性があるということはそれだけで理論的裏付けになるし(分散最小化)、あるいは(もしも)確率化したいときに加法性のガウスノイズを想定することもできたりするよね、的な話をしたりしてた(的外れなら乞うツッコミ)。 で、ぶっちゃけ単純な最小二乗と Fisher's LDA だと具体的にどれくらい違うんだろうねえ、という話になって、そりゃあデータ数の多いクラスタに決定面が寄るんだろうねえ、と推測。 それくらいなら簡単に確かめられるんだから、ちょっこり R でスクリプトを書いてみた。 library(MASS); blue <- 50 red <- 100
Ruby 2.4 のハッシュテーブル高速化を理解する
第2回 meguro.rb LT で Ruby 2.4 のハッシュテーブル実装について話しました https://megurorb.connpass.com/event/55107/
PyTorch (11) Variational Autoencoder - 人工知能に関する断創録
今回は、Variational Autoencoder (VAE) の実験をしてみよう。 実は自分が始めてDeep Learningに興味を持ったのがこのVAEなのだ！VAEの潜在空間をいじって多様な顔画像を生成するデモ（Morphing Faces）を見て、これを音声合成の声質生成に使いたいと思ったのが興味のきっかけだった。 今回の実験は、PyTorchの公式にあるVAEのスクリプト を自分なりに読み解いてまとめてみた結果になっている。 180221-variational-autoencoder.ipynb - Google ドライブ さっそく実験！いつものimport。 import os import numpy as np import torch import torch.nn as nn import torch.utils.data import torch.optim a
Kerasでカスタム損失関数を用いたモデルをロードするとValueError | Shikoan's ML Blog
Kerasで損失関数を独自に定義したモデルを保存した場合、load_modelで読み込むと「ValueError: Unknown loss function」とエラーになることがあります。その解決法を示します。 参考：https://github.com/keras-team/keras/issues/5916 テストデータ エラーを再現させるための問題設定として、以下のような関数で示されるデータを作ります。 $y = 2x \qquad (x<0)$ $y = 4x \qquad (x\geq 0)$ グラフで書くと次のようなデータです（グラフはさらに上の式にノイズを乗せています）。 このグラフは以下のコードのplot_data()を実行したものです。 import numpy as np import matplotlib.pyplot as plt # データの作成 def cre
Facebookの高速ベクトル計算ライブラリfaissをレコメンドAPIに使ってみる - Qiita
関。関連。関連といえばレコメンドですね。 というわけで今回はレコメンドエンジンに利用できそうな技術を紹介します。 MF系アルゴリズムの動的スコア計算 リブセンスでは以前から機械学習を用いたレコメンドエンジンを開発・運用しています。 ユースケースによりけりですが、最近ではMatrix Factorization(MF)系のアルゴリズムの利用が盛んです。 Non-negative matrix factorization - Wikipedia MFでは生成したユーザ・アイテムのベクトルの内積としてレコメンドのスコアを求めますが、ユーザやアイテムの数が多い場合、全てのユーザ×アイテムの組合せについてスコアを事前計算すると保持するデータサイズが非常に大きくなってしまいます。 このような場合はユーザ・アイテムのベクトルを別個に保持し、入力に応じて動的にスコア計算とソートを行ってレコメンド結果を返す
Apache Spark MLlibのレコメンドアルゴリズムを使う - 記録目録
1年くらい前にレコメンドロジックを実装するにあたってSpark MLlibのmllibパッケージ内のRDD版を使っていたのですが、 データの整形など不便だったため、その後リリースされたmlパッケージ以下のDataFrame版を使ってみたい。 きっと楽なはずということでサンプル的なものを実装してみました。 RDDとDataFrame RDD(Resilient Distributed Datasets)は、Spark上で分散処理可能なimmutableなデータセット DataFrameは、RDDを構造化したもので、RDBのテーブル的に処理が可能 DataFrameがより抽象化されたレイヤーで扱えるので、使う側からは楽なのとDataFrameのAPIがジョブを最適化してくれるというメリットもあります。 レコメンドアルゴリズム Spark MLlibに用意されているALSというクラスを使います。
Rの機械学習パッケージmlrのチュートリアル（タスクの作成から予測まで） - Qiita
mlrぽいす！ — 職業、イケメン。Nagi Teramo (@teramonagi) 2018年2月15日 ということだったので仏の教えに従ってチュートリアル(mlr tutorial)を読んでいる。mlrパッケージのチュートリアルは開発版に対応したものとCRANに上がっているものに対応したものの2種類あるが、どちらかというと開発版を参考にしている。翻訳っぽいけど原文を結構無視しているのでアレな部分があるかもしれません。 とりあえず予測して可視化するところまで。前処理とかチューニングは次回に。 次: Rの機械学習パッケージmlrのチュートリアル2（前処理からチューニングまで） - Qiita） 次の次:Rの機械学習パッケージmlrのチュートリアル3（ベンチマーク試験から可視化まで） - Qiita まとめたやつ: mlrパッケージチュートリアル - Quick Walkthrough編
QUBOを使って日本地図の彩色問題やってみた - Qiita
量子アニーリングをする場合、QUBOというものを作って、それをイジング模型に変換することが多いようです。 日本地図を四色に塗り分けるためのQUBOを作って、古典アニーリングをやってみた話をします。 量子アニーリング? 組み合わせ最適化問題を解く確率的アルゴリズムの一種です。 解きたい問題をイジング模型という強磁性体を模したモデルに置き換えて、量子的な効果を含む項を付け加えてコンピュータでシミュレーションすれば、ある種の問題でよい結果が得られる、という論文が昔にあったようです。 これが元々の量子アニーリングです。当時は、量子コンピュータで解くといった話は無く、普通のコンピュータで解くアルゴリズムでした。 ところが、ある日、D-Waveという会社が、実機を使って高速にイジング模型を解く機械を作ってしまいました。 量子アニーリングをする専用機ができてしまったわけですね。 実は、普通に古典コンピュ
転職してからやってること - 兼雑記
転職してからやってるプロジェクトについて何か書いてみようかと思います。 https://github.com/pfnet-research/chainer-compiler/ 公式ぽいブログも書きました。 https://research.preferred.jp/2019/01/chainer%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E3%81%95%E3%82%89%E3%81%AA%E3%82%8B%E9%AB%98%E9%80%9F%E5%8C%96%E3%80%81%E3%83%87%E3%83%97%E3%83%AD%E3%82%A4%E3%81%AE%E7%B0%A1%E4%BE%BF%E5%8C%96%E3%80%81/ あまり綺麗にまとまった文章を書ける気がしないので、つらつらと時系列で思い出して行こうかと思います。 転職前、 define
闇のkerasに対する防衛術 - Qiita
他のDLライブラリを勉強するのが面倒という理由でkerasで実装されていないネットワークを組んではいけないというアンチパターンの話。つまり闇のkerasに対する防衛術の話です。 kerasでゴリゴリ学習コードを書いてはいけない kerasはLSTMが数行で書けたり、vggなどの有名なモデルが揃っている、便利なラッパーとなっていますが、kerasで実装されていない論文のコードを書くことは極力避けましょう keras以外に慣れていなくてもです。 とっととtensorflowかpytorchを勉強してください。 理由 通常のフィードフォワードな分類or回帰のネットワーク（全結合、CNN、autoencoderなど）や既にラッパーが用意されているLSTMは瞬時に実装できますし、パラメータチューニングも簡単なので是非kerasを使いましょう ただし以下のような場合は絶対にkerasを使わないでくださ
TFRecord、DataSet API を Keras で使う - taka5hi’s blog
機械学習では、時にはメモリに収まりきらないほどの大量のデータを扱う必要があります。 データを準備・加工する処理がボトルネックにならないようにするためには、例えば以下のような工夫が必要になります。 複数のデータをまとめて単一のファイルに保存することでファイルI/Oにかかるオーバーヘッドを減らす データをファイルから読み出してミニバッチを作成する一連のパイプラインを別スレッドで行う TensorFlowでは、前者に対しては TFRecord というバイナリ形式、後者に対しては DataSet API という強力な仕組みをサポートしています。 普段、Keras を使うことが多いのですが、Keras でも TensorFlow の便利な仕組みを使えないかと思いまとめてみました。 前提 サンプルコード 定数定義 TFRecord の作成 TFRecord の読み込み、DataSet API を使った
KerasのGeneratorを自作する - kumilog.net
Keras Advent Calendar 2017 の 25日目 の記事です。 Kerasでモデルを学習するmodel.fit_generator()でつかうgeneratorを自作してみます。なお、使用したKerasのバージョンは2.1.2です。 はじめに Generatorをつくる Generatorをつかう おわりに はじめに Kerasでモデルを学習するには、 model.fit() model.fit_generator() model.test_on_batch() のいずれかを使うと思います。 fit()は、データがメモリにのるくらいの規模のデータに向いており、fit_generator()は、generatorを使ってバッチ毎にデータを読み込みます。メモリ以上のデータを扱うときやバッチ毎に処理をさせるときに使います。test_on_batch()を使うと学習ループをカスタ
PRML６章「ガウス過程による回帰」を R で試す - 木曜不足
PRML 読書会 #8 が来週に迫る中。 カーネル法わからん…… ガウス過程わからん…… そもそも今回の会場無事たどり着けるかな…… ３つめの不安はとりあえず置いといて、わからんときは手を動かすしかない。 というわけで PRML 6.4.2 「ガウス過程による回帰」を R で試す。 訓練データは PRML のサンプルデータを使う。 # PRML's synthetic data set curve_fitting <- data.frame( x=c(0.000000,0.111111,0.222222,0.333333,0.444444,0.555556,0.666667,0.777778,0.888889,1.000000), t=c(0.349486,0.830839,1.007332,0.971507,0.133066,0.166823,-0.848307,-0.445686,-0
【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita
はじめに LivesenseAdventCalendar 2016 の20日目を担当する @naotaka1128 です。 現在、転職会議という転職クチコミサービスのデータアナリストを担当しております。 転職会議は会社のクチコミが数百万件集まっている日本最大級の転職クチコミサービスです。現状はクチコミや評点を表示しているだけなのですが、今後はクチコミを自然言語処理などで分析して今までは手に入らなかったような有益な情報を世の中に提供していきたいと思っております。 今回はその取っ掛かりとして word2vec および doc2vec という自然言語処理の技術を用いてクチコミを分析し、会社の分類などを行ってみようと思います。 使用する自然言語処理技術 word2vec 昨今、word2vecという自然言語処理の技術が話題です。ご存じの方も多いかと思いますが、大量の文章をもちいて単語をベクトル表現
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tensorflowで実装されたBayesian Layersを試してみる - Qiita
EdwardとEdward2, TensorFlow Probabilityの相違点 - Qiita
Autoencoders with Keras
GitHub - data61/stellar-random-walk
How to do Unsupervised Clustering with Keras | DLology