量子アニーリングで組合せ最適化 - Qiita
これはNextremer Advent Calendarの23日目の記事です。 現在、株式会社Nextremerでは早稲田大学の田中宗様と量子アニーリングに関する共同研究を行っております。 はじめに 量子アニーリングは組合せ最適化問題を解くための有効なアルゴリズムと言われています。 本記事では、量子モンテカルロ法による量子アニーリングを用いて、代表的な組合せ最適化問題であるTSP(巡回セールスマン問題)に対して解を求めたいと思います。 量子論の基礎 TSPの議論に入る前に、少しだけ量子論の基礎的なことに触れておきます。 物理量(エネルギーや運動量など)は、量子の世界では演算子というものに対応します。例えば、エネルギーという物理量に対応するものはハミルトニアン($\hat{H}$と表します)という演算子です。 このハミルトニアン $\hat{H}$ という演算子は、ある量子状態 $\psi$
機械学習向けデータのクラス間のサンプル数を揃える with Python - Qiita
機械学習をする上でクラス間のサンプル数が揃っていることが望ましいです. しかし実際にはそんなきれいなデータばかりではなく, クラス間のサンプル数が異なるデータもしばしば. 今回, ラベルデータに記されたクラス間のサンプル数を揃える処理をPythonで実装したのでメモ. やりたいこと 以下の様なデータ配列とそのラベルデータがあった際に ラベルデータのサンプル数を揃える 1番の処理に合わせてデータ配列の要素も取り除く # データ配列 data = np.array([10, 11, 12, 13, 14, 15, 16, 17, 18, 19]) # ラベル配列 label = np.array([0, 0, 1, 1, 1, 2, 2, 2, 2, 2]) ############### # データ処理... ############### >>>data [10 11 12 14 15 1
Common Lispによる線形分類器ライブラリcl-online-learningを書いた - masatoi’s blog
去年、オンライン機械学習本(クマ本)を読んで線形分類器を実装する記事を書いたり、それらのアルゴリズムをまとめてcl-online-learningというライブラリを作ってLispmeetupで紹介したりした。 https://github.com/masatoi/cl-online-learning 書籍「オンライン機械学習」を買ったのでCommon Lispで実装してみた。 書籍「オンライン機械学習」を買ったのでCommon Lispで実装してみた。(AROW編) Lisp meetup #29 cl-online-learningの紹介 その後放置していたのだが、最近になってもはや使わないようなアルゴリズムは削除したり、疎ベクトルへの対応や、学習器のCLOSオブジェクトを単なる構造体にするなどの大きな変更をした。このあたりで一度ちゃんと紹介記事を書いておこうかと思う。 cl-onlin
アンサンブル学習(Stacked generalization)のサンプルプログラムと実行例 - Qiita
from sklearn.datasets import make_classification import pandas as pd import numpy as np n_features = 3 n_samples = 2000 data = np.c_[make_classification(n_samples=n_samples, n_features=n_features, n_redundant=1, n_informative=2,n_clusters_per_class=2, n_classes=2, flip_y=0)] train = test = np.empty((0,n_features+1), float) for d in [data[data[:, n_features]==0], data[data[:, n_features]==1]]: np.r
蟻コロニー最適化: サラリーマンが土曜日の昼下がりにセールスマンと蟻で遊んでたら夜になった話 - Qiita
読書の秋、最適化の秋ですね。 今日はサラリーマンが休日にセールスマンと蟻とで遊んだ記録です。 ぜんぜん寂しくないです。最適な秋の過ごし方の一つです。 サラリーマンが、セールスマンと蟻で遊んだ https://t.co/pzGyKE84QB — えんせき@ノースリーブタートルネック (@EnsekiTT) 2016年10月30日 赤い線はフェロモンで色の濃さはフェロモンの濃さです。 青い線は実際にある1匹のありが通ったところです。 蟻の戦略 http://science.newsln.jp/articles/2014052623200004.html ・蟻が適当に餌を探して歩き回る ・餌を見つけると道にフェロモンを残しながら巣に戻る ・餌を見つけられず疲れると巣に戻る ・次の蟻はフェロモンを目印にしつつ餌を探して歩き回る ここでは一匹の蟻に注目しましたが、これをうじゃうじゃ居る蟻たちがそれぞ
Z3による汎用大域的最適化 - Qiita
概要 Z3 Proverを用いた，"数値的"な大域的最適化手法について示す． Z3 Proverとは？ ざっくりとはMicrosoft Researchが作った，MITライセンスの定理証明器です． Z3 is a theorem prover from Microsoft Research. It is licensed under the MIT license. If you are not familiar with Z3, you can start here. Z3 can be built using Visual Studio, a Makefile or using CMake. It provides bindings for several programming languages. See the release notes for notes on various
スパースモデリング：第5章 厳密解から近似解へ - Qiita
概要 スパースモデリング第5章の数値例をPythonで実装． コードと実験結果をまとめたJupyter notebook． 導入 5章では観測データに雑音を含む場合を扱う．観測データに雑音を含むため誤差項の制約を$\epsilon$以下に弱める． $$ (P_{0}^{\epsilon}): \min_{\mathbf{x}} ||\mathbf{x}||_{0} \text{ subject to } ||\mathbf{b}-\mathbf{Ax}|| _{2} \leq \epsilon $$ 直交マッチング追跡（OMP）では，単に反復計算の停止条件$\epsilon_{0}=\epsilon$として解を求めれば良い． $\ell_{0}$ノルムを$\ell_{1}$ノルムに緩和すると$(P_{1})$の変形版である基底追跡ノイズ除去（basis pursuit denoising;
scikit-learn準拠で Label propagation とか実装した - でかいチーズをベーグルする
scikit-learn準拠で Label propagation 的なアルゴリズム達を実装した。なんで実装したかというと、 グラフそのもの（隣接行列）を入力したい。 scikit-learnには既にsklearn.semi_supervised.LabelPropagationが実装されてるけど、これはグラフを入力するんじゃなくて、普通にサンプル数×特徴数のデータ行列を与えて、そこから類似度グラフを作るようになってる。これだと例えば手元にソーシャルグラフがあって、そのユーザ（ノード）の属性（興味とか）を Label propagation で推定するということができない。 ハイパーパラメータを楽に決めたい。 自分でグリッドサーチとかやるのはめんどくさいので、sklearn.grid_search.GridSearchCVとかを使いたい。そのためにsklearn準拠にした。 自分の研究成果
Kernel PCA (Principal Component Analysis) の導出 - めもめも
何の話かというと Python Machine Learning: Unlock deeper insights into Machine Leaning with this vital guide to cutting-edge predictive analytics (English Edition) 作者:Raschka, SebastianPackt PublishingAmazon この本のKernel PCAの説明が相当に計算を端折っていて、これは読者もつらいだろぅ。。。と思って途中の計算を端折らずになるべく正確に導出してみました。 ※実対称行列の固有値分解とLagrangeの未定乗数法は前提知識とします。 普通のPCA はじめに、Kernelを使わない普通のPCAを導出します。 データセット の分散共分散行列を とします。この時、 は正定値の実対称行列より、正（もしくは0）
最急降下法で極小値を求める - きしだのHatena
関数の極小値を求めるために最急降下法を使ってみます。 y=f(x)の極小値を求めるとして、まず適当な値aをとります。f(x)のx=aでの微分f'(a)をとったとき、これが正であればaの値を減らし、f'(a)が負であればaの値を増やすと極小値に近づくはずというのが、最急降下法のアイデアです。 ということで、プログラムでは、funcメソッドが極小を求める関数、funcdメソッドが微分です。 実行すると、aの初期値によって求まる極限がかわります。初期値によっては、値が発散したり振動したりしてしまうこともあります。つまり、最急降下法では、本当の最適解は求めにくいということです。 import java.awt.*; import java.awt.image.BufferedImage; import javax.swing.*; public class SteepestDescent { //
PRML6.4.2 Gaussian processes for regressionのメモ - めもめも
基底を固定した場合の計算量 一般には、N✕N行例の逆行列計算が必要になるところが、有限個の基底を固定するとM✕M行列の逆行列計算に計算量が減少する理由を具体的な計算で確認。 Figure 6.10を再現するコード わかりやすさ優先で冗長なコードにしてあります。 # -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt from numpy.random import normal np.random.seed(20160317) num_data = 100 iter_num = 50 rate = 0.005 beta = 36.0 t0 = 1.0 eta1, eta2, eta3 = 1.0, 1.0, 1.0 def prep_data(): x1 = normal(0.0, 0.5, nu
線形回帰、カーネル線形回帰をRで実装する - Loud Minority
http://d.hatena.ne.jp/sesejun/20090401/p1 で紹介したカーネル多変量解析本の続き。 演習があるべきだ、と言ったが一般にカーネル法だと、与えられた点の数だけ次元を持つ正方行列を扱うので、演習を作っても手で解くのがつらい。だから、こんな風にソースコードを入れてみるのは、どうかと思ったので、このエントリを書いてみた。 線形回帰からカーネル線形回帰までをRで書いてみる(行列扱うのが楽なので）。式番号は、カーネル多変量解析の本に出てくる式番号である（まだ式番号をつけていないところが多いので、後日つけます付けました。2009/4/3）。 まずは単なるXYプロット。正規分布を鋭角にした感じの点20個。図1.3(P9)の点を真似た。 x1 <- c(-2,-1.69,-1.5,-1.3,-1.1,-0.9,-0.7,-0.48,-0.42,-0.05,0.09,0.
Pythonでカーネル主成分分析を実装してみる
カーネル主成分分析(Kernel principal component analysis; kernel PCA)はその名のとおりカーネルを使って主成分分析(PCA)を行う手法．カーネルっていうのは距離みたいなもん（→Kernel trick - Wikipedia）．線形主成分分析はデータが元の変数のベクトルの線形結合で表されてるとしているけど，そうでもないときもあるよねってことで，非線形写像して主成分分析する．分散共分散行列の代わりに，各データ間のカーネルを要素とするカーネル行列の固有値固有ベクトルを求めるってこと． Kernel pricipal component analysis - Wikipediaに載ってる画像っぽいのをつくってやってみた．つくったデータ→ kpca.data"x1 x2 class\n"．3つのクラス．各クラス100個ずつ． 元データの描画． カーネルは
最急降下法 - Shogo Computing Laboratory
一変数の最適化問題 「最急降下法」とは関数の最小値(または最大値)を求める手法です。 単純で計算量が少ないのでよく使われる方法です。 最適化したい関数を目的関数と呼びます。 これをとしましょう。 これを最小化を考えます。最大化したい場合はの最小化をすればいいだけです。 今、が適当な値としましょう。 最急降下法ではを次のように更新します。 ここで、αは小さな正の定数です。これを繰り返すことで最小値に近づいていきます。 αがあまり大きすぎると最小値を行き過ぎ、小さすぎるとなかなか収束しません。 また、極小値があるとそこに収束してしまう場合があるのが問題です。 証明 授業でこんな感じで習ったような、という覚え書き。 僕の解釈も含まれているので、間違っているかも。 変数xがtの関数であり、とします。 このとき、目的関数fをtについて微分してみましょう。 となります。ここでαを正の定数とし、が を満
Yusuke Sugomori's Blog
前回は、線形回帰・ロジスティック回帰および（シンプルな）ニューラルネットワークの出力の式を理解するところまでを考えてみました。今回はその続きを考えていきます。 一番基本的な式は線形回帰の \[ y = wx + b \] という直線の式でしたが、では、この傾き \(w\) と切片 \(b\) はどのように求めればいいでしょうか？ これら \(w\)、\(b\) が、いわゆるモデルのパラメータになります。このパラメータを最適化する（＝きちんと求める）ことで、線形回帰が引く直線は、「データの関係性を最もよく表す直線」になるわけです。 この式が \(y = \boldsymbol{w}^T\boldsymbol{x} + b\) になっても、あるいはロジスティック回帰の \(y = f\left(\boldsymbol{w}^T \boldsymbol{x} + b\right) \) という式
id:lacucaracha氏のデータ解析入門のコードを誰でも実行できるようにしてみた - onigoyのブログ
2016 - 02 - 08 id:lacucaracha氏のデータ解析入門のコードを誰でも実行できるようにしてみた こんにちは。onigoy@お仕事募集中と申します。 さて、 の ブコメ を拝見すると、「なるほど、わからん」「白…旗…」というコメントが見られました。 id:lacucaracha 氏の記事の文中で、必要なスキルは、 「 Java でHelloWorldが書ける程度の実力があれば多分OK」 「HTMLでHelloWordって表示させることが出来るくらいの知識」 と書かれていますが、私からすれば、 「初学者に、そんなご無体な…」 と思われました。 折角のコードが実行されないのも勿体ないので、誰でも実行できるように「即席で」 GUI を付けてみました。(あくまで「即席」なので、期待しすぎないでください) こんな感じです。 実行するには、まず、下記リンク先から「hatenaboo
【チュートリアル】機械学習を使って30分で固有表現抽出器を作る - Qiita
はじめに 固有表現抽出は、テキストに出現する人名や地名などの固有名詞や、日付や時間などの数値表現を抽出する技術です。固有表現抽出は、質問応答システム、対話システム、情報抽出といった自然言語処理を用いた応用アプリケーションの要素技術としても使われています。 今回は機械学習技術を使って固有表現抽出器を作ってみます。 ※注意事項 理論的な話は一切出てきません。理論を知りたい方は他を当たってください。 対象読者 固有表現抽出を少しは知っている方 固有表現抽出器を作ってみたい方 Pythonコードを読める方 固有表現抽出とは？ ここでは、固有表現抽出の概要と方法について説明します。 概要 固有表現抽出は、テキストに出現する人名や地名などの固有名詞や、日付や時間などの数値表現を抽出する技術です。具体例を見てみましょう。以下の文から固有表現を抽出してみます。 上記の文に含まれる固有表現を抽出すると人名と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Javaではてなブックマークのデータ解析入門(ネット上の大規模データ取得) - ゆとりずむ
GitHub - mstampfer/Coursera-Stanford-ML-Python: Coursera/Stanford Machine Learning course assignments in python
GitHub - tkm2261/TokyoWebmining_40_tkm2261