正則化項（LASSO）を理解する - Qiita
$d=2$ の場合、$a_1+a_2\le r$なので、$a_1,a_2$の取り得る値は四角の範囲内に制限される。 最小二乗解が赤線で求められる場合、$a_2=0$となり、次元が一つ減ることになる。 ＊$L_2$正則化の場合、制約条件は $||a||^2\le r $ なので、取り得る値は円形の範囲に制限される。 ＊L2正則化とは違い、L1正則化では|w|がｗ＝０で微分できない。 L2正則化のように簡単に計算できず、数値的に求める必要がある。 １．求めてみる ここでは、数学的な証明は割愛し、L1正則化の効果の確認に焦点を当てる。 なんで、可能な限りscikit-learnのライブラリを使用した。 データセットは、diabetes（糖尿病患者の検査数値と 1 年後の疾患進行状況）を使用。 from sklearn.datasets import load_diabetes from skle
機械学習におけるカーネル法について - めもめも
何の話かというと 機械学習におけるカーネル法の説明で、よく登場するのがこちらの図です。 左側の (x, y) 平面上の点を分類する場合、このままだと線形分類器（直線で分類するアルゴリズム）ではうまく分類できないのが、右図のように z 軸を追加してデータを変形すると、平面できれいに分割できるようになって、線形分類器による分類がうまくいくというものです。このように、高次元空間にデータを埋め込むことでうまいこと分類するのがカーネル法の仕組みだというわけです。 なのですが・・・・・・・・・・・・・・・・・・・・ これ、本当にカーネル法の原理を知っている方には、ちょっと気持ち悪くないですか？ ※ 以下はカーネル法を知っている方向けのつぶやきです。 上記の例は、データの配置にあわせて、うまいこと z 軸方向の変形をしているのでうまくいっているのですが、カーネル法には、データの配置にあわせてうまいこと変
プログラマーのための確率プログラミングとベイズ推定
プログラマーのための確率プログラミングとベイズ推定¶PythonとPyMCの使い方¶ベイズ推定(Bayesian method)は，確率推論のためのもっとも適切なアプローチであるにもかかわらず，書籍を読むとページ数も数式も多いので，あまり積極的に読もうとする読者は少ないのが現状である．典型的なベイズ推定の教科書では，最初の3章を使って確率の理論を説明し，それからベイズ推論とは何かを説明する．残念ながら多くのベイズモデルは解析的に解くことが困難であるため，読者が目にするのは簡単で人工的な例題ばかりになってしまう．そのため，ベイス推論と聞いても「だから何？」と思ってしまうのである．実際，著者の私がそう思っていたのだから． 最近の機械学習のコンテストで良い成績を収めることができたので，私はこのトピックを復習しようと思い立った． 私は数学には強い方である．しかしそれでも，例題や説明を読んで頭の中で
コンピュータービジョンの無料チュートリアル - ベイズ推定とグラフィカルモデル：コンピュータビジョン基礎1
Learn essence of "Computer Vision: Models, Learning, and Inference"
機械学習における、定型的な作業を自動化する - Qiita
機械学習を利用する際は、データの前処理から始まって適切なモデルを選んでパラメーターを最適化して・・・というように多くの作業が伴います。 ただ、この作業の少なくない部分は定型的なものです。前処理でいえば、数値データに対しては正規化を行う、カテゴリー変数は0/1の特徴量へ変換する(ダミー変数化)、といった処理はどんな場合でもとりあえず実行する処理になります。 もちろん高度な特徴量エンジニアリングなどは話が別ですが、データがあったときに定型的な作業をさくっと行い、とりあえず基礎的なモデルでどれぐらいの精度が出るのかを見てみたい、というシーンはよくあるものです。 そこで、そんな作業を自動化するための仕組みを開発しました。名前はkaruraといいます。 chakki-works/karura コンセプトとしてはこの図のように、モデルを作るにあたっての定型的な一連の作業を自動化する、といったものです。
テンプレートを使って爆速で機械学習プロジェクトを作成する - Qiita
あなたは機械学習のプロジェクトを毎回違う構成で作っていませんか？ 何をどこに配置するかで悩んで時間がかかっていませんか？ そんな方に朗報です。 機械学習のプロジェクトはコマンド一発で作れます。 以下のようなプロジェクトを数秒で作れます。 ディレクトリ構造 ├── LICENSE ├── Makefile <- Makefile with commands like `make data` or `make train` ├── README.md <- The top-level README for developers using this project. ├── data │ ├── external <- Data from third party sources. │ ├── interim <- Intermediate data that has been transfor
不均衡データのクラス分類
13. > library(kernlab) > # データの読み込み(データは"../data/"ディレクトリに置いておく) > abalone <- read.csv("../data/abalone.data", header=FALSE) > # 19番目のクラスを正例に，それ以外のクラスを負例とする > label <- abalone[, 9] > label[label==19] <- "positive" > label[label!="positive"] <- "negative" > label <- factor(label) > table(label) label negative positive 4145 32 正例３２サンプル， 負例４１４５サンプルのデータ 14. > set.seed(123) > # クロスバリデーションの実行(多項式カーネルを用い，
半教師あり学習とは結局のところ何なのか? - yasuhisa's blog
半教師あり学習の本質はどこにあるのか? 現在の半教師あり学習の悪い(?)ところ その他 今週ゼミで半教師あり学習のイントロダクション的なものをやる予定なので資料を作っている。 Self Training Generative Models S3VMs Graph-Based Algorithms Multiview Algorithms などなどの手法を簡単に紹介する予定(Blogにもあげるかもしれない)。で、資料を作っていて、「半教師あり学習とは、つまりラベルありデータだけではdata sparsenessに負けてしまうところをラベルなしデータによって補う方法ではないか」というところに行きついた気がする。 半教師あり学習 from syou6162 半教師あり学習の本質はどこにあるのか?Semi-Supervised Learning Tutorialの資料からいくつか例で見てみよう。テ
機械学習のルールとベストプラクティス（Rules of Machine Learning: Best Practices for ML Engineering の意訳） - Qiita
機械学習のルールとベストプラクティス（Rules of Machine Learning: Best Practices for ML Engineering の意訳）機械学習 WHY 1：自分の勉強のためです。 2：機械学習に興味があるけど英語ができない人でも大まかな内容が理解できれば良いな 機械学習は近年話題になっている技術ですが具体的な運用のための指針はあまり明確になっていないのが現状です。企業の担当者が知恵を振り絞って工夫されていると思います。 今回、参考にした資料はGoogleの中の人が書いているので参考にできるはずです。 機械学習の適用で悩めるエンジニアの指針になれば良いと思います。 ただし参考資料の方が詳しいので英語ができる方は元の参考資料を読まれる ことを強くオススメします。 誤訳がある可能性があります。（できれば指摘していただけるとありがたいです） 43個のルールがありま
Gabung Sekarang di Slot88: Situs Judi Slot Online Terpercaya & Gacor, Dapat Maxwin!
Decrease quantity for Gabung Sekarang di Slot88: Situs Judi Slot Online Terpercaya & Gacor, Dapat Maxwin! Increase quantity for Gabung Sekarang di Slot88: Situs Judi Slot Online Terpercaya & Gacor, Dapat Maxwin! Kamu penggemar permainan slot online yang seru dan menguntungkan? Kami di Slotkuni punya semua yang kamu butuhkan! Dengan berbagai pilihan permainan slot gacor yang gampang dimainkan, Kamu
機械学習で電力需要を予測してみる パート2 - Qiita
はじめに 以前、同名のタイトルで投稿してからずいぶんと日数が経過し、少し熟れてきたので再度投稿してみます。 追記 2017/12/22に以下の記事を作成したので、あわせてご参照下さい。 TensorFlowで電力使用量予測 with Keras データ収集 まずは東京電力のサイトから電力需要のデータをダウンロードします。 http://www.tepco.co.jp/forecast/html/images/juyo-2016.csv ※2017/1/14現在、2016/4/1〜2016/12/31の一時間毎のデータをダウンロードできました。 また、URLを変更すると2014年のデータも入手できました。 http://www.tepco.co.jp/forecast/html/images/juyo-2014.csv ※2017/1/14現在、2015年のデータはからっぽでデータが入ってい
機械学習論文読みメモ_23 - Qiita
A Random Matrix Approach to Recurrent Neural Networks, ICML2016 RNN、特に線形なRNNは様々なconfigurationにおける性能分析を通して、その質的洞察を得てきた。 対して本論では新たなランダム行列に基づく、特にecho-state netowrk(ECN)に基づいて量的洞察を与える。 ECNはreserviorと呼ばれる、ランダムに作成されその後固定して使われる接続行列（connectivity matrix)を用いてネットワークを構築する。 このECNは過剰適合のリスクを低減する事が出来るが、短期的な記憶能力しか持てない。 ECNの解析は行列が固定される事より難しくはなく、すでに様々な質的な洞察が得られており、特に作用素ノルムとスペクトル半径が重要な意味を持つ事がわかっている。 しかしより詳細な量的洞察はまだ得られ
教師なし形態素解析で頻出語を可視化する
概要 NPYLMでワードクラウドを作る ワードクラウドとは Twitterで以下のような投稿を見たことがあるかもしれません。 これはワードクラウドと呼ばれるもので、クロクモなどのwebサービスで作ることができます。 ワードクラウドは頻出語をその頻度に応じたサイズで並べることで分かりやすく可視化することができますが、こういったwebサービスは基本的には可視化部分をamueller氏のword_cloudで行い、頻出語のカウントにはMeCabを用いた形態素解析により行っています。 教師なし形態素解析とは MeCabによる形態素解析は基本的に単語辞書を用いて行われます。 それに対し教師なし形態素解析は与えられた文字列の集合からMCMCと動的計画法によりNPYLMと呼ばれる言語モデルを学習し、得られたモデルをもとに文を単語に分割することができます。 特徴としてどのような文字列からも単語を推定するこ
量子アニーリングで組合せ最適化 - Qiita
これはNextremer Advent Calendarの23日目の記事です。 現在、株式会社Nextremerでは早稲田大学の田中宗様と量子アニーリングに関する共同研究を行っております。 はじめに 量子アニーリングは組合せ最適化問題を解くための有効なアルゴリズムと言われています。 本記事では、量子モンテカルロ法による量子アニーリングを用いて、代表的な組合せ最適化問題であるTSP(巡回セールスマン問題)に対して解を求めたいと思います。 量子論の基礎 TSPの議論に入る前に、少しだけ量子論の基礎的なことに触れておきます。 物理量(エネルギーや運動量など)は、量子の世界では演算子というものに対応します。例えば、エネルギーという物理量に対応するものはハミルトニアン($\hat{H}$と表します)という演算子です。 このハミルトニアン $\hat{H}$ という演算子は、ある量子状態 $\psi$
はてな社内で行なっている機械学習勉強会について紹介します - Hatena Developer Blog
このエントリは、はてなエンジニアアドベントカレンダー2016の21日目の記事です。昨日は id:hakobe932さんによる次に何を勉強するかを決めるための作戦でした。 こんにちは、アプリケーションエンジニアのid:syou6162です。このエントリでは、今年の9月から社内で行なっている機械学習勉強会についての概要と、この数ヶ月でやってきた内容について紹介したいと思います。 最新の論文読み会、だけでいいのか? 他社から学ぶ 機械学習の学習データをどうやって効率的に作るか サービスへの事例や技術選定の基準をキーワードにまとめていく ときには最近の機械学習技術の話題にもキャッチアップ まとめ 最新の論文読み会、だけでいいのか? 私は今年の3月まで自然言語処理/機械学習の企業研究者として働いていて、転職して4月からはてなでエンジニアとして働いています。「転職してからあまり論文読めていないなぁー」
まだ機械学習の論文を追うのに消耗してるの？それBotで解決したよ - Qiita
まだ機械学習の論文を追うのに消耗してるの？ はい、消耗しているんです(涙) 機械学習の分野って本当に進歩が早いですよね？ 「最新の手法」が週間で変わるぐらいその変化は激しいものです。 そんな世界にキャッチアップしていくためには、一人の力だけでやっている場合ではない！ということで、私や私の先輩 icoxfog417 を含めて何人か共同で機械学習系論文の読み会を開催しています。 今回は、そこで読んだ論文の内容をつぶやいてくれる Twitter Bot をつくってみました。この Bot は読んだ論文についての一言まとめをつぶやいてくれます。一言まとめにより論文の内容を日本語で素早く把握できるようになります。以下のような感じです。 リサーチしている論文は、以下の GitHub リポジトリ( arXivTimes )で管理しています。こちらを更新するたびに Twitter でつぶやく仕組みになってい
NLP/機械学習/データ分析系のDockerイメージ8選 + 1 - Qiita
Docker Advent Calendar 2016 の5日目の記事です。 2016年もあとわずかですが、振り返ると、僕の2016年は Dockerfile と docker-compose.yml を書いた記憶しかないです。大小 20 個くらいは書いたんじゃないでしょうか。今年の漢字は docker です。 私の所属しているJX通信社では、言語処理/機械学習系の API や、速報/災害検知 API などを提供しています。それらの各種 API に Docker を活用しているわけですが、形態素解析などはよく再利用するので、社外に Docker イメージとして公開しました。 そのような、社外にスピンアウトした 3 個の自然言語処理系 Docker イメージや、今年お世話になった Docker イメージなどをご紹介します。先に、紹介するイメージの目次を書いておくので「知ってるのしかない！」と
機械学習を利用するプロダクトのテスト - froglog
このエントリについて 2種類の要件 性能要件のテスト offline と online offline 性能テストの自動化 A/B テストはすぐにほしい 機能要件のテスト 性能テストのみで十分なのでは？ テストデータ生成 機能テストをいつ作るか まとめ このエントリについて ポエムです。 11/8(火) に開催された Cloudera World Tokyo 2016 に参加しました。 大規模データに対するデータサイエンスの進め方 #CWT2016 (以下、発表 1) データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016 (以下、発表 2) その中で上記の2つの発表がとてもいい話でした。 多少絡みのある内容として機械学習を利用するプロダクトのテストについて述べたいとちょっと前から考えていたので、いい機会なので
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
合成変量とアンサンブル：回帰森と加法モデルの要点
openias.github.io/notebooks/variational_coin.ipynb at master · openias/openias.github.io
