【ベイズ推定って結局何なの？Part2】 - HELLO CYBERNETICS
はじめに ベイズ推定の概要 統計学の考え 伝統的統計学の考え ベイズの考え ベイズ統計学 ベイズ統計学の基本道具 乗法定理 独立性 加法定理 ベイズの定理 ベイズでの統計パラメータの考え方 ベイズ機械学習 機械学習で行われる基本的な仮定と学習 機械学習の方法論 MAP（最大事後確率）推定 変分ベイズ サンプリング ベイジアンが見ているもの モデルの仮定は正しかったのか？ ハイパーパラメータ 全て確率変数から始める 最後に はじめに 思いの他反響のなかったベイズに関する以下の記事に続き、性懲りもなくベイズの話をします。（ディープラーニングみたいに爆発的な流行は無いけど、ベイズは今後絶対注目度が高まるよ！！） s0sem0y.hatenablog.com ベイズ推定の概要 前回はベイズがどういう考えをしていて、結果的にどういうことをしていることになるのかという話を（不正確な点も含みながら）説明
企業に移って5年が経ちました - 渋谷駅前で働くデータサイエンティストのブログ
月日が経つのは早いもので、かつてボンクラ研究者だった僕が企業（そしてインダストリー*1）に移ってからちょうど今日で5年が経ちました。インダストリーに移ってからのこの5年間で様々なことを体験し、あるいは見聞し、あるいは決断したりしてきたわけですが、良い区切りなので自分にとってのマイルストーンとするためにも、ここでこれまでの5年間を振り返ってみようと思います。 Disclaimer 以下に体験談もしくは見聞談として記載されている内容は、特に断りがなければ自分自身の複数の体験や見聞及び同業の友人知人からの見聞をマージして一般化したものであり、過去現在の個々の特定の所属先における特定のエピソードや職務内容及び特定の個々人のエピソードなどを意味するものではありません。またここで述べられている意見はあくまでも個人の主観的な意見であり、いかなる特定の企業・組織・機関も代表するものではありません。 この5
ベイズ学習の勉強に参考になる資料 - 作って遊ぶ機械学習。
おつかれさまです．今回はタイトルの通り，ベイズ学習を勉強する上で参考になる教科書やウェブの資料，論文等を紹介したいと思います． ベイズ学習は確率推論に基づいた機械学習アルゴリズムの構築論です．ベイズ学習を使えば，あらゆる形式のデータに対して，未観測値の予測や隠れた構造を発見するための統一的なアプローチをとることができるため，特に現代の機械学習アルゴリズムを深く理解し使いこなすためには必須の方法論になっています． １， ベイズ学習の位置づけ まず，データサイエンスにおける他の方法論と，ベイズ学習の位置づけを簡単に俯瞰したいと思います． 僕の知る限り，ベイズ学習は1990年代ごろから登場してきた機械学習の方法論で，既存の学習アルゴリズムを確率モデルによって構築し，学習や予測の計算をすべて確率推論（条件付き分布と周辺分布の計算）で解決してしまおうという試みによってはじまりました．これにより，従来
Rで学ぶ推薦システム - FANCOMI Ad-Tech Blog
こんにちは、サービス開発部 情報科学技術研究所の h_shinです。 Rで学ぶ推薦システム(recommendation system)について記事を書きたいと思います。 推薦システム(recommendation system) User-based Collaborative Filtering Item-based Collaborative Filtering とりあえず結果を見る Rソースについて 類似度評価方法の紹介 Euclidean distance(ユークリッド距離) Cosine similarity(コサイン類似度) Pearson correlation(相関係数) 推薦システム実装 評価データ生成 missing valueの問題点 類似度を求める関数作成 user-based collaborative filtering item-based collabor
あなたの会社は本当に機械学習を導入すべきなのか？ - bohemia日記
こんにちは。ぼへみあです。 こんな記事を読みました。 japan.zdnet.com よくあることだと思いますが、上から降ってきた機械学習プロジェクトは99%失敗し、導入したとしても技術的負債という形でエンジニアを苦しめることになるので、やらないほうがいいと思います。 僕は普段から、ディープラーニング面白しれー、機械学習サイコーと世に広めてしまっているのですが、 こちらの講演を聞き、機械学習をシステムに組み込んで運用する際に、普通のシステム以上に技術的負債が発生しやすく、どの企業でも気軽に導入を進めるべきでないと思いましたので、今の考えをまとめてみました。 ディープラーニング、実サービスへの導入の実際 〜niconicoにおけるレコメンド、コメント解析、画像解析〜 | Peatix 機械学習は技術的負債の高利子クレジットカード 近年高い成果を上げ、ブームになっている機械学習を導入したいと考
機械学習アルゴリズム チート シート - デザイナー - Azure Machine Learning
Note デザイナーは、従来の事前構築済みコンポーネント (v1) とカスタム コンポーネント (v2) の 2 種類のコンポーネントをサポートします。 これら 2 種類のコンポーネントには互換性がありません。 従来の事前構築済みコンポーネントは、主にデータ処理や、回帰や分類などの従来の機械学習タスク向けの事前構築済みのコンポーネントを提供します。 この種類のコンポーネントは引き続きサポートされますが、新しいコンポーネントは追加されません。 カスタム コンポーネントを使用すると、独自のコードをコンポーネントとしてラップすることができます。 これは、ワークスペース間での共有と、Studio、CLI v2、SDK v2 インターフェイス間でのシームレスなオーサリングをサポートします。 新しいプロジェクトでは、AzureML V2 と互換性があり、新しく更新され続けるカスタム コンポーネントを使
90 Active Blogs on Analytics, Big Data, Data Mining, Data Science, Machine Learning (updated) - KDNuggets
90 Active Blogs on Analytics, Big Data, Data Mining, Data Science, Machine Learning (updated) Stay up-to-date in the data science with active blogs. This is a list of 90 recently active blogs on Big Data, Data Science, Data Mining, Machine Learning, and Artificial intelligence. This post updates a previous very popular post 100 Active Blogs on Analytics, Big Data, Data Mining, Data Science, Machin
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Web開発におけるコンピュータサイエンス - 機械学習編2 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook 機械学習編1（基礎編）では、最も初歩的な分類器である単純パーセプトロンを題材に、機械学習の基本について勉強しました。機械学習編2（実用編）では、実問題に機械学習を適用する上でのコツや、各種の機械学習アルゴリズムの使い分け、高次元データへの対処法、といったトピックについて解説していきます。 実問題に機械学習を適用する タスクを定義する データを特徴ベクトルに変換する 評価方法を決める 正解データの正例と負例は均等に ベースラインとなる手法を実装する 実データに向き合うときの心構え 機械学習のワークフロー 1. 前処理 データセット作成 サンプリング 特徴抽出 欠損値・欠測値への対応 値のスケーリング 特徴選択 次元削減 2. 学習 モデ
特異値分解とLSIの意味
2012/3/24追記 わかりにくい部分や間違っている部分を修正した上でもっとちゃんとした解説エントリー書きました 潜在的意味インデキシング（LSI）徹底入門 —————— 前々から特異値分解やLSI(Latent Semantic Indexing)による次元削減の意味について疑問に感じていたので自分なりに考えてみました． 誤りも多々あるかと思いますが… 特異値分解 特異値分解は Aというランクが r の m x n 行列を次のような3つの行列に分解します． \[A = U \Sigma V^T\] ここで，U は m x r の列直交行列，V は n x r の列直交行列，Σは対角要素に特異値を降順に並べた r x r の対角行列です． ※定義の仕方によってはU: m x m 行列，V: n x n 行列，Σ: m x n 行列とすることもあります A のランクが r なので，A には
Jupyter Notebook Viewer
Python によるデータ分析コンテスト実践 (Part 3)¶本ドキュメントは FIT 2016 チュートリアル資料です． 各種データに対する Python によるデータ処理について，パッケージの利用例を紹介する． 目次¶ 大規模データ処理 (Redshift) Redshift にデータをロードする Redshift による特徴量作成 Redshift でのクラスタサイズごとの実行時間の比較 大規模データ処理 (BigQuery) BigQuery にデータをロードする BigQuery による特徴量作成 BigQuery における実行時間 画像データ (OpenCV) BRISK 特徴点の作成 時系列データ (今回は扱わない) ARIMA モデルを使った季節性のある時系列データのモデル 自然言語データ (今回は扱わない) NTLK による自然言語データの前処理 自然言語データのスコア
機械学習ビジネス研究会 第01回
Yuta Kashino is the CEO of BakFoo, Inc., a company that provides a real-time data platform for enterprises. The document discusses BakFoo and Kashino's background in areas like Zope/Python and astrophysics. It also covers topics like okcupid's history and acquisition, how their matching algorithm works using SVD matrix factorization, and analysis of user data from books like Dataclysm.Read less
Recurrent Neural Networkとは何か、他のニューラルネットワークと何が違うのか
筆者が所属するリクルートテクノロジーズでは機械学習をはじめとしたデータ解析を用いた社内向けソリューションをAPIで提供するプロジェクト「A3RT（Analytics And Artificial Intelligence API via Recruit Technologies）」が2016年に発足し、自然言語処理や画像解析、レコメンドなどの分野において研究開発と実践への導入が盛んに行われています。 A3RTにおいて、筆者が取り組んでいる課題の1つとして「校正」があります。 リクルートはもともと紙を媒体とする情報誌を発行している会社で、ネット化が進んだ現在でも大量の求人票や記事を日々作成しています。作成される原稿はカスタマーとクライアントをつなぐ重要な媒体であり、そこに間違いがあると大きな機会損失となります。そのため、現状では人手でその原稿を校正するため膨大なコストと時間がかかっています。
機械学習を用いた予測モデル構築・評価
質的変数（順序尺度）に有用なポリコリック相関係数を紹介しています。 また、ポリコリック相関係数を使った因子分析の方法も説明しています。
機械学習のためのPythonの基礎「NumPy」を学ぶ - learning.ikeay.net
機械学習といえば「Python」です。なぜPythonなのかというと、数値演算や機械学習に関するライブラリがたくさん揃っているからだそう。行列がとても扱いやすいNumPy、グラフ描画が簡単にできるmatplotlib、機械学習のscikit-learnなどなど… 機械学習ではこの３つのライブラリを大いに活用します。 まずは今回はscikit-learnを使った機械学習ではかなり重要になってくる「NumPy」を学びます。 私はPythonもはじめてなのでまずはPythonの概要を把握しつつ、「100 numpy exercises」というNumPyを基礎から学べる問題集を写経して学習したいと思います。 環境構築 まずは環境構築です。詳しくは下記のリンクに飛んで確認いただきたいのですが、Macの場合は、Pythonのバージョン管理システムである「pyenv」と、分析環境を構築するのに便利な「A
機械学習手習い: スパムフィルタを作る - うなの日記
「入門 機械学習」手習い、3日目。「3章 分類:スパムフィルタ」です。 www.amazon.co.jp ナイーブベイズ分類器を作って、メールがスパムかどうかを判定するフィルタを作ります。 分類器の仕組み 1) 以下の単語セットを作成 (a) スパムメッセージに出現しやすい単語とその出現確率 (b) スパムメッセージに出現しにくい単語とその出現確率 2) で作成した単語セットを元に、メール本文を評価し、以下を算出 (a2) メールをスパムと仮定した時の尤もらしさ (b2) メールを非スパムと仮定した時の尤もらしさ 3) a2 > b2 となるメールをスパムと判定する という感じで判定を行います。 必要なモジュールとデータの読み込み > setwd("03-Classification/") > library('tm') > library('ggplot2') # テスト用データ # 分
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - catboost/catboost: A fast, scalable, high performance Gradient Boosting on Decision Trees library, used for ranking, classification, regression and other machine learning tasks for Python, R, Java, C++. Supports computation on CPU and GPU.
Beautiful table outputs in R, part 2 #rstats #sjPlot
Most Active Data Scientists, Free Books, Notebooks & Tutorials on Github
いまさら聞けない機械学習のキホン
