JupyterHubを構築する みなさまはPythonのコーディング環境、なにを使っていますか？ Jupyter Notebookという人も意外と多いと思います。 Jupyter NotebookはWebブラウザで使うコーディング環境で、プラグインを使うことでPython以外にもJavaやR等のコーディング環境にもなります。 Jupyter Notebookだけではユーザ管理はできず、グループで開発を行うときに不便です。 JupyterHubを使えばJupyter Notebookにユーザ認証のインターフェイスを付けることができるので、その構築方法を紹介します。 ※　Jupyter NotebookはAnacondaでインストールするのが簡単です。 https://www.continuum.io/downloads ※　JupyterHub http://jupyterhub.readt

PLSAとLDA 昨今のビッグデータ時代の分析では高次元データを扱うことも多く、このような次元圧縮の技術が注目されているが、実際にはPLSAよりもそれと同様の手法であるLDAの方が世間的に認知されているといえるだろう。この手法はトピックモデルと呼ばれ、元々LSA (Latent Semantic Analysis)という手法があり(Deerwester et al, 1990)、それを確率的な処理をして改良したものがPLSAであり、さらにその拡張版として開発されたのがLDA (Latent Dirichlet Allocation)である(Blei et al, 2003)。 PLSAとLDAの基本的な考え方は同じだが、個々の文書における各トピックの現れやすさを表す確率が、PLSAではあくまで学習させた観測データから定義されるが、LDAではディリクレ分布という確率分布を仮定して生成させる。

機械学習ではモデルを作って終わり、ということは無く、モデル作成後にテストデータを使って「本当に良いモデルなのか？」という評価を必ず行う必要があります。 では具体的にどのように評価をすれば良いのか？という話になりますが、今回は代表的な評価指標である ROC AUC ついて説明していきます。 この辺りについては、以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホだと数式がうまく表示されない可能性がありますので、こちらのリンク、もしくはPCから購読頂けますと幸いです。 正解率の問題点と、偽陽性率と真陽性率ROC・AUCに入る前に、それらを計算するための性能評価値につい

1.前提知識 ・機械学習の基礎 ・オライリー『ゼロから作る Deep Learning』 ・MLPシリーズ『画像認識』の物体検出の章 2.物体検出とは 多くの物体検出アルゴリズムの内容は、以下の三段階で分けられる。 ①物体領域候補の提案 ②検出物体のクラス分類 ③領域の調整（回帰） 初学者向けの画像認識の実装例では「手書き文字の認識」がよく取り上げられるが、現実の画像においては、「物体が一つのみで全ての物体領域のサイズも同じ」ということは普通はありえない。そこで、1枚の画像の中で様々なサイズで写っている複数の物体を上手く切り出すバウンディングボックスを探し、クラス分類の問題に持ち込む必要がある。 愚直にやるならバウンディングボックスの位置を動かして全パターン探索するSliding Window法が考えられるが、工夫なく行うのでは非常に時間がかかることは容易に想像できる。 R-CNN、Fas

データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ

こんにちは。 今、KaggleのRestaurant Revenue Predictionをやっていて、その中でアンサンブル学習について再度学習してみたので、まとめました。 結構ながくなっちゃったかもですが、頑張って参考文献に飛ばしたりとかしてまとめました(笑) アンサンブル学習とは 機械学習における目標は、汎化性能が高い学習機をデータから構築することです。汎化性能を向上させる方法はいくつかあるわけなんですが、以下の2つの方針があります。 単一の学習器の性能を向上させる 複数の学習器を用意して、それらの予測結果を統合して汎化性能を高める 後者の方法がいわゆるアンサンブル学習といわれるものです。複数の学習器を利用して高い精度を出すことを実現します。 参考文献や本 アンサンブル学習（Ensemble learning）とバスケット分析（basket analysis） - Qiita アンサン