データの種類の理解と線形回帰ことはじめ - Qiita
昨日は統計のウソを見破る 5 つの視点として統計的誤りに関する注意点を説明しました。 本日はここであらためて、分析しようとしているデータそのものにスポットを当ててみたいと思います。 KPI (key performance indicator) とは目標を達成するために何が必要かを定量的に表す数値です。整形して美人になりたいというのは KPI ではありませんが、体重を 3 ヶ月後までに 10 キロ減らすとか鼻を 1.5 センチ高くするといったものは KPI です。 データにはどのような種類があり KPI として利用しようとしている指標はどんなデータなのか正しく理解していないとしばしば誤った KPI を導き、無意味なデータ分析へとつながる危険を孕みます。 変数とは 社会調査や医療統計など様々な分野で被調査対象者の状態を多方面から特定していきます。たとえばアンケートやカルテを想定してみましょう
線形回帰と相関係数、そして東京の平均気温を実際に分析してみる - Qiita
線形回帰における仮定 前々回、前回 と線形回帰について説明してきました。 線形回帰における最小二乗法では Y 軸の点と点の全体的な長さの差異 (= これを、それぞれの差の二乗を取ってから加算するので二乗誤差といいます) が最小になるように、まっすぐな線 (= 1 次式の直線となる関数) を求めました。すなわち、データの集合から直線に回帰する推定をおこなったわけです。 相関係数を求める どんな 2 次元データでも線形回帰で関数を導くことはできますが、それが妥当かどうか気になります。そこで両者の相関係数を求めます。相関係数はベクトル v1, v2 からそれぞれの要素 x, y の平均を求め、次に v1, v2 の分散と共分散を求めます。コードで表現してみましょう。 def correlation(data): n = len(data) # 二次元データの長さを n に求める xm = 0.0
[Review] Wide&Deep Learning - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Main Question can we teach computers to learn like humans do, by combining the power of memorization and generalization? Study Resources Tensorflow Tutorial Nice Qiita Post in Japanese Research Blog Visual Concept Case Study Let's say one day you wake up with an idea for
![[Review] Wide&Deep Learning - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/908d96d8ecf51460416e55b7c7cab3da24da6f93/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRmF2YXRhcnMzLmdpdGh1YnVzZXJjb250ZW50LmNvbSUyRnUlMkYyMDYyNjc5MiUzRnYlM0Q0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTU0NDU5MjgzNmIzOThiZjI1YmUyNTc2YmRlZGFmNjM5%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D7a4d087018d63fe3b46e82108b661ea7%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUmV2aWV3JTVEJTIwV2lkZSUyNkRlZXAlMjBMZWFybmluZyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTdkZjBlMjhmYzE4ZTZhMDE4ZjM1ZGU5ZTczOTZmMjhj%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBSb3dpbmcwOTE0JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9NGEwOTczZTZhZTVjN2ZiM2E0ZDkzMTU1MjRkZDdlZTc%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D2166807f0bf6d8d9306f7ffc541ffb20)
LinearRegression クラスについてメモ - Qiita
sklearn の LinearRegression クラスについての個人メモ。 LinearRegression とは 線形回帰モデルの一つ。説明変数の値から目的変数の値を予測する。 導入 import sklearn.linear_model.LinearRegression アトリビュート coef_ 回帰変数。 intercept_ 切片。 メソッド fit(x, y) 線形回帰モデルの当てはめを実行。訓練の開始。 xが対象データで、yが正解データ ※教師あり学習が前提 get_params() 推定に用いたパラメータを取得。 predict(x) モデルを使用して、xに対して予測を実行し予測値を算出する。 score(x, y) 決定係数を出力。予測値xと正解値yの相関を測る。 実践 import pandas as pd from sklearn.linear_model im
【機械学習】最小二乗法について メモ - Qiita
機械学習で使用することを前提として、最小二乗法についてまとめます。 ど文系のメモなので、誤りなどあったら指摘していただければ嬉しいです。 最小二乗法とは 最小二乗法(さいしょうにじょうほう、さいしょうじじょうほう；最小自乗法とも書く、英: least squares method)は、測定で得られた数値の組を、適当なモデルから想定される1次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差の二乗和を最小とするような係数を決定する方法、あるいはそのような方法によって近似を行うことである。(Wikipedia) あるデータの分散について回帰を行いたいときなどに用いる考え方。 回帰直線をはじめとし、ロッソ回帰やリッジ回帰などの根底となる概念。 数式について 数式 モデル関数を f(x) とするとき
プログラムは音楽だ (A program is a music.)
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この資料の背景 この資料は、子供にプログラミングを教えるのに、音が鳴る題材だとデバッグが容易であることとに基づいています。音楽活動をされているプログラマの方々、音楽活動をされている方々がプログラミングに取り組む際の意見交換に基づいています。 何人かは、プログラマに転身される過程におつきあいしています。 そんな方の紹介からまず。 https://www.youtube.com/watch?v=qOOymLivqhU https://www.youtube.com/watch?v=ZBo-gvFN2mI 公開算譜(open source)は
コピペから脱却して自由に Deep Learning するための TensorFlow 再入門 - Qiita
はじめに TensorFlow はなかなかとっつきにくい部分があるかと思います。書き方が独特なので、慣れるまでに時間がかかるかと思います。公式の MNIST は一通りやったけど、自分で考えたディープニューラルネットワーク (DNN) をどう書いたらいいかわからない……なんてこともあるのではないでしょうか。 この記事では、シンプルな問題を題材にして、 TensorFlow をコピペに頼らず、自分の書きたい DNN を 低レベル API を使ってどのように書くかを最小構成で説明していきます（今さら感はありますが。。）。ベースは公式ドキュメントの Low Level APIs のあたり です。 内容としては： TensorFlow の最小構成要素 TensorFlow で線形関数のフィッティング TensorFlow で DNN を実装 のようになっています。また、以下のような方を対象としており
これから強化学習を勉強する人のための「強化学習アルゴリズム・マップ」と、実装例まとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ※2018年06月23日追記 PyTorchを使用した最新版の内容を次の書籍にまとめました。 つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~ 18年6月28日発売 これから強化学習を勉強したい人に向けて、「どんなアルゴリズムがあるのか」、「どの順番で勉強すれば良いのか」を示した強化学習アルゴリズムの「学習マップ」を作成しました。 さらに、各手法を実際にどう実装すれば良いのかを、簡単な例題を対象に実装しました。 本記事では、ひとつずつ解説します。 オレンジ枠の手法は、実装例を紹介します。 ※今回マップを作るに
青空文庫で作者っぽさ判定（KERAS ＋ character-level cnn） - Qiita
青空文庫で作者っぽさ判定 青空文庫のテキストを利用して、任意の日本語文の作者っぽさを判定するモデルを作ってみました。 https://github.com/shibuiwilliam/aozora_classification 動機 2017/02のTFUG #3に参加したのですが、Rettyの中の方がcharacter-level convolutional neural networkをしていて、これで火がつきました。 https://tfug-tokyo.connpass.com/event/49849/ 元ネタとなったQiitaの記事はこちらです。 とても勉強になりました。ありがとうございます。 http://qiita.com/bokeneko/items/c0f0ce60a998304400c8 なおcharacter-level cnnの論文はこちらです。 https://p
HTMLのコーディングが不要になるかも？pix2codeの紹介 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今年の５月末に話題になった 画面のスクリーンショットからコードを生成するディープラーニングpix2code Gigazine GUIのスクリーンショットを読み込むと必要なコードを生成する仕組みでスタートアップが人工知能を活用 http://gigazine.net/news/20170530-pix2code/ AAPL Ch. ディープラーニングを利用し、デザイナーが作成したiOS/AndroidアプリのGUI画像から自動的にコードを作成する「Pix2Code」が話題。 https://applech2.com/archives/20
データサイエンティストを目指して半年で学んだことまとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 本記事では、データサイエンティストを目指して勉強した半年間で学んだこと、気付いたことをまとめます。これからデータサイエンティストを目指して勉強する人の参考になればと思います。 最初の一手 個人的にではありますが、最初はアプローチの理解から始めると思いますが、数式とプログラミングの両方を勉強する方が良いと思います。**数式→プログラミング or プログラミング→数式の順序はどちらでも良いと思いますが、プログラミング（フレームワーク）のみ**はやめた方が良いと思います。出力結果の解釈で苦労することになるので、理論、数式はしっかり理
Google Custom Search APIを使って画像収集 - Qiita
# -*- coding:utf-8 -*- # onlyzs1023@gmail.com 2016/11/21 import urllib.request from urllib.parse import quote import httplib2 import json import os API_KEY = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" CUSTOM_SEARCH_ENGINE = "12345648954985648968:xxxxxxxxx" def getImageUrl(search_item, total_num): img_list = [] i = 0 while i < total_num: query_img = "https://www.googleapis.com/customsearch/v1?key=" + API_KEY
怠け者のためのディープラーニング入門 - イントロ
目次 イントロ ← 今ココ Scikit-learn・Keras モデルの性能指標・評価方法 データの前処理・データ拡張 早期終了(early stopping) 転移学習 ハイパーパラメータのチューニング モデル圧縮 応用 はじめに 大学3年生のとき、小林雅一『AIの衝撃 人工知能は人類の敵か』という本をなんのきなし読んだことがあります。その本の中で「最先端のAIを実装できるのは世界でも50人くらいの研究者・大学院生くらいだ」といった文章を読み、なんだかすごそうという動機で機械学習に触れ始めました。そのころちょうど、TensorFlow 0.0.5が公開されて騒がれていたことを覚えていますが、当時ディープラーニングとは何かすらまったく分かりませんでした。それから約2年の月日が経ちますが、TensorFlowをはじめとしたフレームワークの普及もあってか「最先端のAI」というものを研究し実装
Neural Tensor Network 〜 Deep learning と Tensor Relational learning テンソル関係学習 の 合流 した 姿 - Qiita
Neural Tensor Network 〜 Deep learning と Tensor Relational learning テンソル関係学習 の 合流 した 姿DeepLearning深層学習NLPMachineLearningNeuralTensorNetwork 入力 が ベクトル や 行列 ではなく、階数3以上のテンソル な ニューラルネットワーク である場合、Neural Tensor Network と呼ばれているようです。 階数 3のデータ形式 が ニューラルネットワーク への 入力データ になる例 として、 セマンティック意味ラベルが付与された 構造化意味データ が 多く 見受けられます。 その関係 で、知識データ を 参照させる ニューラルネットワークモデルの構築・組成 に 力を発揮するものと考えられます。 セマンティック意味データ 以外 にも、 行列よりも階数の
Awesome Ruby : 素晴しい Ruby のライブラリ・ツール・フレームワーク・ソフトウェアの数々
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 元記事: Awesome Ruby Ruby 以外の言語, ソフトウェアについては を参照してください. Awesome List in Qiita Awesome Java Awesome JavaScript Awesome Node.js Awesome Python Awesome Go Awesome Selenium Awesome Appium 抽象化 ActiveInteraction - アプリケーション固有のビジネスロジックを管理します. Cells - Rails のコンポーネントを表示します. Decent Ex
（ Microsoftほか発 ）DeepCoder : 探索ベースのソフトウェア・エンジニアリング手法 を 取り込んだ Neural Networkベース の プログラミングコード自動導出モデル - Qiita
（ Microsoftほか発 ）DeepCoder : 探索ベースのソフトウェア・エンジニアリング手法 を 取り込んだ Neural Networkベース の プログラミングコード自動導出モデルNLP深層学習自動プログラミング人工知能DeepLearning （ 原論文 ） Matej Balog, Alexander L. Gaunt, Marc Brockschmidt, Sebastian Nowozin and Daniel Tarlow (2017) DEEPCODER: LEARNING TO WRITE PROGRAMS Published as a conference paper at ICLR 2017 （ 何 を 提案しているのか ？） プログラミング・コード を 導出する プログラム または、 プログラム を 書くプログラム を 構築 する 方法 を 提案している。
（調査） 自然言語文（和文や英文） の 構文解析・依存解析・照応解析、固有表現抽出 を ディープラーニング で 行う 手法 - Qiita
Deep Learning で 行う 自然言語文 の 文構造解析 構文解析器（Parser） を 使わず に、深層ニューラルネットワークを 用いて、英文や和文の文章 を、木構造の構文解析グラフ に 変換する 手法 複数の文 に またがる 文章 で、後続の文に出現する指示代名詞 が、前のどの文 の どの名詞 を 指すのか を 解析する 照応解析 を 深層ニューラルネットワーク で 行う 手法 が、提案されています。 これら、構文解析 や 依存解析、照応解析 を 深層ニューラルネットワークモデル で 行う研究 は、あまり、主題的に取り上げられていない 印象 を 受けます。 そこで本記事では、これらの論文を取り上げて、深層ニューラルネットワークモデルのトポロジー構造 と パフォーマンスの検証結果 を 紹介していきます。 さらに、固有表現抽出 を 深層NN で 行う 手法 や、文章で記述されている
Lua版 ゼロから作るDeep Learning その１３［ニューラルネットワークに関する勾配］ - Qiita
--Copyright (C) 2017 Kazuki Nakamae --Released under MIT License --license available in LICENSE file common = require './common' --- simpleNetクラス（オブジェクト） -- 単純なニューラルネットワークを生成する -- @param isConstW 重みを固定 {Type:Bool} simpleNet={} simpleNet.new = function(isConstW) local obj={} --メンバ変数 if isConstW then --原書で紹介されている重みを使用 obj.W = torch.Tensor({{0.47355232, 0.9977393, 0.84668094}, {0.85557411, 0.03563661
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Review] Wide&Deep Learning for Recommender System - Qiita![[Review] Wide&Deep Learning for Recommender System - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/dba8b41819486a81468576ce3da7dea5a2db82f1/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRmF2YXRhcnMzLmdpdGh1YnVzZXJjb250ZW50LmNvbSUyRnUlMkYyMDYyNjc5MiUzRnYlM0Q0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTU0NDU5MjgzNmIzOThiZjI1YmUyNTc2YmRlZGFmNjM5%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D7a4d087018d63fe3b46e82108b661ea7%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUmV2aWV3JTVEJTIwV2lkZSUyNkRlZXAlMjBMZWFybmluZyUyMGZvciUyMFJlY29tbWVuZGVyJTIwU3lzdGVtJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YmRiODAyMmYxODFlYTM0ZGJmY2IwOTZkN2JhNDM5ZDU%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBSb3dpbmcwOTE0JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9NGEwOTczZTZhZTVjN2ZiM2E0ZDkzMTU1MjRkZDdlZTc%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D2191c527591448b67ddb5c1a33690ffe)
GPUでディープラーニングやるならAWSよりFloydHub - Qiita
