Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
導入 まだ、私は機械学習を学び始めて2ヶ月ぐらいです。 最近Kaggleで学んだ知識を実践しようと取り組んでおり、どういった学習方法がいいのかなーって調べていたら 「KaggleのKenel読むといいよ!!」 ってあったので見てみたのですが 意味不明なコードで書かれたKernelばっかやん😡 そういうわけでなんとかして、初心者向けの簡単なコードで書かれたカーネルを見つけたので紹介していこうと思います。 ちなみにコンペはtkm2261さんのYoutube動画の影響を受けてPorto Seguro'sをやってます。 このコンペはデータが綺麗で、自然言語処理の知識とかも入らないのでtitanicやった後はこのコンペをやることをおすすめします! カーネルに関しては見つけ次第順次追加していく予定です。 もし、初心者におすすめのカーネルがあるよーって方はコメントしてくだされば追加するのでよろしくお願
はじめに 3月末に大学でデータ分析系の研究室に配属され、何か手頃なデータで遊んで見たいなぁ〜と思っていたところこんな素晴らしい記事を偶然発見。 Spotifyの76,000曲の属性データを分析した結果、J-RockはRockというよりむしろPunkだった **Spotify**は無料(!)で使えるApple Musicのような定額音楽ストリーミングサービスです。 ↑Spotify の Web Player 前々からSpotifyはかなり使っているのですが、APIの存在はこの記事で初めて知りました。取得できるオーディオ解析のデータの一つ一つもかなり面白そうだったので、これを使う手はない!ということで実際に触って見ました。 今回はSpotifyの曲の情報を取得するAPIを使い、データサイエンティスト一年生かつトラックメイカー四年生の観点から、色々頑張ってみようと思います。 目標 今回の目標は以
概要 What’s new in each version --v0.9.0 (July 2018) seabornがメジャーアップデートをして、バージョン0.9.0がリリースされました。 いくつかの変更点や新たな関数が追加されたようなので、いくつか試してみたいと思います。 特に、散布図のscatterplot()や、線グラフのlineplot()が良さげなので、それについて詳しく見ます。 コードだけ見たい方は、以下の文章は飛ばしてこちらからどうぞ。 注意! ベータ版なので、アップデート等は自己責任でお願いします。 主な変更点や追加関数 以下、公式ドキュメントの翻訳(意訳)の抜粋。だいぶ粗い訳なので、分かりにくい箇所はドキュメントを参照してください。 新しいグラフ関数が追加された。 relplot() scatterplot() lineplot() relplot()は FacetGri
昨日は統計のウソを見破る 5 つの視点として統計的誤りに関する注意点を説明しました。 本日はここであらためて、分析しようとしているデータそのものにスポットを当ててみたいと思います。 KPI (key performance indicator) とは目標を達成するために何が必要かを定量的に表す数値です。整形して美人になりたいというのは KPI ではありませんが、体重を 3 ヶ月後までに 10 キロ減らすとか鼻を 1.5 センチ高くするといったものは KPI です。 データにはどのような種類があり KPI として利用しようとしている指標はどんなデータなのか正しく理解していないとしばしば誤った KPI を導き、無意味なデータ分析へとつながる危険を孕みます。 変数とは 社会調査や医療統計など様々な分野で被調査対象者の状態を多方面から特定していきます。たとえばアンケートやカルテを想定してみましょう
線形回帰における仮定 前々回、前回 と線形回帰について説明してきました。 線形回帰における最小二乗法では Y 軸の点と点の全体的な長さの差異 (= これを、それぞれの差の二乗を取ってから加算するので二乗誤差といいます) が最小になるように、まっすぐな線 (= 1 次式の直線となる関数) を求めました。すなわち、データの集合から直線に回帰する推定をおこなったわけです。 相関係数を求める どんな 2 次元データでも線形回帰で関数を導くことはできますが、それが妥当かどうか気になります。そこで両者の相関係数を求めます。相関係数はベクトル v1, v2 からそれぞれの要素 x, y の平均を求め、次に v1, v2 の分散と共分散を求めます。コードで表現してみましょう。 def correlation(data): n = len(data) # 二次元データの長さを n に求める xm = 0.0
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Main Question can we teach computers to learn like humans do, by combining the power of memorization and generalization? Study Resources Tensorflow Tutorial Nice Qiita Post in Japanese Research Blog Visual Concept Case Study Let's say one day you wake up with an idea for
sklearn の LinearRegression クラスについての個人メモ。 LinearRegression とは 線形回帰モデルの一つ。説明変数の値から目的変数の値を予測する。 導入 import sklearn.linear_model.LinearRegression アトリビュート coef_ 回帰変数。 intercept_ 切片。 メソッド fit(x, y) 線形回帰モデルの当てはめを実行。訓練の開始。 xが対象データで、yが正解データ ※教師あり学習が前提 get_params() 推定に用いたパラメータを取得。 predict(x) モデルを使用して、xに対して予測を実行し予測値を算出する。 score(x, y) 決定係数を出力。予測値xと正解値yの相関を測る。 実践 import pandas as pd from sklearn.linear_model im
機械学習で使用することを前提として、最小二乗法についてまとめます。 ど文系のメモなので、誤りなどあったら指摘していただければ嬉しいです。 最小二乗法とは 最小二乗法(さいしょうにじょうほう、さいしょうじじょうほう;最小自乗法とも書く、英: least squares method)は、測定で得られた数値の組を、適当なモデルから想定される1次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差の二乗和を最小とするような係数を決定する方法、あるいはそのような方法によって近似を行うことである。(Wikipedia) あるデータの分散について回帰を行いたいときなどに用いる考え方。 回帰直線をはじめとし、ロッソ回帰やリッジ回帰などの根底となる概念。 数式について 数式 モデル関数を f(x) とするとき
温度付きsoftmax (softmax with temperature) いつ使うか モデルの蒸留なんかに出てくる損失関数 (多分他にも出てくるんだろうけどあまり知らない). 「ちょっと高い確率で出てきたクラスを重視して学習したい!」とか「低い確率のクラスを切り捨てずに学習したい!」ときに使われる. 数式 $$ S(y_i)=\frac{e^{\frac{y_i}{T}}}{\Sigma{e^{\frac{y_k}{T}}}} $$ 実装(Chainer) import chainer import numpy as np def softmax_with_temperature(x, temperature: float) -> chainer.Variable: return F.softmax(x / temperature) softmax_with_temperature(n
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちは,いしたーです.最近はDeNAで3次元復元関連のアルバイトをしています. 今回は3次元復元の古典的な手法であるTomasi-Kanade法[1]の解説をしていきます. コードはGitHubにあります. Tomasi-Kanade法とは 2次元の画像の集合から3次元の物体を復元する手法です. さっそくデモをお見せします. これらはある3次元の点の集合を撮影(平面に投影)したものです. これらの画像をTomasi-Kanade法で処理すると,こんなふうにもとの3次元の点群を2次元の点群のみから復元することができます. 実際に実行し
import chainer import chainer.functions as F import numpy as np hoge = np.array([i for i in range(9)]).reshape(3,3) """ array([[0, 1, 2], [3, 4, 5], [6, 7, 8]]) (3, 3) """ hogehoge = np.array([i*i for i in range(9)]).reshape(3,3) """ array([[ 0, 1, 4], [ 9, 16, 25], [36, 49, 64]]) (3, 3) """ hogehogehoge = F.hstack((hoge, hogehoge)) """ variable([[ 0 1 2 0 1 4] [ 3 4 5 9 16 25] [ 6 7 8 36 49 64]])
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く