気象要素を計算するPythonモジュールを公開します - Qiita
pipインストールに抵抗がある方は、GitHubのwxparams/wxparams.pyだけダウンロードして使っていただいても良いです。 ライセンス MITライセンスとしています。 主な機能 風を扱う関数 風のUV成分 <=> 風向・風速の変換、8方位・16方位風向、cross windなど 大気中の水分量を扱う関数 相対湿度 <=> 露点温度の変換、飽和水蒸気圧、混合比など 大気の熱力学や安定度に係る関数 温位、相当温位、SSI、K-Indexなど 単位変換 m/s <=> **knot** の変換, **meter** <=> feet の変換など 使い方 コード例を先にご紹介します。 まずimportします。コード例にある省略名「wx」はweatherの略としてよく使われるものです。importしたら関数を呼び出します。上の例では、気温と相対湿度から露点温度を計算する場合を示してい
機械学習による株価予測 いろはの”ろ” - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 前回記事「機械学習による株価予測 いろはの"い"」の公開後、筆者の機械学習モデルの獲得利益はめでたく1億を突破することができた。運用モデルの概要については筆者のブログにて紹介したが、折角の機会なので技術的な内容についてここに続編を執筆する。今回の記事では、株価を予測するための特徴量についてその考え方をまとめる。 特徴量の種類 個別銘柄を説明するための代表的なデータとは、財務諸表とチャート（価格系列）である。一昔前は個人投資家がこれらのデータを揃えるのにかなりの苦労が必要だった（特に財務諸表が面倒であった）が、最近ではQiita
ABテストのための有意性検定 - Qiita
こんにちは、awakiaです。今回のアドベントカレンダー、結構、機械学習ガチなメンツが揃ったみたいなので、俺も対抗してやる！！とも思ったのですが、研究を離れて2年が経とうとしているので、真っ向勝負とか今更無理なことに気づきました...ｗ なので、開発者の皆も知っておくと便利なデータサイエンスの話をすることにします。 ABテストと検定の必要性 Webサービスを運営していると、見た目の問題だけでも結構悩みます。ボタンの色や文言などの小さなところから、トップページに盛り込む内容をどうするかまで、いろいろです。 今回、「ABテスト」と呼ぶものは、画面に占める大きさ等にかかわらず、パターンAとパターンBを作って、そのどちらがいいかを判断するための実験と定義することにします。 なお、ABテストの呼び名には結構流派があるので別の名前で聞いたことがあるかもしれません。例えば、Googleのマット・カッツ先
文章に関わる全ての人のための Git & GitHub 入門 1-2「コミットを積み上げる」 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この連載はこんな人に向けて書かれています。 小説作家さん 編集者さん 校正さん ライターさん 発注者さん 要するに、文章を扱う全ての人々です。 シリーズ記事一覧 1-1「Git と GitHub を使うメリット」 1-2「コミットを積み上げる」 1-3「コミットを理解して活用する」 1. 今回のゴール GitHub にプライベートリポジトリを作ってクローンする ローカルリポジトリにコミットを積み上げる プライベートリポジトリにローカルリポジトリの内容をプッシュする 以上です。ここまでできれば、あなたはとてもとてもスゴい。 どんどんローカ
GitHub実践ハンズオン - Qiita
皆さんこんにちは！ サーバサイドエンジニアのくろちゃんです。 今回はエンジニアとして必須スキルである、GitHubの使い方〜運用方法まで学べるハンズオンをお届けしたいと思います！ 【後日談】TechTrain - MISSIONになりました 多くの方に読んでいただいたおかげで、TechTrainのメンターミッションとして公開されることとなりました！ まさかユーザとして使わせてもらっていたサービスのメンターに抜擢いただけるとは思いもよらなかったので、本当に嬉しいです このハンズオンで詰まったところや、もっと詳しく聞きたいというポイントがありましたら、是非是非TechTrainで面談予約して下さいね！←30歳以下の方は無料で使えますよ 背景 先日TechTrainユーザが集まってTechTrainについてざっくばらんに語り合うというイベントに参加してきました。 Techtrainが大好きな人達
中学生でもこれだけで完全理解する機械学習 Part 1 - Qiita
今から使う文字の定義をしていきます。 m ・・・ケースの数です。上記のデータセットでは8 x ・・・土地の面積です。xi で、i番目の土地の面積を表します。x2 = 1416 y ・・・土地の価格です。yiで、i番目の土地の価格を表します。y4 = 178 h・・・仮説(hypothesis)を意味する略語です。 4-2 仮説の表現方法を決める 仮説hを表現する表現式を作ります。それがこちら。 hθ(x) = θ0 + θ1x ちなみにこれは、一見難しそうですが、中学生でやる一次関数の式、Y = B + AX と酷似しているのがわかるでしょうか。一次関数は、下のようなグラフですから b → θ0 a → θ1 となっているだけだとわかります。 そしてhθ(x)が、直線を示しています。 一番詰まりやすいところですから、ここだけは暗記して欲しいです。 5 コスト関数(目的関数) 5-1 そもそ
ゼロから作るDeep Learningで素人がつまずいたことメモ:5章 - Qiita
5章 誤差逆伝播法 この章は、ニューラルネットワークの学習において重みパラメーターの算出を高速化するための、誤差逆伝播法についての説明です。 ちなみにこの「伝播」（でんぱ）という言葉はPropagetionの訳なのですが、「伝搬」（でんぱん）と訳されることもあって日本語は混沌としています。この辺りを調べたブログの記事を見つけましたので、興味のある方は 歩いたら休め > 【機械学習】"Propagation"の訳は「伝播」or「伝搬」？ をどうぞ。 5.1 計算グラフ 計算グラフによる説明は、誤差逆伝播法を学ぶ上で非常に分かりやすいです。この本の人気の秘密は、この5章なのかも知れません。 ニューラルネットでは学習が必須で、そのためには重みパラメーターの勾配を求める必要があり、各パラメーターの微分の計算が必要になります。計算グラフを利用すると、その微分の計算が、後ろから前へ向かって局所的な微分
次元削減手法（まとめと実装）PCA, LSI(SVD), LDA, ICA, PLIS - Qiita
はじめに## この記事では次元削減法のまとめを載せてます。まとめ要素を強めたかったので詳細な数式等は載せていません。毎回の終わりにもっと詳しいことが書かれている参考文献等を載せているのでご自由に閲覧してください。また間違え等があった場合は下のコメント欄か編集リクエストで教えて頂けると有難いです。 目次## PCA (主成分分析) LSA(SDA) (潜在意味解析 (特異値分解)) LDA (線形判別分析) ICA (独立成分分析) PCA (主成分分析)## WHAT:### PCAとはWikipediaによると、「主成分分析（しゅせいぶんぶんせき、英: principal component analysis; PCA）とは、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法[1]。データの次元を削減するために用いられる。
SQLによるデータ分析のテクニック - Qiita
概要 前処理大全を読み、以下の理由から感銘を受けたものを記載する。 データ分析で、これに近いことを頼まれた(このような面倒くさい処理は、データ分析ではよくある) こんなふうにSQLを書けるんだ。めっちゃ楽やんと知った。 詳しくは前処理大全を読むことをおすすめします。 データなども「前処理大全」のgithubにあります。 前提 以下のSQLはPostgreSQLのものです。(最下部の日付の計算以外はほかでも動きそう) 内容 最も多い価格帯(最頻値)の取得 予約を格納したテーブルから、最も頻出する価格帯を取得する。 正確な価格ではなく、ROUND関数を使って千円の桁で四捨五入をしたものを対象にする。 SQL
Shapを用いた機械学習モデルの解釈説明 - Qiita
Shapとは Shap値は予測した値に対して、「それぞれの特徴変数がその予想にどのような影響を与えたか」を算出するものです。これにより、ある特徴変数の値の増減が与える影響を可視化することができます。以下にデフォルトで用意されているボストンの価格予測データセットを用いて、Pythonでの構築コードと可視化したグラフを紹介します。 Shapの概要図 モデルの構築 XGBoostを使用します。 import xgboost import shap X,y = shap.datasets.boston() X_display,y_display = shap.datasets.boston(display=True)
XGBoostのお気持ちをちょっとだけ理解するためのメモ - Qiita
現在、Kaggleにてよく使われる手法の一つにGBDT(Gradient Boosting Decision Tree)があります。さらにその種類の１つXGBoostはKagglerによりその効果を検証され非常に人気の高いアルゴリズム・実装です。このブログでは、XGBoostの論文からアルゴリズムを理解するための主要な部分、 TREE BOOSTING IN A NUTSHELL 2.1 Regularized Learning Objective 2.2 Gradient Tree Boosting を丁寧に解説することを目的に書いています。 また、ここで解説した理論、アルゴリズムについてはLightGBMにおいてもほぼ同じと思いますので、合わせて参考になるかと思います。 おことわり しかしながら、最初におことわりをさせていただくのですが、markdownやtexでキレイにまとめる余裕が
dplyr使いのためのpandas dfplyすごい編 - Qiita
はじめに dfplyすごい 以前からR, とりわけdplyrユーザーのpandas操作のために記事をまとめてきましたが、dplyr同様の操作は実現できていませんでした。**が、**ついにdfplyという素晴らしいライブラリを見つけましたので記事にまとめます。 関連シリーズ dplyr使いのためのpandas dfply データ加工編（tidyr） [dplyr使いのためのpandas dfplyでもJOIN編] (https://qiita.com/T_Shinomiya/items/cca75a0bd1b0b1663dbf) [dplyr使いのためのpandas dfply window関数編] (https://qiita.com/T_Shinomiya/items/327cc073e8079eabe242) 以前の記事はコチラ dplyr使いのためのpandas 基礎編 dplyr使
変化点分析：変化要因の可視化 - Qiita
ECサイトなどでデータ分析やっていると「売上が下がった原因を調べてくれ」とかよく言われる。 調べてみると確かに売上が減っている。 これを changepoint パッケージで変化点を検出してみる。 売上の変化点が3つ検出された。 これに対して、売上を男女別に分けてみる。 上が男性、下が女性。 1番目と3番目の変化は男性によるもの、2番目の変化は女性によるものである。 これを可視化したい。 changepointExt パッケージというものを作った。 # 男女別の売上を作成 ------------------------------------------------------------- set.seed(314) sales_male <- c(rnorm( 50, mean = 500, sd = 50), rnorm(100, mean = 400, sd = 50), rno
D3.jsの概要と使い所について - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 個人的に初めてD3.js（以下、D3と呼びます）を使う機会があったので、その時に得られたD3の大まかな概要やD3（もしくはSVG）の使い所を纏めておきたいと思います。特にD3を使った事がない人向けですが、ここではD3についてハンズオン的な事はしないのでご了承ください。 D3とは D3 (or D3.js) is a JavaScript library for visualizing data using web standards. D3 helps you bring data to life using SVG, Canvas a
NumpyとPandasだけでone-hotベクトルを作る - Qiita
1.きっかけ KaggleとかSIGNATEのcsv系のコンペで前処理をする際に文字で表されたカテゴリデータ(例えば、天気・メーカーなど)があって、このようなデータはone-hotベクトルに変換しないといけない。 scikit-learnのpreprocessingメソッド使っても上手くいかないこと多々ある。 それならNumpyとPandas使って自分でプログラム書いた方が楽なのではと思ったので、この記事を書くに至りました。 2.scikit-learn使った場合 import sklearn.preprocessing as sp import pandas as pd train = pd.read_csv(file_path) le = sp.LabelEncoder() le.fit(train.カラム名.unique()) train.カラム名 = le.fit_transfor
D3.jsの概要と使い所について - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 個人的に初めてD3.js（以下、D3と呼びます）を使う機会があったので、その時に得られたD3の大まかな概要やD3（もしくはSVG）の使い所を纏めておきたいと思います。特にD3を使った事がない人向けですが、ここではD3についてハンズオン的な事はしないのでご了承ください。 D3とは D3 (or D3.js) is a JavaScript library for visualizing data using web standards. D3 helps you bring data to life using SVG, Canvas a
d3.jsでスゴイっぽい図(force layout)を作ってみたら思ったより簡単だった件 - Qiita
スゴイっぽい図((force layout))って何 こんな感じの、なんかビヨーンとなってシャキシャキして動くやつ。 説明するより動くものを見てもらった方が早いかも。 作ったdemo やってみた感想 グワングワン動いて楽しい 動的な描画をするのは難しそうだと思ってたが、そうでもなかった。 d3.js自体も難しいものだと避けてきたが、たくさんの人が記事にあげてくれているからググればなんとかなる。 実際に何かに使うには、描画したいデータを必要なフォーマットに直すところがちょっと大変そう。 解説 0. 全ソース 一旦全ソースを貼ってみる。 コピペしていくつかの値をいじってみるだけでも楽しい。 <!DOCTYPE html> <html> <head> <title>d3test</title> <script src="http://d3js.org/d3.v3.min.js" charset=
D3.js ver.3向けのコードをver.4でも動かすよ - Qiita
目的 私は**D3.js(Data Driven Document：JavaScriptの情報可視化ライブラリ)**を導入する上で、バージョンの違いに苦しめられました。主に、D3のver.3(以下v3)からver.4(以下v4、2016/7月リリース)で大規模な変更があったためです。Webに掲載されているサンプルコードはv3で作られたものが多く、v4上ではその大半が動きません。 本記事の目的は、自分の備忘録および、同じくD3v4を新規導入する方々のために、v3からの変更点や、v3用に書かれたコードをv4用に再コーディングする場合のポイントを述べることです。 内容 重要な点は以下3点です。それぞれセクションを区切って説明します。 Scale selection.attr / selection.style selection.merge Scale Scaleは値の正規化（線形変換、対数変換
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pythonのアンダーバーこれなんやねん - Qiita
Python中級者への道しるべ - Qiita
