気象要素を計算するPythonモジュールを公開します - Qiita
はじめに 気象関係の要素を計算する関数、例えば気温と相対湿度から露点温度を求める関数などを集めたPythonモジュール wxparams を作ったので、公開します。 （Weather Parametersの略） Pythonを始める前はPerlで気象データを処理するスクリプトをよく書いていて、やはり気象関係でよく使う関数をPerlモジュールにまとめていました。コロナ禍の影響で家で過ごす時間が増えたので(笑)、この機にPythonに書き換えようと思ったのがきっかけです。 どうせ作るなら公開してしまおうということで、ソースコードはGitHub、コード例などの使い方はnote、マニュアルとして関数の説明などはこの記事にまとめました。 Ver1.0 : 2020/04/24 Ver1.1 : 2020/05/27 気温の単位：摂氏 <=> 華氏の変換を追加 Ver1.2 : 2020/10/03
pythonのアンダーバーこれなんやねん - Qiita
ってなんでアンダーバーいるねん。みたいな。 今回はそういうお話です。 今回も悩んで調べてる間に神記事見つけたのでそれをもとに肉付けしたり噛み砕いたりしてまとめようと思います。 悩み解決してくれた神記事はこちら 「Pythonic色々」 Pythonのアンダースコア( _ )を使いこなそう! return値を無視するための _ まさに最初に例に挙げたこれがそれにあたります。これがそれ．．． これは.shapeの三番目のreturn値を無視するよーのアンダーバー 引用元が過不足説明してくださっているので引用 曰く Pythonはライブラリが沢山あって、関数をインポートして使う事が多いです。そういう時、もし関数からのreturn値が複数あって使わない部分があったらアンダースコアを使ってreturn値のメモリの占用をしないまま廃棄ができます これで無駄なメモリを使わずにプログラムが組めるというわけ
機械学習による株価予測 いろはの”ろ” - Qiita
はじめに 前回記事「機械学習による株価予測 いろはの"い"」の公開後、筆者の機械学習モデルの獲得利益はめでたく1億を突破することができた。運用モデルの概要については筆者のブログにて紹介したが、折角の機会なので技術的な内容についてここに続編を執筆する。今回の記事では、株価を予測するための特徴量についてその考え方をまとめる。 特徴量の種類 個別銘柄を説明するための代表的なデータとは、財務諸表とチャート（価格系列）である。一昔前は個人投資家がこれらのデータを揃えるのにかなりの苦労が必要だった（特に財務諸表が面倒であった）が、最近ではQiitaでXBRL用のライブラリが紹介されていたり、バフェットコードでAPI（有料）が提供されていたりと、随分と手間要らずになってきたように思う。 個別銘柄を説明するための材料についてさらに進んだ話をすると、IRを自然言語処理に掛けてセンチメントを抽出したり、経営陣
ABテストのための有意性検定 - Qiita
こんにちは、awakiaです。今回のアドベントカレンダー、結構、機械学習ガチなメンツが揃ったみたいなので、俺も対抗してやる！！とも思ったのですが、研究を離れて2年が経とうとしているので、真っ向勝負とか今更無理なことに気づきました...ｗ なので、開発者の皆も知っておくと便利なデータサイエンスの話をすることにします。 ABテストと検定の必要性 Webサービスを運営していると、見た目の問題だけでも結構悩みます。ボタンの色や文言などの小さなところから、トップページに盛り込む内容をどうするかまで、いろいろです。 今回、「ABテスト」と呼ぶものは、画面に占める大きさ等にかかわらず、パターンAとパターンBを作って、そのどちらがいいかを判断するための実験と定義することにします。 なお、ABテストの呼び名には結構流派があるので別の名前で聞いたことがあるかもしれません。例えば、Googleのマット・カッツ先
文章に関わる全ての人のための Git & GitHub 入門 1-2「コミットを積み上げる」 - Qiita
この連載はこんな人に向けて書かれています。 小説作家さん 編集者さん 校正さん ライターさん 発注者さん 要するに、文章を扱う全ての人々です。 シリーズ記事一覧 1-1「Git と GitHub を使うメリット」 1-2「コミットを積み上げる」 1-3「コミットを理解して活用する」 1. 今回のゴール GitHub にプライベートリポジトリを作ってクローンする ローカルリポジトリにコミットを積み上げる プライベートリポジトリにローカルリポジトリの内容をプッシュする 以上です。ここまでできれば、あなたはとてもとてもスゴい。 どんどんローカルリポジトリにコミットしていきましょう。 あのときに戻りたくなったらいつでも戻れるようにしましょう。 プライベートリポジトリにプッシュしておけば PC が爆発しても大丈夫。 卒論とか修論とかを書いているそこのあなた、いまからでも遅くないですよ。 いやマジでマ
GitHub実践ハンズオン - Qiita
皆さんこんにちは！ サーバサイドエンジニアのくろちゃんです。 今回はエンジニアとして必須スキルである、GitHubの使い方〜運用方法まで学べるハンズオンをお届けしたいと思います！ 【後日談】TechTrain - MISSIONになりました 多くの方に読んでいただいたおかげで、TechTrainのメンターミッションとして公開されることとなりました！ まさかユーザとして使わせてもらっていたサービスのメンターに抜擢いただけるとは思いもよらなかったので、本当に嬉しいです このハンズオンで詰まったところや、もっと詳しく聞きたいというポイントがありましたら、是非是非TechTrainで面談予約して下さいね！←30歳以下の方は無料で使えますよ 背景 先日TechTrainユーザが集まってTechTrainについてざっくばらんに語り合うというイベントに参加してきました。 Techtrainが大好きな人達
中学生でもこれだけで完全理解する機械学習 Part 1 - Qiita
今から使う文字の定義をしていきます。 m ・・・ケースの数です。上記のデータセットでは8 x ・・・土地の面積です。xi で、i番目の土地の面積を表します。x2 = 1416 y ・・・土地の価格です。yiで、i番目の土地の価格を表します。y4 = 178 h・・・仮説(hypothesis)を意味する略語です。 4-2 仮説の表現方法を決める 仮説hを表現する表現式を作ります。それがこちら。 hθ(x) = θ0 + θ1x ちなみにこれは、一見難しそうですが、中学生でやる一次関数の式、Y = B + AX と酷似しているのがわかるでしょうか。一次関数は、下のようなグラフですから b → θ0 a → θ1 となっているだけだとわかります。 そしてhθ(x)が、直線を示しています。 一番詰まりやすいところですから、ここだけは暗記して欲しいです。 5 コスト関数(目的関数) 5-1 そもそ
ゼロから作るDeep Learningで素人がつまずいたことメモ:5章 - Qiita
はじめに ふと思い立って勉強を始めた「ゼロから作るDeep LearningーーPythonで学ぶディープラーニングの理論と実装」の5章で私がつまずいたことのメモです。 実行環境はmacOS Mojave + Anaconda 2019.10、Pythonのバージョンは3.7.4です。詳細はこのメモの1章をご参照ください。 （このメモの他の章へ：1章 / 2章 / 3章 / 4章 / 5章 / 6章 / 7章 / 8章 / まとめ） 5章 誤差逆伝播法 この章は、ニューラルネットワークの学習において重みパラメーターの算出を高速化するための、誤差逆伝播法についての説明です。 ちなみにこの「伝播」（でんぱ）という言葉はPropagetionの訳なのですが、「伝搬」（でんぱん）と訳されることもあって日本語は混沌としています。この辺りを調べたブログの記事を見つけましたので、興味のある方は 歩いたら
次元削減手法（まとめと実装）PCA, LSI(SVD), LDA, ICA, PLIS - Qiita
はじめに この記事では次元削減法のまとめを載せてます。まとめ要素を強めたかったので詳細な数式等は載せていません。毎回の終わりにもっと詳しいことが書かれている参考文献等を載せているのでご自由に閲覧してください。また間違え等があった場合は下のコメント欄か編集リクエストで教えて頂けると有難いです。 目次 PCA (主成分分析) LSA(SDA) (潜在意味解析 (特異値分解)) LDA (線形判別分析) ICA (独立成分分析) PCA (主成分分析) WHAT: PCAとはWikipediaによると、「主成分分析（しゅせいぶんぶんせき、英: principal component analysis; PCA）とは、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法[1]。データの次元を削減するために用いられる。主成分を与える変換
SQLによるデータ分析のテクニック - Qiita
概要 前処理大全を読み、以下の理由から感銘を受けたものを記載する。 データ分析で、これに近いことを頼まれた(このような面倒くさい処理は、データ分析ではよくある) こんなふうにSQLを書けるんだ。めっちゃ楽やんと知った。 詳しくは前処理大全を読むことをおすすめします。 データなども「前処理大全」のgithubにあります。 前提 以下のSQLはPostgreSQLのものです。(最下部の日付の計算以外はほかでも動きそう) 内容 最も多い価格帯(最頻値)の取得 予約を格納したテーブルから、最も頻出する価格帯を取得する。 正確な価格ではなく、ROUND関数を使って千円の桁で四捨五入をしたものを対象にする。 SQL
Shapを用いた機械学習モデルの解釈説明 - Qiita
Shapとは Shap値は予測した値に対して、「それぞれの特徴変数がその予想にどのような影響を与えたか」を算出するものです。これにより、ある特徴変数の値の増減が与える影響を可視化することができます。以下にデフォルトで用意されているボストンの価格予測データセットを用いて、Pythonでの構築コードと可視化したグラフを紹介します。 Shapの概要図 モデルの構築 XGBoostを使用します。 import xgboost import shap X,y = shap.datasets.boston() X_display,y_display = shap.datasets.boston(display=True)
XGBoostのお気持ちをちょっとだけ理解するためのメモ - Qiita
現在、Kaggleにてよく使われる手法の一つにGBDT(Gradient Boosting Decision Tree)があります。さらにその種類の１つXGBoostはKagglerによりその効果を検証され非常に人気の高いアルゴリズム・実装です。このブログでは、XGBoostの論文からアルゴリズムを理解するための主要な部分、 TREE BOOSTING IN A NUTSHELL 2.1 Regularized Learning Objective 2.2 Gradient Tree Boosting を丁寧に解説することを目的に書いています。 また、ここで解説した理論、アルゴリズムについてはLightGBMにおいてもほぼ同じと思いますので、合わせて参考になるかと思います。 おことわり しかしながら、最初におことわりをさせていただくのですが、markdownやtexでキレイにまとめる余裕が
変化点分析：変化要因の可視化 - Qiita
ECサイトなどでデータ分析やっていると「売上が下がった原因を調べてくれ」とかよく言われる。 調べてみると確かに売上が減っている。 これを changepoint パッケージで変化点を検出してみる。 売上の変化点が3つ検出された。 これに対して、売上を男女別に分けてみる。 上が男性、下が女性。 1番目と3番目の変化は男性によるもの、2番目の変化は女性によるものである。 これを可視化したい。 changepointExt パッケージというものを作った。 # 男女別の売上を作成 ------------------------------------------------------------- set.seed(314) sales_male <- c(rnorm( 50, mean = 500, sd = 50), rnorm(100, mean = 400, sd = 50), rno
D3.jsの概要と使い所について - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 個人的に初めてD3.js（以下、D3と呼びます）を使う機会があったので、その時に得られたD3の大まかな概要やD3（もしくはSVG）の使い所を纏めておきたいと思います。特にD3を使った事がない人向けですが、ここではD3についてハンズオン的な事はしないのでご了承ください。 D3とは D3 (or D3.js) is a JavaScript library for visualizing data using web standards. D3 helps you bring data to life using SVG, Canvas a
NumpyとPandasだけでone-hotベクトルを作る - Qiita
1.きっかけ KaggleとかSIGNATEのcsv系のコンペで前処理をする際に文字で表されたカテゴリデータ(例えば、天気・メーカーなど)があって、このようなデータはone-hotベクトルに変換しないといけない。 scikit-learnのpreprocessingメソッド使っても上手くいかないこと多々ある。 それならNumpyとPandas使って自分でプログラム書いた方が楽なのではと思ったので、この記事を書くに至りました。 2.scikit-learn使った場合 import sklearn.preprocessing as sp import pandas as pd train = pd.read_csv(file_path) le = sp.LabelEncoder() le.fit(train.カラム名.unique()) train.カラム名 = le.fit_transfor
D3.jsの概要と使い所について - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 個人的に初めてD3.js（以下、D3と呼びます）を使う機会があったので、その時に得られたD3の大まかな概要やD3（もしくはSVG）の使い所を纏めておきたいと思います。特にD3を使った事がない人向けですが、ここではD3についてハンズオン的な事はしないのでご了承ください。 D3とは D3 (or D3.js) is a JavaScript library for visualizing data using web standards. D3 helps you bring data to life using SVG, Canvas a
d3.jsでスゴイっぽい図(force layout)を作ってみたら思ったより簡単だった件 - Qiita
スゴイっぽい図((force layout))って何 こんな感じの、なんかビヨーンとなってシャキシャキして動くやつ。 説明するより動くものを見てもらった方が早いかも。 作ったdemo やってみた感想 グワングワン動いて楽しい 動的な描画をするのは難しそうだと思ってたが、そうでもなかった。 d3.js自体も難しいものだと避けてきたが、たくさんの人が記事にあげてくれているからググればなんとかなる。 実際に何かに使うには、描画したいデータを必要なフォーマットに直すところがちょっと大変そう。 解説 0. 全ソース 一旦全ソースを貼ってみる。 コピペしていくつかの値をいじってみるだけでも楽しい。 <!DOCTYPE html> <html> <head> <title>d3test</title> <script src="http://d3js.org/d3.v3.min.js" charset=
D3.js ver.3向けのコードをver.4でも動かすよ - Qiita
目的 私はD3.js(Data Driven Document：JavaScriptの情報可視化ライブラリ)を導入する上で、バージョンの違いに苦しめられました。主に、D3のver.3(以下v3)からver.4(以下v4、2016/7月リリース)で大規模な変更があったためです。Webに掲載されているサンプルコードはv3で作られたものが多く、v4上ではその大半が動きません。 本記事の目的は、自分の備忘録および、同じくD3v4を新規導入する方々のために、v3からの変更点や、v3用に書かれたコードをv4用に再コーディングする場合のポイントを述べることです。 内容 重要な点は以下3点です。それぞれセクションを区切って説明します。 1. Scale 2. selection.attr / selection.style 3. selection.merge Scale Scaleは値の正規化（線形変換
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python中級者への道しるべ - Qiita
dplyr使いのためのpandas dfplyすごい編 - Qiita
