データ分析ガチ勉強アドベントカレンダー 24日目。 当サイトでも、Pythonを使ったデータ分析や機械学習について、勉強しながらそれをアウトプットとして出すと言うかたちで、何個も記事を書いてきました。 記事数で言えば50とかそのくらいあるような気がします。 カレンダーも完成しつつあるので、個々では当サイトの総まとめとして、機械学習やデータ分析に触れたいという人がゼロから始めて触れられるように、記事をまとめていきたいと思います。 何か面白いことを勉強したい学生、就職までの勉強に、急に機械学習を使わなければならない社会人方々は、読んで見てください。 0. 環境構築 0.1. Pythonの導入 (Anaconda) 0.2. エディタ (Pycharm/VSCode) 0.3. バージョン管理 (Git) 1. Pythonの使い方(基本ライブラリ) 1.1. 数値計算 : numpy 1.2

こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins

こんにちは！ほけきよです。 皆さん、πを知っていますか？？あの3.14以降無限に続く円周率です。 昔、どこかのお偉いさんが「3.14って中途半端じゃね？ｗｗｗ3にしようぜ」 とかいって一時期円周率が3になりかけました。でもそれは円じゃなくて六角形だからだめです。全然ダメ。 それを受けて「あほか、円周率をちゃんと教えろ」 と主張したのが東大のこの問題*1 めっちゃ単純な問題。でも、東大受験生でさえ 「普段強制的に覚えさせられたπというやつ、どうやったら求められるの???」 と悩んだことでしょう。 また、普段生活してると 「π求めてぇ」 と悩むこともあるでしょう。今日はそんなみなさんに、様々なπの求め方をお教えします。これで、あらゆる状況で求められるようになりますよ！ 東大の問題へのアプローチ2つ 多角形で近似 tanの逆関数を使う 無限級数を覚えておく フーリエ級数を用いる ラマヌジャン式を

データ分析ガチ勉強アドベントカレンダー 23日目。 ここまでデータをどういう風に処理したり、どういうタスクをこなしていくかについて勉強してきたが、 一度基礎的な事項に戻ってみたいと思う。基礎だから簡単というわけではない。基礎だからこそ難しく、また本質的な内容。 データ分析で使われている手法などをまとめて集約して、簡単な説明を付け加えていく。 しかし、このあたりの数学*1は苦手なので、なるべく直感的に自分のイメージを書いていく。 われわれが生きている空間や、距離は"正しい"のか ユークリッド空間/ユークリッド距離 点の距離 分布の距離 wasserstein計量 カーネル(再生核ヒルベルト空間) Topological Data Analysis(TDA) 次元削減/Embedding PCA(principal component analysis) t-SNE(t-Distributed

データ分析ガチ勉強アドベントカレンダー 14日目。 時系列データでまず思いつくのは、株価のチャートですよね。 また、最近はやっている仮想通貨。私も最近coincheckに入金しました。 ビットコイン取引所 "coincheck" やっぱ、実際にお金が絡むとちゃんと勉強しようって言う気になる！笑 せっかくチャートを見るわけだし、その見方について勉強しておこうと思いました。 そしてせっかくなので、自分で実装してどういう仕組みなのかまで知っておこうと思いました。 理系だからね、分からないものを使うのは嫌だからね。 というわけで、Python(主にPandasとMatplotlibを用いながら)でテクニカル指標についてやっていきます。扱うデータは三年分の日経平均株価。 指標について知りたい人も、自分で実装してみたいという人もどうぞ。 テクニカル分析とファンダメンタル分析 実装において ローソク足

データ分析ガチ勉強アドベントカレンダー一日目。 まずは指針をということで、データ分析をはじめるにあたって勉強しておきたいことと、そのリソースをまとめる。言語はPythonを想定。 興味領域が偏っている場合があるのであしからず こんなの面白いよっていうのあれば教えてくださいな ※随時更新します Pythonライブラリ 深いアレたち 機械学習のお勉強 論文 arXiv カンファ e-learning 本 twitter データを集める チートシート類 終わりに Pythonライブラリ こんなの勉強しておけば良さそうリスト。抜け漏れご容赦。 ★★★ : 必須。空で使えるようになりたいトコロ。 ★★　 : 周辺ツール、知っていればより便利になるよという感じ ★　　 : あるアルゴリズムに特化しているようなもの。一歩先 ライブラリ 必須度 用途 numpy ★★★ 数値計算用のライブラリ。いろいろし

こんにちは！ほけきよです。 自分できちんとした(？)文章を書くのは久しぶりです。 それまで何をしていたかというと自動記事生成のためのプログラム書いたり、泥臭いHTMLの調整したりしていました。 ある程度まとめて仕上げたくてね。それもだいぶ落ち着いてミニサイト風にすることができたと思います。 今回は、自動生成記事を作ってみての気づきをまとめておこうと思います。 サイトマップもよければみてね:amazonセール情報、おすすめ商品まとめ ウェブ上の自動販売機にしたかった テンプレート+自動情報収集のススメ 時間を割く箇所が変わる 見せられる情報にするまでの泥臭さ 自動情報収集により、UIに全振りできる Googleのスパム判定... 検索順位監視中 使った技術 まとめ ウェブ上の自動販売機にしたかった もともとのモチベーションは、新鮮で有益な情報を自動で集め、更新する記事をいくつか作ることでした

【最終更新日時2018/03/01 23:50:00】 Kindleセール情報を毎日自動更新していきます！更新頻度は１日1回くらいの予定。 バーが緑色 : 無料 バーが青色 : 0~30%割引 バーが黄色 : 30~70%割引 バーが赤色 : 70%以上割引 ※注1 : kindle unlimitedは考慮外です。たまに無料のもあります。 ※注2 : たまに間違っているところもありますが、ご容赦ください。 月替セール IT/専門書フェア Kindleセレクト25 新着セール情報!! 【期間限定無料＆50%OFF以上】新しいスポーツの見方、教えます(3/8まで) 【30%～50%OFF】新年度・新学期！ライバルに差をつける「英語本」フェア(3/15まで） 【期間限定無料＆50%OFF以上】1話読んだらやめられないマンガ特集(3/15まで） 【20%OFF】「炎の蜃気楼」シリーズ完結記念キャ

こんにちは、ほけきよです。 前から何度か記事を上げているように、私、youtubeフリークです。 人気youtuberには3種類ある？！オススメyoutuber6選 - プロクラシスト 金を超える『ダイヤモンドの再生ボタン』を持つ世界のトップyoutuberたち - プロクラシスト 最近のyoutuberが鉄球を熱しすぎな件について - プロクラシスト 【ガブリエル】これから期待のオススメyoutuberを徹底紹介！ - プロクラシスト youtuberにも色んな種類いますが、今回はScience系ユーチューバーを紹介。 ただし、このチャンネル、見せ方もスキルセットも他のyoutuberと全然違う。スゴい。。。 チャンネル人工知能 それがこのチャンネル www.youtube.com 物理エンジンを使った実験 人工知能と言っていますが、メインは物理エンジンを使った実験。 物理エンジンってい

こんにちは！ほけきよです。 今日は自動化第三弾！！ SEO対策ってしてますか？ ブログの検索流入をあげるために、Googleには媚を売っていかなければいけないじゃないですか～。 そんなわけで、前回は表示スピード向上にむけた画像圧縮のために、全画像をぶっこ抜いてくる方法を紹介しました。 www.procrasist.com 今日は、SEO対策で大事だと言われる。内部リンクのネットワーク化についてです。 内部リンクのネットワーク化 SEO ブログ とかで調べるとわんさか出て来るわけですよ。内部リンクの密度、数、アンカーテキスト*1などが大事って。 なので、記事をほったらかしにするわけじゃなくて、過去記事にもリンクをはりながら、蜘蛛の巣のような構造にしていかなければいけないってわけです。 めんどい というわけで、最適化しようと思うじゃないですか～。 めんどい、めんどうがすぎる。 まず、どの記事に

こんにちは！ほけきよです。 ○○の求め方シリーズ第二弾！ 第一弾はコチラ もう円周率で悩まない！πの求め方10選 - プロクラシスト 私の大学の統計学のテストでは、関数電卓*1を持ち込むことが可能でした。 √やlogの計算が必須だからです。 しかし、ある友人は関数電卓をテスト当日に忘れたのです。 「お前ｗｗｗとかとかどうやって計算するの??ｗｗｗ」 と煽ったら、彼は 「そ、そんなんとかをテーラー展開すればええやんか！！」 と言い放ちました。天才。彼のひらめきに脱帽しました。*2 しかし、のためにテーラー展開をするのも、なんだか大層なものですね。 そこで今回は、の求め方を10個紹介します！！ TPOに適したの求め方を学びましょう！ 0. 語呂合わせ 紙を使う 1. 折り紙 2. プリンタ用紙 方程式の解として 3. 二分法 4. ニュートン法 反復的に求める 5. 開平法 6. 相加相乗平均

こんにちは、ほけきよです！ 私はそれほど実績がないので、ブログ論を語ることは出来ません。でも、データに語ってもらうことは出来ます。 良くある「ブログは継続が難しいし、大事だ」といいますね。 そりゃそうなんですが、どのくらい難しいのか、また、どのくらい大事なのか というのはあんまりわかんないですよね。 なので、今回は、はてなブログをぶっこ抜いて、軽く分析してみました！！ ブロガーの生存率はどのくらいか 継続は力なり？継続期間と読者数の相関 読者数のヒストグラム 継続期間と読者数 どうやって調べたのか ブログリストを作る 色々と必要なデータを取る 継続期間を抽出する 分析する まとめ ブロガーの生存率はどのくらいか 今回は結論からいきましょう！ 下のグラフは何ヶ月ブログが続いているかです。縦軸がブログ数、横軸が継続期間、綺麗な曲線を描き、だんだんと下がっていっているのがわかります。 また、次の

高校生のほけきよ少年にとって、得られる大学以上の物理や数学の情報はwebサイトだけでした。 物理や数学の専門書って高いんですよね。あと、大きな本屋じゃないと取り扱っていない。 今ではamazonでいろいろな書籍が手に入るようになりましたが、高いしどんな内容がかかれているかは分からないので、買うのもためらわれます。 そこで今日は 好奇心溢れる高校生 お金はない、単位が危ない、やる気に溢れた大学生 社会人になってから物理や数学を趣味で始めたい人 たちのために、無料で大学以上の内容を学べるサイト/サービスを紹介します！ 1. 物理のかぎしっぽ 2. EMANの物理学 3. MITの物理学講義(Youtube) 4. 現代数学観光ツアー 物理のための解析学探訪 5. 数学：物理を学び楽しむために 6. 高校数学の美しい物語 まとめ ※ここでいう数学は「物理学のための数学」の範疇を超えません。 1.

こんにちは、ほけきよです。 ここ数回に分けて書いた『面倒がすぎる内容をpythonにさせよう』シリーズの集大成。 ブログ最適化のために必要なものを『全て』『一気に』抜き出すプログラム、作りました！ この記事を読めば、下記の情報がゲットできます ※ 現在ははてなブログのみ対応となっています。WordPress用にも作成中なので、少々お待ちを。 *1 ・記事とURLとブックマークの情報 ・記事内画像を全て抜きとったもの ・自サイトの内部リンクがどうなっているかを可視化したもの ・リンク切れリスト ・はてなブックマークがどのような伸び方でついたかを可視化したもの 使い方(情報技術に明るい人) 使い方(一般向け) 環境構築 実行するコード コマンド一発！実行する 中身がどうなっているか 注意 出力結果 pythonを勉強したい方に まとめ 使い方(情報技術に明るい人) 情報技術に明るい人と、そうで

こんにちは、ほけきよです！ ある程度経験を積んだブロガーなら、Google Search Consoleを使っていることでしょう。 自分の記事にどういう単語を調べた結果辿り着いているかがわかるツールです*1 ブログも開設して時間が経つたびに、「検索流入」の重要性をひしひしと感じるようになります。 そんな時にSearch Consoleを使うと、リライトすべき記事が浮き上がってくる。というわけです。 私の記事も検索流入がちょっとずつ増えてきたので、 Search Consoleでの結果を分析することにしました。*2 Search Consoleで抜き出したデータ 1-10位 1-30位 1位-30位 (表示回数で分けたver.) これからの戦略を練る バズった記事はレッドオーシャン戦略 11-15位はブルーオーシャン戦略 まとめ Search Consoleで抜き出したデータ まず、はじめに

こんにちは、ほけきよです。 大学で物理*1を嗜んだ方ならわかるであろうEinsteinの縮約記号。 計算の上で色々省略できるしとにかく慣れれば色々便利な記法です！ 物理学者以外には馴染みがなく微妙かもしれませんが、「便利そうだな〜〜」と思って使ってみたり試してみたりしたので、メモとしてまとめておきます。誰かの参考になれば幸いです。 einsum 縮約記法とは 例 文法 行列(単体) 行列演算その① ベクトル演算その② レビチビタ記号とその応用(行列式、逆行列、外積) 外積(Cross Product) 行列式(Determinant) 逆行列 高階/高次への拡張 性能比較 内積計算 コード*5 行列演算1 : 要素が1のN×N行列の積 行列演算2 : 要素が1のN×Nの行列の(AB)C(3つの積) 外積 : (1,1,1)×(1,1,1) 行列式 : np.arange(9).reshap

こんにちは、ほけきよです！ 運営報告の時間です。 キリのいい所で運営報告をしようと思っていたのですが、 先月のPVが初めての減少(激減)だったので、今月まで待たねばなりませんでした。 私がキリのいいと思い目標にしていた数値は50000PVです。 今月は超えることが出来ました！やったね！ というわけで、運営報告を(先月分も兼ねて)していきたいと思います。 2月 3月 4月 差分(3⇨4) PV 40365 22885 61643 約3倍 PV(検索流入) 7525 14483 28028 約2倍 読者 180 199 217 +18人 twitter 280 300 367 +67人 収益(単位:諭吉) 0.9 0.7 2.8 +2.1 数値的には上出来で満足の行く4月となりましたー！ 【検索流入】3月が一見ヤバそうだが… これを見ると、「あれ？3月のPV下がり過ぎでは？」 と思うかもしれま

こんにちは、ほけきよです。 プロクラシストも、初めて5ヶ月が経ちました！ 運営報告します。運営報告好きなんです。 唯一自分を100%出せる場なので。他の記事と違って、誰に何かをわかってもらおうなんて思いません。 ただただ自己満として書く。そんな運営報告、行きましょー！！ さらっと報告 1月 2月 上げ幅 PV 29202 40365 約+1万PV 読者 150 181 +31人 twitter 220 280 +60人 収益 樋口×1 諭吉0.9人 約1.8倍 目標の5万PVには届きませんでした。。。 更新頻度が少なかったかなぁ。でも結果に満足です！ 4万人も見ていただけるなんて、感謝感激です！！ バズ型ブログ？ 先月に引き続いて、今月もバズった記事が2つと、ギリギリホッテントリ*1に達した記事が1つです。 初心者ながら、自分のジャンルでどう記事をかけばバズりやすいのか、わかってきた気がし

こんにちは！ほけきよです。 ウェブブラウザ、みなさんは何を使っていますか？ IE, Opera, Firefox, そしてGoogle Chrome … いろいろなブラウザがありますね。 今回は、そんな中でも、まだ馴染みがない、 けれど超絶使いやすく、超絶便利なブラウザ、その名も 『VIVALDI』 を紹介します！！ VIVALDIとは インストールしてみる VIVALDIのここが凄い！！ まずはチュートリアルを見よう 煩雑なtabから開放！tabstack ブラウザ内でページ分割！tiling お気に入りにノートにパネル！多彩なブックマーク ノート webパネルの追加 自分色に染めろ！VIVALDIの本質は個人設定にあり。 クイックコマンドで大体何でもできる おわりに VIVALDIとは Vivaldiは自由で、思う存分カスタマイズができるWEBブラウザです。豊かでパワフル、安全性もあり

【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関数の働きだとか得るものは多かったのですが、Kerasと言うものを使ってみて、何て素晴らしいんだと感動してしまいました 今まで苦労して数十行書いていたものが、わずか3行で書ける！ 正直、スクラッチで書く意味って、理解にはいいけど研究や分析には必要あんまないんですよね。車輪の再発明になるし。 と言うわけで、使えるものはどんどん使っていこうスタンスで、今日はKerasの紹介です！ Tutorial+気になった引数を掘り下げて補足のような感じで書いています。 ちなみに、各部のコード以下をつなぎ合わせるとmnistの分類器が動くよ