pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
Pythonでゼロから機械学習/データ分析を学ぶためのサイトマップ - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 24日目。 当サイトでも、Pythonを使ったデータ分析や機械学習について、勉強しながらそれをアウトプットとして出すと言うかたちで、何個も記事を書いてきました。 記事数で言えば50とかそのくらいあるような気がします。 カレンダーも完成しつつあるので、個々では当サイトの総まとめとして、機械学習やデータ分析に触れたいという人がゼロから始めて触れられるように、記事をまとめていきたいと思います。 何か面白いことを勉強したい学生、就職までの勉強に、急に機械学習を使わなければならない社会人方々は、読んで見てください。 0. 環境構築 0.1. Pythonの導入 (Anaconda) 0.2. エディタ (Pycharm/VSCode) 0.3. バージョン管理 (Git) 1. Pythonの使い方(基本ライブラリ) 1.1. 数値計算 : numpy 1.2
【Day-23】機械学習で使う"距離"や"空間"をまとめてみた - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 23日目。 ここまでデータをどういう風に処理したり、どういうタスクをこなしていくかについて勉強してきたが、 一度基礎的な事項に戻ってみたいと思う。基礎だから簡単というわけではない。基礎だからこそ難しく、また本質的な内容。 データ分析で使われている手法などをまとめて集約して、簡単な説明を付け加えていく。 しかし、このあたりの数学*1は苦手なので、なるべく直感的に自分のイメージを書いていく。 われわれが生きている空間や、距離は"正しい"のか ユークリッド空間/ユークリッド距離 点の距離 分布の距離 wasserstein計量 カーネル(再生核ヒルベルト空間) Topological Data Analysis(TDA) 次元削減/Embedding PCA(principal component analysis) t-SNE(t-Distributed
【Day-13】『Prophet入門』簡単に高精度を実現するFacebook謹製の時系列予測ライブラリ - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 13日目。 仮想通貨がはやり始めて、チャートを見るようになった人も多いのではないでしょうか？ チャートから予測をしたい という思いを持ちつつも、結構ハードルの高いのが時系列予測。 それをできるだけ簡単にできるツールがProphet。 自分の持っているドメイン知識を導入しながら、簡単に時系列データ予測を行うことができます。 prophetとは 資料 ビジネス予測のための課題 設計思想 Prophetでできないこと 根底のアルゴリズム インストール Prophet tutorial 型の変換 将来の予測 Components 特別なイベントなど help まとめ prophetとは 資料 公式記事 github わかりやすい資料(slideshare)*1 ビジネス予測のための課題 Completely automatic forecasting tec
【Day-12】時系列分析の良リソースまとめ&基礎チュートリアル - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 12日目。 今までは、時間に依存しないデータについて取り扱ってきました。 しかし、世の中のデータは時間に依存したデータも多いのが事実です。 時間に依存しないデータは、その分各データを独立に扱うことができますが、時系列データはそういうわけにはいきません。なので、なかなか難しいのです。 今日は時系列のさわりをまとめて、また、時系列予測のチュートリアルをしていきます。 参考にできるサイト メタ的な記事 pythonの実装も含めて ディープラーニング系 本 読みたい論文(積読) Toeplitz Inverse Covariance-Based Clustering of Multivariate Time Series Data WAVENET: A GENERATIVE MODEL FOR RAW AUDIO 基礎チュートリアル データの用意 定常性のチ
【Day-1】データ分析/機械学習を行うために知っておきたいことを列挙する - プロクラシスト
データ分析ガチ勉強アドベントカレンダー一日目。 まずは指針をということで、データ分析をはじめるにあたって勉強しておきたいことと、そのリソースをまとめる。言語はPythonを想定。 興味領域が偏っている場合があるのであしからず こんなの面白いよっていうのあれば教えてくださいな ※随時更新します Pythonライブラリ 深いアレたち 機械学習のお勉強 論文 arXiv カンファ e-learning 本 twitter データを集める チートシート類 終わりに Pythonライブラリ こんなの勉強しておけば良さそうリスト。抜け漏れご容赦。 ★★★ : 必須。空で使えるようになりたいトコロ。 ★★ : 周辺ツール、知っていればより便利になるよという感じ ★ : あるアルゴリズムに特化しているようなもの。一歩先 ライブラリ 必須度 用途 numpy ★★★ 数値計算用のライブラリ。いろいろし
記事生成自動化のススメ - プロクラシスト
こんにちは！ほけきよです。 自分できちんとした(？)文章を書くのは久しぶりです。 それまで何をしていたかというと自動記事生成のためのプログラム書いたり、泥臭いHTMLの調整したりしていました。 ある程度まとめて仕上げたくてね。それもだいぶ落ち着いてミニサイト風にすることができたと思います。 今回は、自動生成記事を作ってみての気づきをまとめておこうと思います。 サイトマップもよければみてね:amazonセール情報、おすすめ商品まとめ ウェブ上の自動販売機にしたかった テンプレート+自動情報収集のススメ 時間を割く箇所が変わる 見せられる情報にするまでの泥臭さ 自動情報収集により、UIに全振りできる Googleのスパム判定... 検索順位監視中 使った技術 まとめ ウェブ上の自動販売機にしたかった もともとのモチベーションは、新鮮で有益な情報を自動で集め、更新する記事をいくつか作ることでした
ipywidgetsとbokehで『jupyter』の更なる高みへ 【インタラクティブなグラフ描画】 - プロクラシスト
こんにちは、ほけきよです！ 以前の記事でも、pythonのモジュールであるjupyterについて、その素晴らしさを熱く語りました。 研究・プログラミングメモはもうこれで完璧。markdownもtexもpythonを一緒に使える jupyterが超便利!! - プロクラシスト jupyterのテーマカラーが超簡単にかっこよくなる『jupyterthemes』 - プロクラシスト 今回は、jupyterの使いやすさを知った皆さんを更なる高みへと導くためのTipsです。 インタラクティブなグラフ表示方法がほしい！ ipywidgets インストール方法 bokeh インストール方法 ipywidgets & bokeh コード デモ インタラクティブなグラフ表示方法がほしい！ jupyterのおかげで、pythonの実行がインタラクティブになり、 試行錯誤が飛躍的にしやすくなりました。 しかし、
研究・プログラミングメモはもうこれで完璧。markdownもtexもpythonを一緒に使える jupyterが超便利!! - プロクラシスト
こんばんは！ほけきよです。 今日はjupyterについて紹介します。 jupyter.org ここが便利 jupyter インストール start up(はじめの使い方) 使ってみた 起動 新しいnotebookを作る markdownとpythonプログラムを書いてみる 実行 まとめ ここが便利 jupyter ブラウザ上でpython*1を動かすことができる 対話式のため、いろいろと試行錯誤しながら実行が簡単 markdownやtexを途中に書けるので、メモができる プログラムの実行結果を書いたグラフやアニメーションも表示できる 最も便利だと思うのは markdown+tex+プログラム+出力結果(数値/グラフ/アニメーション)を一体化させられるところ。 これがあれば研究ノート本当にいらなくなるかも… インストール python環境が整っている人は、 $sudo pip install
jupyterのテーマカラーが超簡単にかっこよくなる『jupyterthemes』 - プロクラシスト
jupyterがどう便利なのかは、以前の記事に書きましたので、知らない方はどうぞ！ www.procrasist.com 一つ不満があるとしたら、背景色がクールじゃないことです。 別に背景色がクールだからといって進捗が無限に発生する！わけではないんですが、気持ちの問題です。 簡単にできないのかなぁと思って調べていたら、驚くほど簡単だったので、メモしておきます。 Jupyter theme 利用可能なテーマ テーマを変える テーマ見本 chesterish grade3 gruvboxd gruvboxl monokai oceans16 onedork solarizedd solarizedl まとめ Jupyter theme まず、テーマをpipでインストール pip install jupyterthemes コレで、背景色を変える準備が整いました。簡単！ 利用可能なテーマ jt
大学の数学/物理を無料で学べるおすすめサイト・サービス6選 - プロクラシスト
高校生のほけきよ少年にとって、得られる大学以上の物理や数学の情報はwebサイトだけでした。 物理や数学の専門書って高いんですよね。あと、大きな本屋じゃないと取り扱っていない。 今ではamazonでいろいろな書籍が手に入るようになりましたが、高いしどんな内容がかかれているかは分からないので、買うのもためらわれます。 そこで今日は 好奇心溢れる高校生 お金はない、単位が危ない、やる気に溢れた大学生 社会人になってから物理や数学を趣味で始めたい人 たちのために、無料で大学以上の内容を学べるサイト/サービスを紹介します！ 1. 物理のかぎしっぽ 2. EMANの物理学 3. MITの物理学講義(Youtube) 4. 現代数学観光ツアー 物理のための解析学探訪 5. 数学：物理を学び楽しむために 6. 高校数学の美しい物語 まとめ ※ここでいう数学は「物理学のための数学」の範疇を超えません。 1.
【コードで一発】ブログ最適化/SEO対策で面倒なことは全てPythonにやらせよう - プロクラシスト
こんにちは、ほけきよです。 ここ数回に分けて書いた『面倒がすぎる内容をpythonにさせよう』シリーズの集大成。 ブログ最適化のために必要なものを『全て』『一気に』抜き出すプログラム、作りました！ この記事を読めば、下記の情報がゲットできます ※ 現在ははてなブログのみ対応となっています。WordPress用にも作成中なので、少々お待ちを。 *1 ・記事とURLとブックマークの情報 ・記事内画像を全て抜きとったもの ・自サイトの内部リンクがどうなっているかを可視化したもの ・リンク切れリスト ・はてなブックマークがどのような伸び方でついたかを可視化したもの 使い方(情報技術に明るい人) 使い方(一般向け) 環境構築 実行するコード コマンド一発！実行する 中身がどうなっているか 注意 出力結果 pythonを勉強したい方に まとめ 使い方(情報技術に明るい人) 情報技術に明るい人と、そうで
SEO対策！自分のブログの内部リンクを自動で可視化する - プロクラシスト
こんにちは！ほけきよです。 今日は自動化第三弾！！ SEO対策ってしてますか？ ブログの検索流入をあげるために、Googleには媚を売っていかなければいけないじゃないですか～。 そんなわけで、前回は表示スピード向上にむけた画像圧縮のために、全画像をぶっこ抜いてくる方法を紹介しました。 www.procrasist.com 今日は、SEO対策で大事だと言われる。内部リンクのネットワーク化についてです。 内部リンクのネットワーク化 SEO ブログ とかで調べるとわんさか出て来るわけですよ。内部リンクの密度、数、アンカーテキスト*1などが大事って。 なので、記事をほったらかしにするわけじゃなくて、過去記事にもリンクをはりながら、蜘蛛の巣のような構造にしていかなければいけないってわけです。 めんどい というわけで、最適化しようと思うじゃないですか～。 めんどい、めんどうがすぎる。 まず、どの記事に
機械学習で使う指標総まとめ(教師あり学習編) - プロクラシスト
こんにちは、ほけきよです！ 機械学習の基本は教師あり学習です。 でも、実際の現場ではいろいろ指標が出てきて「?」 ってなるので、一回本気でまとめてみることにしてみました！ 教師あり学習の分類 二値分類 用語一覧表 図解 事例 事例1:果物の分類 事例2:ガンかどうかの検査 ROC曲線の意味合い 指標まとめ 多クラス分類 precision, recall, F-measure accuracy logarithm loss 出力が数値(回帰) 用語一覧 二乗誤差(MSE, RMSE)と絶対誤差(MAE)の使い分け AICとBIC, wAICの使い分け 時系列問題 参考になりそうなサイト 教師あり学習の分類 今回は正解はカテゴリか意味を持つ数字かで場合分けをしてみた。 全体の指標のサマリーはこんな感じ(だと思っている。) ※他にも大事な指標があるよ&これは間違っているのでは？？ というコメン
【強化学習】DQNを秒速で扱える『ChainerRL』使い方メモ - プロクラシスト
こんにちは、ほけきよです！ 強化学習って知ってますか？ 「AlphaGoが、碁の世界王者を破った」 などと最近脚光を浴びている機械学習技術ですね。 私のブログでも何回か関連記事を出しているのですが、 今回は、Chainerで強化学習を簡単に扱えるツール、「ChainerRL」を使ってみました！ なかなか便利だったので使い方を解説やまとめ、Tipsを加えながらメモしてみました。 (コードはjupyter準拠なので、上から順番にコピペすると基本は動くはずです) これから強化学習やってみたいという人は、これで強化学習がどんなものか試してみるのもいいかもしれません！ 強化学習って？ chainerrl Setup 必要なライブラリをimportする environmentの設定 environmentに必要な要件(最低限) 今回使うもの Agentの設定 ChainerRLでデフォで実装されている
ニュータイプのブラウザ『VIVALDI』が便利すぎ。Chromeから乗り換えも辞さない！ - プロクラシスト
こんにちは！ほけきよです。 ウェブブラウザ、みなさんは何を使っていますか？ IE, Opera, Firefox, そしてGoogle Chrome … いろいろなブラウザがありますね。 今回は、そんな中でも、まだ馴染みがない、 けれど超絶使いやすく、超絶便利なブラウザ、その名も 『VIVALDI』 を紹介します！！ VIVALDIとは インストールしてみる VIVALDIのここが凄い！！ まずはチュートリアルを見よう 煩雑なtabから開放！tabstack ブラウザ内でページ分割！tiling お気に入りにノートにパネル！多彩なブックマーク ノート webパネルの追加 自分色に染めろ！VIVALDIの本質は個人設定にあり。 クイックコマンドで大体何でもできる おわりに VIVALDIとは Vivaldiは自由で、思う存分カスタマイズができるWEBブラウザです。豊かでパワフル、安全性もあり
【ReLU, PReLU, シグモイド etc...】ニューラルネットでよく使う活性化関数の効果をKerasで調べてみた - プロクラシスト
こんにちは、ほけきよです！ Kerasは簡単に実験ができて便利ですね！今回は、Kerasを使って活性化関数が実際の精度に与える影響を調べてみます。 使用するデータ : MNIST 使用するライブラリ : Keras Kerasの動かし方とかわからない人はこの記事を参照！ www.procrasist.com 指標 training : データを学習する validation : 学習データの一部を抜き取って、各エポック毎にテストをする(過学習チェック) test : テストデータで精度をチェック(始めから分けておく) 基本的に学習時の精度の上がり方を見たいという時は、trainingとvalidationを見る(testは最後に試す用のものなので使えない) 今回は、training dataでの正解率(accuracy)とvalidation dataでの正解率について各epochごとにど
【Day-17】DeepLearning系ライブラリ、『Keras』の使い方まとめ(2.x対応版) - プロクラシスト
【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関数の働きだとか得るものは多かったのですが、Kerasと言うものを使ってみて、何て素晴らしいんだと感動してしまいました 今まで苦労して数十行書いていたものが、わずか3行で書ける！ 正直、スクラッチで書く意味って、理解にはいいけど研究や分析には必要あんまないんですよね。車輪の再発明になるし。 と言うわけで、使えるものはどんどん使っていこうスタンスで、今日はKerasの紹介です！ Tutorial+気になった引数を掘り下げて補足のような感じで書いています。 ちなみに、各部のコード以下をつなぎ合わせるとmnistの分類器が動くよ
アイディアの宝庫！！心くすぐる最新IoTグッズ6選 - プロクラシスト
こんにちは！ほけきよです。 歓送会や忘年会などイベントの多いシーズンになってきますね！ 私のところにも、会社の歓送会があり、贈る品を考えてほしいとのお達しが来ました。 私の会社はIT系なので、今流行りのIoT関係で面白そうなグッズがないかなと探していました。 すると、想像以上に自分がほしくなってくるほどの心揺さぶるものがたくさんあったので、紹介していきます、 コーヒー×IoT ここがすごい！ こんな人にオススメ！ シンプルな発想！だけど強力。遠隔ボタン押しボタン ここがすごい！ こんな人にオススメ！ 時計×IoTでライフログを管理 ここがすごい！ こんな人にオススメ！ 1人3役のワイヤレスイヤホン ここがすごい こんな人にオススメ! 電池×IoT ここがすごい こんな人におすすめ IoT×ミニ四駆 ここがすごい こんな人におすすめ まとめ コーヒー×IoT 豆を挽くのにもテクノロジーが使わ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
