こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins

長かったデータ分析ガチ勉強カレンダーも最終日*1。 自分のこれまで歩いてきた道を軽く振り返ったあと、自分が思う機械学習/データ分析のあり方について書き連ねたいと思う。あくまで一つの価値観として楽しんでもらえればと思います。 データ分析って何？状態から やったこと わからないところを聞くレベルに達するまで わからないところが分かるようになると アルゴリズムをどう理解したか。 自分が思う、これからのデータ分析 良いデータが集まるところに価値が生まれる 実務のデータ分析は高い精度よりも低コストと高い説明能力 データ分析はトップダウン あくまで人間の補助、人間とのシナジーを考える まとめ データ分析って何？状態から データ分析業務を行うにあたって、まずはじめの難関は、言葉の壁だった。ほぼコンピュータと無縁の世界で生きてきた私は、「Linuxって何？Vimって何？」っていうのを毎日繰り返していた。

データ分析ガチ勉強アドベントカレンダー 23日目。 ここまでデータをどういう風に処理したり、どういうタスクをこなしていくかについて勉強してきたが、 一度基礎的な事項に戻ってみたいと思う。基礎だから簡単というわけではない。基礎だからこそ難しく、また本質的な内容。 データ分析で使われている手法などをまとめて集約して、簡単な説明を付け加えていく。 しかし、このあたりの数学*1は苦手なので、なるべく直感的に自分のイメージを書いていく。 われわれが生きている空間や、距離は"正しい"のか ユークリッド空間/ユークリッド距離 点の距離 分布の距離 wasserstein計量 カーネル(再生核ヒルベルト空間) Topological Data Analysis(TDA) 次元削減/Embedding PCA(principal component analysis) t-SNE(t-Distributed

データ分析ガチ勉強アドベントカレンダー 14日目。 時系列データでまず思いつくのは、株価のチャートですよね。 また、最近はやっている仮想通貨。私も最近coincheckに入金しました。 ビットコイン取引所 "coincheck" やっぱ、実際にお金が絡むとちゃんと勉強しようって言う気になる！笑 せっかくチャートを見るわけだし、その見方について勉強しておこうと思いました。 そしてせっかくなので、自分で実装してどういう仕組みなのかまで知っておこうと思いました。 理系だからね、分からないものを使うのは嫌だからね。 というわけで、Python(主にPandasとMatplotlibを用いながら)でテクニカル指標についてやっていきます。扱うデータは三年分の日経平均株価。 指標について知りたい人も、自分で実装してみたいという人もどうぞ。 テクニカル分析とファンダメンタル分析 実装において ローソク足

データ分析ガチ勉強アドベントカレンダー一日目。 まずは指針をということで、データ分析をはじめるにあたって勉強しておきたいことと、そのリソースをまとめる。言語はPythonを想定。 興味領域が偏っている場合があるのであしからず こんなの面白いよっていうのあれば教えてくださいな ※随時更新します Pythonライブラリ 深いアレたち 機械学習のお勉強 論文 arXiv カンファ e-learning 本 twitter データを集める チートシート類 終わりに Pythonライブラリ こんなの勉強しておけば良さそうリスト。抜け漏れご容赦。 ★★★ : 必須。空で使えるようになりたいトコロ。 ★★　 : 周辺ツール、知っていればより便利になるよという感じ ★　　 : あるアルゴリズムに特化しているようなもの。一歩先 ライブラリ 必須度 用途 numpy ★★★ 数値計算用のライブラリ。いろいろし

ツイッタで書いたことを冷めないうちに言語化してみる 大学まで、世の中は0を1にする人か、1を100にする人に分かれると思っていたけど、社会人になってから 0を1にする人 1を99にする人 99を100にする人 100を100のままにする人 に分かれていると思い始めた。どれも同等に重要。尊い。— ほけきよ@はてなブログ2年目！ (@hokekiyoo) 2017年10月3日 大学生の私は、世の中のことを知らぬ糞ガキだったので、世の中は0から1にする人と1を100にする人になりたいと思ってたし、0を1にする人こそ至高とさえ思ってた。 スティーブ・ジョブズに憧れ、MacBookをスタバでカチャカチャするようないけ好かないガキだったのである。(それは今もそうかも...???) あの頃の私はパズドラにゴンはまりしていた。 「こんなゲーム思いつく人がスゴい！」「それをこんな使いやすく作った人がスゴい！

高校生のほけきよ少年にとって、得られる大学以上の物理や数学の情報はwebサイトだけでした。 物理や数学の専門書って高いんですよね。あと、大きな本屋じゃないと取り扱っていない。 今ではamazonでいろいろな書籍が手に入るようになりましたが、高いしどんな内容がかかれているかは分からないので、買うのもためらわれます。 そこで今日は 好奇心溢れる高校生 お金はない、単位が危ない、やる気に溢れた大学生 社会人になってから物理や数学を趣味で始めたい人 たちのために、無料で大学以上の内容を学べるサイト/サービスを紹介します！ 1. 物理のかぎしっぽ 2. EMANの物理学 3. MITの物理学講義(Youtube) 4. 現代数学観光ツアー 物理のための解析学探訪 5. 数学：物理を学び楽しむために 6. 高校数学の美しい物語 まとめ ※ここでいう数学は「物理学のための数学」の範疇を超えません。 1.

こんにちは、ほけきよです。 ここ数回に分けて書いた『面倒がすぎる内容をpythonにさせよう』シリーズの集大成。 ブログ最適化のために必要なものを『全て』『一気に』抜き出すプログラム、作りました！ この記事を読めば、下記の情報がゲットできます ※ 現在ははてなブログのみ対応となっています。WordPress用にも作成中なので、少々お待ちを。 *1 ・記事とURLとブックマークの情報 ・記事内画像を全て抜きとったもの ・自サイトの内部リンクがどうなっているかを可視化したもの ・リンク切れリスト ・はてなブックマークがどのような伸び方でついたかを可視化したもの 使い方(情報技術に明るい人) 使い方(一般向け) 環境構築 実行するコード コマンド一発！実行する 中身がどうなっているか 注意 出力結果 pythonを勉強したい方に まとめ 使い方(情報技術に明るい人) 情報技術に明るい人と、そうで

こんにちは！ほけきよです。 今日は自動化第三弾！！ SEO対策ってしてますか？ ブログの検索流入をあげるために、Googleには媚を売っていかなければいけないじゃないですか～。 そんなわけで、前回は表示スピード向上にむけた画像圧縮のために、全画像をぶっこ抜いてくる方法を紹介しました。 www.procrasist.com 今日は、SEO対策で大事だと言われる。内部リンクのネットワーク化についてです。 内部リンクのネットワーク化 SEO ブログ とかで調べるとわんさか出て来るわけですよ。内部リンクの密度、数、アンカーテキスト*1などが大事って。 なので、記事をほったらかしにするわけじゃなくて、過去記事にもリンクをはりながら、蜘蛛の巣のような構造にしていかなければいけないってわけです。 めんどい というわけで、最適化しようと思うじゃないですか～。 めんどい、めんどうがすぎる。 まず、どの記事に

こんにちは！ほけきよです。 ウェブブラウザ、みなさんは何を使っていますか？ IE, Opera, Firefox, そしてGoogle Chrome … いろいろなブラウザがありますね。 今回は、そんな中でも、まだ馴染みがない、 けれど超絶使いやすく、超絶便利なブラウザ、その名も 『VIVALDI』 を紹介します！！ VIVALDIとは インストールしてみる VIVALDIのここが凄い！！ まずはチュートリアルを見よう 煩雑なtabから開放！tabstack ブラウザ内でページ分割！tiling お気に入りにノートにパネル！多彩なブックマーク ノート webパネルの追加 自分色に染めろ！VIVALDIの本質は個人設定にあり。 クイックコマンドで大体何でもできる おわりに VIVALDIとは Vivaldiは自由で、思う存分カスタマイズができるWEBブラウザです。豊かでパワフル、安全性もあり