こんにちは、ほけきよです。 IoTって知っていますか？最近幅広く認知されてきている言葉のように思います。 ざっくり言えば、"いろんなモノをインターネットにつなげて、いろんなことやろうぜ！"って話です。 Day1. 最近流行りの「IoT」ってなに？どう使うの？ 日常用途でも、ビジネスでも流行っていますね。 そんなIoTで最近メキメキと知名度を上げているのがSORACOM。 SORACOM何？って人は以前記事に書いているので読んでもらえると嬉しいです。 Day14. SORACOMのすごさと、私がSORACOMを好きな理由 最近では契約数が100万回線を超えたらしく、まさに絶好調の企業です！ さて、そんなSORACOMが年次で開いている大規模イベント、Discoveryが今年も開かれました。 新サービス発表から実際のビジネス活用まで、驚きと感動がたくさんあってお腹いっぱいです。 Twitter

こんにちは、ほけきよです。 皆さん、「働く言葉たち」を知っていますか？最近流行っていますよね。 www.hatakoto.jp その意図するところはいまいちわかりませんが、これだけ広く認知されているということで、マーケティング的には成功なのでしょうか。正直よくわかりません。 いつでも味わいたい！ つくりかた 用意するもの slack bot slackbotの設定 呼びかけた後の反応を書く まとめ いつでも味わいたい！ しかし、このページを見ていると ほぉん、なるほど！ と思ったり ほぉん、なるほど... と思ったり、一文一文が味わい深いわけです。 こんな言葉を、働いているときにいつでも味わいたい！ そう思い、働く言葉たちを返してくれるbotを作って、社内のslackにぶち込んでおきました。 Good bye 令和、Come back昭和。 会社のdevチームのスラックでは、helloと挨

こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins

長かったデータ分析ガチ勉強カレンダーも最終日*1。 自分のこれまで歩いてきた道を軽く振り返ったあと、自分が思う機械学習/データ分析のあり方について書き連ねたいと思う。あくまで一つの価値観として楽しんでもらえればと思います。 データ分析って何？状態から やったこと わからないところを聞くレベルに達するまで わからないところが分かるようになると アルゴリズムをどう理解したか。 自分が思う、これからのデータ分析 良いデータが集まるところに価値が生まれる 実務のデータ分析は高い精度よりも低コストと高い説明能力 データ分析はトップダウン あくまで人間の補助、人間とのシナジーを考える まとめ データ分析って何？状態から データ分析業務を行うにあたって、まずはじめの難関は、言葉の壁だった。ほぼコンピュータと無縁の世界で生きてきた私は、「Linuxって何？Vimって何？」っていうのを毎日繰り返していた。

データ分析ガチ勉強アドベントカレンダー 24日目。 当サイトでも、Pythonを使ったデータ分析や機械学習について、勉強しながらそれをアウトプットとして出すと言うかたちで、何個も記事を書いてきました。 記事数で言えば50とかそのくらいあるような気がします。 カレンダーも完成しつつあるので、個々では当サイトの総まとめとして、機械学習やデータ分析に触れたいという人がゼロから始めて触れられるように、記事をまとめていきたいと思います。 何か面白いことを勉強したい学生、就職までの勉強に、急に機械学習を使わなければならない社会人方々は、読んで見てください。 0. 環境構築 0.1. Pythonの導入 (Anaconda) 0.2. エディタ (Pycharm/VSCode) 0.3. バージョン管理 (Git) 1. Pythonの使い方(基本ライブラリ) 1.1. 数値計算 : numpy 1.2

データ分析ガチ勉強アドベントカレンダー 23日目。 ここまでデータをどういう風に処理したり、どういうタスクをこなしていくかについて勉強してきたが、 一度基礎的な事項に戻ってみたいと思う。基礎だから簡単というわけではない。基礎だからこそ難しく、また本質的な内容。 データ分析で使われている手法などをまとめて集約して、簡単な説明を付け加えていく。 しかし、このあたりの数学*1は苦手なので、なるべく直感的に自分のイメージを書いていく。 われわれが生きている空間や、距離は"正しい"のか ユークリッド空間/ユークリッド距離 点の距離 分布の距離 wasserstein計量 カーネル(再生核ヒルベルト空間) Topological Data Analysis(TDA) 次元削減/Embedding PCA(principal component analysis) t-SNE(t-Distributed

データ分析ガチ勉強アドベントカレンダー 15日目。 最強のゴールデンクロス、それは最も儲かるように移動平均線を引いたときの交点 である。 一説には、テクニカル分析は、チャートにすべての情報が詰まっているという前提があるそうですね。 ということは、データから最適な移動平均を求められるのでは？ というわけで、今回はベイズ最適化の勉強もかねて、最適な移動平均のwindow幅をデータから出してみようと思います。 ※始めに実験を載せてます。理論が気になる方は理論のところから見ると良いでしょう。 [:contents] ゴールデンクロス/デッドクロスとは？ 昨日の記事をちょっとだけ復習。 www.procrasist.com ゴールデンクロス : 株価が下落した後に短期の移動平均線が、長期の移動平均線を下から上に抜ける現象。買いのサイン デッドクロス : 株価が上昇した後に短期の移動平均線が、長期の移

長かったデータ分析ガチ勉強カレンダーも最終日*1。 自分のこれまで歩いてきた道を軽く振り返ったあと、自分が思う機械学習/データ分析のあり方について書き連ねたいと思う。あくまで一つの価値観として楽しんでもらえればと思います。 データ分析って何？状…

データ分析ガチ勉強アドベントカレンダー 14日目。 時系列データでまず思いつくのは、株価のチャートですよね。 また、最近はやっている仮想通貨。私も最近coincheckに入金しました。 ビットコイン取引所 "coincheck" やっぱ、実際にお金が絡むとちゃんと勉強しようって言う気になる！笑 せっかくチャートを見るわけだし、その見方について勉強しておこうと思いました。 そしてせっかくなので、自分で実装してどういう仕組みなのかまで知っておこうと思いました。 理系だからね、分からないものを使うのは嫌だからね。 というわけで、Python(主にPandasとMatplotlibを用いながら)でテクニカル指標についてやっていきます。扱うデータは三年分の日経平均株価。 指標について知りたい人も、自分で実装してみたいという人もどうぞ。 テクニカル分析とファンダメンタル分析 実装において ローソク足

データ分析ガチ勉強アドベントカレンダー 12日目。 今までは、時間に依存しないデータについて取り扱ってきました。 しかし、世の中のデータは時間に依存したデータも多いのが事実です。 時間に依存しないデータは、その分各データを独立に扱うことができますが、時系列データはそういうわけにはいきません。なので、なかなか難しいのです。 今日は時系列のさわりをまとめて、また、時系列予測のチュートリアルをしていきます。 参考にできるサイト メタ的な記事 pythonの実装も含めて ディープラーニング系 本 読みたい論文(積読) Toeplitz Inverse Covariance-Based Clustering of Multivariate Time Series Data WAVENET: A GENERATIVE MODEL FOR RAW AUDIO 基礎チュートリアル データの用意 定常性のチ

データ分析ガチ勉強アドベントカレンダー 10日目。 データを集め、前処理を行い、学習をする。 どういう学習器が良いのかの評価基準 の勉強までできた。でも、データがあって、評価基準がわかっていても、どうやって評価すればいいかについてはまだあまり触れていない。 もうちょっと具体的に言うと、データと学習器があって、どういう風に教師データとテストデータを分ければいいのか。この方法について、実はまだ何も言っていない。 そこで登場するのが、sklearn.model_selection いよいよ最後の仕上げ。良い学習器、良いパラメータの探り方について学ぶ Validationとは skleanのCross Validation cross_val_score pipline cross_validate 関数 Validation iterators パラメータを調整する パラメータ 実装 結果を見る

データ分析ガチ勉強アドベントカレンダー 8日目。 Day-7の記事で、データを取り扱えるようになりました。 しかし、データがいつもきれいで美しいものだとは限りません。なかには絶望的なデータもたくさんあります。 機械学習等の学習器に投げ入れるには、もうひと工夫いることのほうが多いです。 pandasとsklearnで、できる工夫、前処理についてまとめて行きます 前処理とは 絶望的なデータの入手 データを統一的な型(数値等)に変換(df.apply) NaNの除去 df.dropna() df.fillna() df.interpolate() その他 スケーリング StandardScaler MinMaxScaler その他 まとめ 前処理とは 学習の流れを簡単な図にまとめてみる。 データ分析の労力の7~8割は、↑図の赤の部分、前処理といわれている。 適当に学習器に投げ入れたデータよりも、

データ分析ガチ勉強アドベントカレンダー2日目。 数式を扱うことが多くなるので、numpyの復習をしたいと思う。使ったのは100 numpy exercise github.com numpyを用いるさまざまな問題が用意されていて、大変勉強になる。 今回は自分の実力を試すために、自分で解きつつ、よく使ったもの/新しく学んだことを列挙していく。 また、問題の和訳と難易度も掲載しているので、自分の実力を試したい人はどうぞ。 自分が書いたコードともこちらに載せた github.com 2日目は、初級・中級を掲載する。上級は明日挑戦して掲載予定。 ★☆☆ : 初級 ★★☆ : 中級 ★★★ : 上級 問題 結果 numpy配列の基本 配列を作る 形を変える endpointの有無 hstack, vstack, concatenate スカラー値を足すとどうなる？ 勉強になった問題(一部抜粋) 24

データ分析ガチ勉強アドベントカレンダー一日目。 まずは指針をということで、データ分析をはじめるにあたって勉強しておきたいことと、そのリソースをまとめる。言語はPythonを想定。 興味領域が偏っている場合があるのであしからず こんなの面白いよっていうのあれば教えてくださいな ※随時更新します Pythonライブラリ 深いアレたち 機械学習のお勉強 論文 arXiv カンファ e-learning 本 twitter データを集める チートシート類 終わりに Pythonライブラリ こんなの勉強しておけば良さそうリスト。抜け漏れご容赦。 ★★★ : 必須。空で使えるようになりたいトコロ。 ★★　 : 周辺ツール、知っていればより便利になるよという感じ ★　　 : あるアルゴリズムに特化しているようなもの。一歩先 ライブラリ 必須度 用途 numpy ★★★ 数値計算用のライブラリ。いろいろし

こんにちは、ほけきよです。 明日から師走ですね。一年がたつのも早いものです。 ところで皆さんは「アドベントカレンダー」なるものを知っていますか？ 最近ブログをサボり気味だったこともあり、またデータ分析の勉強をしたいなとも思っていて、 一人データ分析ガチ勉強アドベントカレンダーを実施します！ アドベントカレンダーとは 技術者界隈のアドベントカレンダー ほけきよのアドベントカレンダー ネタも募集中 アドベントカレンダーとは アドベントカレンダー（Advent calendar）は、クリスマスまでの期間に日数を数えるために使用されるカレンダーである。アドベントの期間（イエス・キリストの降誕を待ち望む期間）に窓を毎日ひとつずつ開けていくカレンダーである。すべての窓を開け終わるとクリスマスを迎えたことになる。(Wikipediaより) もともとは、子供たちに対してクリスマスへの期待感を高めるために使

こんにちは！ほけきよです。 この度、Amazon APIというものを知りました。 「あ、これでセール情報は自動で抜き取れるんじゃないか？」 と思って、頑張って作ってみました！！ Kindleセール情報 結論から言うと、kindleセール情報は簡単に取れました。他のセール情報は雑多なため、フィルタリングが難しいなという印象です。でも面白そうだし、いずれやるかも？ 作ったのは↓のページです。 クローリングして、セール情報と価格を取るようにしました。 www.procrasist.com 構成は以下の通りです。 常設のセール情報 新着のセール情報(公開中) セール予定の情報 バーで割引率を表現 上にあるバーは、価格の割引率を表しています。 なるべく直感的に、安さが分かるようにしてみました。 UIにはこだわりたかった 下記のようなレイアウトです。常設セールは大きめ、新着セールは小さめで作りました。

ツイッタで書いたことを冷めないうちに言語化してみる 大学まで、世の中は0を1にする人か、1を100にする人に分かれると思っていたけど、社会人になってから 0を1にする人 1を99にする人 99を100にする人 100を100のままにする人 に分かれていると思い始めた。どれも同等に重要。尊い。— ほけきよ@はてなブログ2年目！ (@hokekiyoo) 2017年10月3日 大学生の私は、世の中のことを知らぬ糞ガキだったので、世の中は0から1にする人と1を100にする人になりたいと思ってたし、0を1にする人こそ至高とさえ思ってた。 スティーブ・ジョブズに憧れ、MacBookをスタバでカチャカチャするようないけ好かないガキだったのである。(それは今もそうかも...???) あの頃の私はパズドラにゴンはまりしていた。 「こんなゲーム思いつく人がスゴい！」「それをこんな使いやすく作った人がスゴい！

こんにちは！ほけきよです。 はてなのSSL化、ようやく来ましたね。 staff.hatenablog.com はてなから移行するのめんどそうだし、はてな嫌いじゃないし、移行とかあんまり考えてません。 なのでよかったです！ けど、記事の最後に気になる文がありましたね。 HTTPSのページを閲覧するときに、HTTPの画像やJavaScriptがあると、Webブラウザが混在コンテンツ（Mixed Content）としてブロックし、表示されません。このときブラウザの「開発者ツール」を利用すると、次のように「Mixed Content」エラーが確認できます。 ほえぇ、なるほろ。画像とjjavascriptのタグ内httpは自分で変えなければならないのね。 でもいちいち調べるの面倒。ムリ。 なので、画像とjavascript内のhttpを自動で抽出するアレを作りました。 ※今回もpythonです Re

こんにちは、ほけきよです。 以前、SEO対策ということで、内部リンクの可視化についての記事を書きました。 www.procrasist.com コレだけでも、十分に参考になるのですが、ほら、ひとつ気になることがないですか？ 孤島に浮かぶ記事はどうやって補足すればええんや これ考えるのは人間のお仕事ですよね。 …. けどやっぱりめんどくさい！！ というわけで、自動化しましょうね。 記事の類似度を出す バスケット分析 バスケット分析をブログに応用 コピペで一発！記事抽出コード まとめ 記事の類似度を出す 記事の類似度を出す方法って、いろいろあるんですよ。大別すると二種 記事の文章内容から類似度算出 読者の行動から類似度算出 今回は二つ目『読者の行動から類似度算出』方式でやります。*1 バスケット分析 「おむつとビール」の法則って聞いたことないですか？オムツと一緒にビールが買われるっていうアレで

こんにちは、ほけきよです！ 以前の記事でも、pythonのモジュールであるjupyterについて、その素晴らしさを熱く語りました。 研究・プログラミングメモはもうこれで完璧。markdownもtexもpythonを一緒に使える jupyterが超便利!! - プロクラシスト jupyterのテーマカラーが超簡単にかっこよくなる『jupyterthemes』 - プロクラシスト 今回は、jupyterの使いやすさを知った皆さんを更なる高みへと導くためのTipsです。 インタラクティブなグラフ表示方法がほしい！ ipywidgets インストール方法 bokeh インストール方法 ipywidgets & bokeh コード デモ インタラクティブなグラフ表示方法がほしい！ jupyterのおかげで、pythonの実行がインタラクティブになり、 試行錯誤が飛躍的にしやすくなりました。 しかし、