pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
Google Homeを英会話の無料トレーニング教材にしてみる - プロクラシスト
こんにちは、ほけきよです。 我が家に、Google Home Miniが届きました！*1 Google Home Mini 友人がプレゼントしてくれたものです。スマートスピーカー、プレゼントに最適だと思うんですよ。 新しくて、興味はあるけど、よくわからないし、自分では最後のひと押し踏み込めない。 けれど、あればかなり楽しいです。 この辺はAmazonのAlexaとかも一緒かな？ もらってかなり嬉しかったですし、使ってみて更に感謝が深まった商品でした。 で、こいつの効果的な活用法を考えて見たのですが、 英語の練習に使えないかなと思って、色々試行錯誤しています。 今回は、スマートスピーカーの使用例の一つとして、参考にしてみてください。 Google Home Miniの設定 設定の仕方 利用例 気温や時刻を聞く アラームをセットする ニュースを聞く ゲームをする 英語学習用アプリ まとめ Go
【Day-23】機械学習で使う"距離"や"空間"をまとめてみた - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 23日目。 ここまでデータをどういう風に処理したり、どういうタスクをこなしていくかについて勉強してきたが、 一度基礎的な事項に戻ってみたいと思う。基礎だから簡単というわけではない。基礎だからこそ難しく、また本質的な内容。 データ分析で使われている手法などをまとめて集約して、簡単な説明を付け加えていく。 しかし、このあたりの数学*1は苦手なので、なるべく直感的に自分のイメージを書いていく。 われわれが生きている空間や、距離は"正しい"のか ユークリッド空間/ユークリッド距離 点の距離 分布の距離 wasserstein計量 カーネル(再生核ヒルベルト空間) Topological Data Analysis(TDA) 次元削減/Embedding PCA(principal component analysis) t-SNE(t-Distributed
【Day-14】株価や仮想通貨で使える、5つのテクニカル分析を解説&Pythonで実装してみた - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 14日目。 時系列データでまず思いつくのは、株価のチャートですよね。 また、最近はやっている仮想通貨。私も最近coincheckに入金しました。 ビットコイン取引所 "coincheck" やっぱ、実際にお金が絡むとちゃんと勉強しようって言う気になる！笑 せっかくチャートを見るわけだし、その見方について勉強しておこうと思いました。 そしてせっかくなので、自分で実装してどういう仕組みなのかまで知っておこうと思いました。 理系だからね、分からないものを使うのは嫌だからね。 というわけで、Python(主にPandasとMatplotlibを用いながら)でテクニカル指標についてやっていきます。扱うデータは三年分の日経平均株価。 指標について知りたい人も、自分で実装してみたいという人もどうぞ。 テクニカル分析とファンダメンタル分析 実装において ローソク足
amazonで買ってよかったおすすめ商品と、お買い得セール情報まとめ - プロクラシスト
【最終更新日時2017/12/08】 こんにちは！ほけきよです。 当ブログでは、Amazonが取り扱うおすすめ商品や、おすすめセール情報をまとめた記事がたくさんあります。 このページでは、それらの情報がきれいにまとまったページを目指します。 見に来てくれた皆様に少しでも有益な情報、商品が届けばと思います。それではドウゾ！ 現在の一押し情報！ セール情報 オススメ商品紹介 書籍 ガジェット オススメまとめ まとめ 現在の一押し情報！ amazonの一大イベントサイバーマンデーが開催されます！ 12/8(金)18;00～12/11(月)23:59まで、特大セールが目白押しです！ 今まで高くて買えなかった商品も、もしかしたら値下げしているかもしれませんので、見に行ってみてはいかがでしょうか。 セール情報 ここでは、自動で抽出した情報を元に、お買い得なセール情報を更新しています。特徴は下記の通り。
【価格比較付き！】現在開催中のKindleセール情報(毎日更新) - プロクラシスト
【最終更新日時2018/03/01 23:50:00】 Kindleセール情報を毎日自動更新していきます！更新頻度は１日1回くらいの予定。 バーが緑色 : 無料 バーが青色 : 0~30%割引 バーが黄色 : 30~70%割引 バーが赤色 : 70%以上割引 ※注1 : kindle unlimitedは考慮外です。たまに無料のもあります。 ※注2 : たまに間違っているところもありますが、ご容赦ください。 月替セール IT/専門書フェア Kindleセレクト25 新着セール情報!! 【期間限定無料＆50%OFF以上】新しいスポーツの見方、教えます(3/8まで) 【30%～50%OFF】新年度・新学期！ライバルに差をつける「英語本」フェア(3/15まで） 【期間限定無料＆50%OFF以上】1話読んだらやめられないマンガ特集(3/15まで） 【20%OFF】「炎の蜃気楼」シリーズ完結記念キャ
Kindleセール情報のページを自動で作ってみました！ - プロクラシスト
こんにちは！ほけきよです。 この度、Amazon APIというものを知りました。 「あ、これでセール情報は自動で抜き取れるんじゃないか？」 と思って、頑張って作ってみました！！ Kindleセール情報 結論から言うと、kindleセール情報は簡単に取れました。他のセール情報は雑多なため、フィルタリングが難しいなという印象です。でも面白そうだし、いずれやるかも？ 作ったのは↓のページです。 クローリングして、セール情報と価格を取るようにしました。 www.procrasist.com 構成は以下の通りです。 常設のセール情報 新着のセール情報(公開中) セール予定の情報 バーで割引率を表現 上にあるバーは、価格の割引率を表しています。 なるべく直感的に、安さが分かるようにしてみました。 UIにはこだわりたかった 下記のようなレイアウトです。常設セールは大きめ、新着セールは小さめで作りました。
【https化に向けて】混在コンテンツのhttpを自動で抽出するアレを作った - プロクラシスト
こんにちは！ほけきよです。 はてなのSSL化、ようやく来ましたね。 staff.hatenablog.com はてなから移行するのめんどそうだし、はてな嫌いじゃないし、移行とかあんまり考えてません。 なのでよかったです！ けど、記事の最後に気になる文がありましたね。 HTTPSのページを閲覧するときに、HTTPの画像やJavaScriptがあると、Webブラウザが混在コンテンツ（Mixed Content）としてブロックし、表示されません。このときブラウザの「開発者ツール」を利用すると、次のように「Mixed Content」エラーが確認できます。 ほえぇ、なるほろ。画像とjjavascriptのタグ内httpは自分で変えなければならないのね。 でもいちいち調べるの面倒。ムリ。 なので、画像とjavascript内のhttpを自動で抽出するアレを作りました。 ※今回もpythonです Re
自サイトの『関連記事』を自動で探すやつを作った(バスケット分析) - プロクラシスト
こんにちは、ほけきよです。 以前、SEO対策ということで、内部リンクの可視化についての記事を書きました。 www.procrasist.com コレだけでも、十分に参考になるのですが、ほら、ひとつ気になることがないですか？ 孤島に浮かぶ記事はどうやって補足すればええんや これ考えるのは人間のお仕事ですよね。 …. けどやっぱりめんどくさい！！ というわけで、自動化しましょうね。 記事の類似度を出す バスケット分析 バスケット分析をブログに応用 コピペで一発！記事抽出コード まとめ 記事の類似度を出す 記事の類似度を出す方法って、いろいろあるんですよ。大別すると二種 記事の文章内容から類似度算出 読者の行動から類似度算出 今回は二つ目『読者の行動から類似度算出』方式でやります。*1 バスケット分析 「おむつとビール」の法則って聞いたことないですか？オムツと一緒にビールが買われるっていうアレで
コピペで(ほぼ)一発！jQueryでオシャレな地図ツールを作ったよ。 - プロクラシスト
こんにちは、ほけきよです！ 私のブログにもいくつか旅行記事や都市の紹介記事があります。 それらを一括してはてなブログ上でもおしゃれな地図を表示させたい...! そう思ってここ数日はずっとjQueryを使った地図作成をしてました。 作る上でのポイントは おしゃれ感がある ユーザーが使いやすい 別ページに誘導できる ということ。 まだまだ難はあれどある程度の水準まで作ることができたので、コードと一緒に使い方を紹介したいと思います。 また、コードをそのままコピペすると動くようになっていますので、ぜひお試しください。 世界地図 日本地図 コピペで一発！コードと使い方 全体の注意事項 世界地図編 日本地図編 見栄え 注意点(TODO) レスポンシブ対応 スマホでの操作性向上 まとめ 世界地図 日本地図 コピペで一発！コードと使い方 全体の注意事項 はてなブログの場合は「はてな記法」もしくは「HTML
ブログは一年続くの？読者数は？2万件のはてなブログで分析する - プロクラシスト
こんにちは、ほけきよです！ 私はそれほど実績がないので、ブログ論を語ることは出来ません。でも、データに語ってもらうことは出来ます。 良くある「ブログは継続が難しいし、大事だ」といいますね。 そりゃそうなんですが、どのくらい難しいのか、また、どのくらい大事なのか というのはあんまりわかんないですよね。 なので、今回は、はてなブログをぶっこ抜いて、軽く分析してみました！！ ブロガーの生存率はどのくらいか 継続は力なり？継続期間と読者数の相関 読者数のヒストグラム 継続期間と読者数 どうやって調べたのか ブログリストを作る 色々と必要なデータを取る 継続期間を抽出する 分析する まとめ ブロガーの生存率はどのくらいか 今回は結論からいきましょう！ 下のグラフは何ヶ月ブログが続いているかです。縦軸がブログ数、横軸が継続期間、綺麗な曲線を描き、だんだんと下がっていっているのがわかります。 また、次の
【コードで一発】ブログ最適化/SEO対策で面倒なことは全てPythonにやらせよう - プロクラシスト
こんにちは、ほけきよです。 ここ数回に分けて書いた『面倒がすぎる内容をpythonにさせよう』シリーズの集大成。 ブログ最適化のために必要なものを『全て』『一気に』抜き出すプログラム、作りました！ この記事を読めば、下記の情報がゲットできます ※ 現在ははてなブログのみ対応となっています。WordPress用にも作成中なので、少々お待ちを。 *1 ・記事とURLとブックマークの情報 ・記事内画像を全て抜きとったもの ・自サイトの内部リンクがどうなっているかを可視化したもの ・リンク切れリスト ・はてなブックマークがどのような伸び方でついたかを可視化したもの 使い方(情報技術に明るい人) 使い方(一般向け) 環境構築 実行するコード コマンド一発！実行する 中身がどうなっているか 注意 出力結果 pythonを勉強したい方に まとめ 使い方(情報技術に明るい人) 情報技術に明るい人と、そうで
自サイトの記事のリンク切れを自動で抽出するアレを作った - プロクラシスト
こんにちは！ほけきよです。 今日は自動化第四弾！！ またまたGoogleに媚びを売るSEO対策です(^^) 前回は内部リンクネットワークの可視化でした。今回は、リンク切れの抽出です！ 悲しきNot Found …Googleさんがお怒りになる前に片付けちゃいましょう！ リンク切れとは？ めんどい 環境を作る コード 実行する 今後の課題/注意 まとめ リンク切れとは？ 自サイトで言うと、こういうのです 悲しいですよね。以前まであったはずのものがなくなるのは… というわけで、リンク切れは早めに対処しましょう！ めんどい そう思い、いちいちリンククリックして確かめてたんですが、 めんどい、めんどうがすぎる 大体のリンクはちゃんと通るのに、通らないリンクを探すなんて、修行ですか？ というわけで、3記事で飽きました。ううーん、そうだ、自動化しよう 環境を作る python(3系) bs4 urll
SEO対策！自分のブログの内部リンクを自動で可視化する - プロクラシスト
こんにちは！ほけきよです。 今日は自動化第三弾！！ SEO対策ってしてますか？ ブログの検索流入をあげるために、Googleには媚を売っていかなければいけないじゃないですか～。 そんなわけで、前回は表示スピード向上にむけた画像圧縮のために、全画像をぶっこ抜いてくる方法を紹介しました。 www.procrasist.com 今日は、SEO対策で大事だと言われる。内部リンクのネットワーク化についてです。 内部リンクのネットワーク化 SEO ブログ とかで調べるとわんさか出て来るわけですよ。内部リンクの密度、数、アンカーテキスト*1などが大事って。 なので、記事をほったらかしにするわけじゃなくて、過去記事にもリンクをはりながら、蜘蛛の巣のような構造にしていかなければいけないってわけです。 めんどい というわけで、最適化しようと思うじゃないですか～。 めんどい、めんどうがすぎる。 まず、どの記事に
リライトのために、ブログの記事タイトルとURLを自動でぶっこ抜いてcsv化する - プロクラシスト
こんにちは、ほけきよです。 記事のリライトとか、最適化をしようとしたんですよ。 けど、どこをいつ最適化したとか、リライトしたとかわからなくなっちゃうんですよね。 じゃあ記事をエクセルで管理しちゃえば後々楽やん！天才。 と思って、一個一個温かみを持ってタイトルコピペとか繰り返してたんですが、 3回くらいで飽きました。 ムリ。 こんなんぶっこ抜くコード書いたほうが楽やん！ という結論に至りましたので、書きました。 そして、意外に需要がありそうだったので、やっつけコードですが、紹介します。 なお、pythonで書いたのでpython環境があれば簡単に使えると思います。 注意点をいくつか書いているので用法用量をお守りの上、お使いください。 環境を作る python(3系) bs4 urllib すでにpython環境を持っているという方は、bs4とurllibだけ入れればOKです。*1 pytho
Google Search Consoleの検索順位とクリック率を分析して、リライト戦略を考える - プロクラシスト
こんにちは、ほけきよです！ ある程度経験を積んだブロガーなら、Google Search Consoleを使っていることでしょう。 自分の記事にどういう単語を調べた結果辿り着いているかがわかるツールです*1 ブログも開設して時間が経つたびに、「検索流入」の重要性をひしひしと感じるようになります。 そんな時にSearch Consoleを使うと、リライトすべき記事が浮き上がってくる。というわけです。 私の記事も検索流入がちょっとずつ増えてきたので、 Search Consoleでの結果を分析することにしました。*2 Search Consoleで抜き出したデータ 1-10位 1-30位 1位-30位 (表示回数で分けたver.) これからの戦略を練る バズった記事はレッドオーシャン戦略 11-15位はブルーオーシャン戦略 まとめ Search Consoleで抜き出したデータ まず、はじめに
【ブログ運営報告】前月比3倍！得意領域に力を入れた、やってて良かった7ヶ月目。 - プロクラシスト
こんにちは、ほけきよです！ 運営報告の時間です。 キリのいい所で運営報告をしようと思っていたのですが、 先月のPVが初めての減少(激減)だったので、今月まで待たねばなりませんでした。 私がキリのいいと思い目標にしていた数値は50000PVです。 今月は超えることが出来ました！やったね！ というわけで、運営報告を(先月分も兼ねて)していきたいと思います。 2月 3月 4月 差分(3⇨4) PV 40365 22885 61643 約3倍 PV(検索流入) 7525 14483 28028 約2倍 読者 180 199 217 +18人 twitter 280 300 367 +67人 収益(単位:諭吉) 0.9 0.7 2.8 +2.1 数値的には上出来で満足の行く4月となりましたー！ 【検索流入】3月が一見ヤバそうだが… これを見ると、「あれ？3月のPV下がり過ぎでは？」 と思うかもしれま
Dropbox創業者がMITで行った卒業スピーチ『成功への3つの秘訣』が珠玉。 - プロクラシスト
こんにちは、ほけきよです。 卒業シーズンですね。 日本の大学でも、ありがたいお話をお偉いさんがしてくれることでしょう。 さて、海外の有名大学では、各業界の『カリスマ』たちが卒業スピーチをしてくれたりします。 これを“Commencement Speech”と呼びます。 今回は、そんなCommencement Speechの中でも、特に私が感銘を受けた Dropbox創業者、『Drew Houston(ドリューヒューストン)』のスピーチを紹介します。 世界一有名なCommencement Speech ドリューヒューストンとは 名スピーチ『成功への3つの秘訣』 成功のためのCheat Sheetの要約 テニスボール サークル 30000 終わりに 世界一有名なCommencement Speech その前に、Commencement Speechといえばコレだろうという、伝説のスピーチがあり
検索順位チェックツール『Serposcope』の使い方を徹底解説！ - プロクラシスト
こんにちは、ほけきよです。 今日から、検索順位チェックツールのGRCの料金体系が変わりますね。 ヒトデさんのこの記事をみて、あまりに魅力的だったので、 3日くらい買おうかどうか悩みました。 www.hitode-festival.com けど、昨日、最後食指が動かなかったのはMacでの作業が圧倒的に多いからです。 windows機をそれ用に買うほどの財力と気力が足りませんでした… 悔しいので、他のツールを探してみることに。 Macの人や無料がいいという人には、GRCの対抗馬としてよく「Serposcope」が挙げられているようです。 なので、それを試してみることに。 Open source rank checker for SEO | serposcope 特徴としてはこんな感じ ○ githubにコードが上がってる。無料で利用可能 ○ macやlinuxでも利用可能 ○ 無制限にキーワー
ニュータイプのブラウザ『VIVALDI』が便利すぎ。Chromeから乗り換えも辞さない！ - プロクラシスト
こんにちは！ほけきよです。 ウェブブラウザ、みなさんは何を使っていますか？ IE, Opera, Firefox, そしてGoogle Chrome … いろいろなブラウザがありますね。 今回は、そんな中でも、まだ馴染みがない、 けれど超絶使いやすく、超絶便利なブラウザ、その名も 『VIVALDI』 を紹介します！！ VIVALDIとは インストールしてみる VIVALDIのここが凄い！！ まずはチュートリアルを見よう 煩雑なtabから開放！tabstack ブラウザ内でページ分割！tiling お気に入りにノートにパネル！多彩なブックマーク ノート webパネルの追加 自分色に染めろ！VIVALDIの本質は個人設定にあり。 クイックコマンドで大体何でもできる おわりに VIVALDIとは Vivaldiは自由で、思う存分カスタマイズができるWEBブラウザです。豊かでパワフル、安全性もあり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
