はてなブックマーク

この記事は NSSOL advent carendar 12/23担当分です。よろしくお願いします。 昨日は研修を運営してみて思ったことでした。 研修対応すると、その後も割と忙しくて、振り返りの時間がちゃんと取れなかったりします。 まとまった現場知見・感想が読めるのって、ありがたいなと思いました。 さて、今回のテーマは、「疑似データ生成」です。 背景：実データの取得は大変　擬似データが使えるかも データ分析やシステム開発のために、実データかそれに近いデータが欲しくなることは多々あります。 ただ、顧客情報や営業秘密といった機微な情報が含まれる場合は、データ取得までに高いハードルがあることが多いです。 結果、試してみたいアイディア/製品/分析手法などの適用ができないこともあるかと思います。 解決策の1つとして、擬似データの利用、が挙げられそうです。参考 実データを入力して、データの形式や統計量

週間少年ジャンプの掲載順位データを作る(Rで) はじめに ジャンプの掲載順位データを可視化するという素敵な記事がありました。 ジャンプの掲載順位データという大変素敵なHPから、pythonのbeautifulsoupでスクレイプしてデータを可視化する、といった内容でした。 同じことを、Rでやってみます。 作成されたデータはGistにあります。 データの取得 スクレイプはrvestで、文字列処理はstringiでゴリゴリやりましょう。 まずはパッケージの準備。 ## 結果を入れるデータテーブル jump_data = data.table(NULL) ## データがあるのは、1999年から2015年まででした。 for(year in 1999:2015) { ## リンクがまとまっているページのurl link_page = paste("http://hamada.tsukaeru.in

クローラー／スクレイピング Advent Calendar 2014, 12月13日担当記事です. はじめに お寿司を手頃な価格で美味しく食べたいです. 寿司アドベントカレンダー2013を眺めていると, 美登利寿司というお寿司屋さんが大変良さそうだと言う結論になりました. 一旦異論は認めません. ただ, 美登利寿司は大変な行列のようで, 時間を間違えると824分待ちになるみたいです. 並ぶのは嫌ですから, 空いているタイミングを狙いたいです. 寿司屋待ち行列の長さを観測したい 美登利寿司は, 実際に並ぶのではなく, Web上で登録して並ぶ形式みたいです. 文章だとよく分かりませんね. こんな感じです. 順番受付を行って, 入店間際にアラートメールが来るシステムです. いい時代になりました. ...ここに, 全店の行列の長さ情報が乗っていますね. 今回はここのデータを利用します. 最も空いて

野球データを速く集計したい (R vs nysol) はじめに R advent calendar, 12月10日分です. nysolを使ってみた, という話です. 速度比較の記事を見ると, nysol使いたくなりますよね. 使ってみたら案外イケました. コードも書きやすいです. 野球データ解析のコードを例に, plyr, dplyr, nysolのコードと処理速度を比較してみました. メジャーリーグ: 大チャンスでの得点率 メジャーリーグで, 犠牲フライでも点が入る場面で, ちゃんと得点を挙げてくれる選手を調べます. 2013年メジャーリーグの全打席結果データ(77MB)を利用して, 集計してみます. データはretrosheetからダウンロード出来ますし, githubにもあります. . 集計は, 以下の3つの方法で行います. data.frame + plyr data.table