データ分析環境の構築にDockerを利用しよう
📜 要約 コンテナー管理ソフトウェアのDockerを利用することで、データ分析の場面で利用頻度の高いRおよびPythonの分析環境として実行することが出来るRStudio Server、Jupyter、Beaker Notebookを容易に構築可能になる。Dockerを使うことの利点として、複数人でのデータ分析や将来の利用面においてデータ分析結果の再現性を高められると考えられる。 🍵 前置き〜データ分析者が直面する再現性への挑戦 データ分析の結果が、自分以外では再現できない、同じデータを使っているのにナンデ！？ということが時々あります。その原因として多いのが分析に関わる人間が利用する実行環境の違い、です。大きなものではOS、小さなものでは分析に利用するツール本体や拡張機能（パッケージやモジュール）のバージョンの違いがあります。 こうした再現性の問題は、複数人でデータ分析を行う時だけでな
Amazonギフト券の安値情報をPythonでWebスクレーピング＆Rで解析 - Qiita
アマオクでいかに安くAmazonギフト券を手に入れるか 皆さまはアマオクというサイトをご存知でしょうか？Amazonギフト券を売買できるサイトで、大体5～10%程度の割引率で取引されています。 このサイトで、できるだけお得にギフト券を買うにはどうしたらよいのか？例えば火曜日は割引率が良い、２５日近辺は割引率が悪いなど何らかの傾向はあるのか？ 幸いなことにアマオクは過去の取引データを一般公開しています。この取引データをPython + Beautiful Soupでスクレーピングし、Rで解析したのが本記事の内容です。 先に結論を書きますと、以下になります。 - 額面と値引き率は関係がない - 有効期間と値引き率は関係がない - 現在は割高。92.5～95%になるのを待って買う。 - どの曜日でも値引き率は変わらない - どの日でも値引き率は変わらない - 日中の方が他の時間帯より若干安い 環
Probability calibration
As a follow-up of my previous post on reliability diagrams, I have worked jointly with Alexandre Gramfort, Mathieu Blondel and Balazs Kegl (with reviews by the whole team, in particular Olivier Grisel) on adding probability calibration and reliability diagrams to scikit-learn. Those have been added in the recent 0.16 release of scikit-learn as CalibratedClassifierCV and calibration_curve. This pos
Jupyterがすごい勢いでやってくるからお前ら備えとけ（IPython Notebook + R） - Qiita
今までIPython Notebook上でRを動かそうとするとrpy2やらをごにょごにょやるとかいう方法がありましたが、いちいち%%を打ったりといろいろ不便でした。 が、先月末（2015/02/27）のIPython 3.0のリリースでIPython Notebookが大きく変わり、（まだ開発版ですが）Rとの連携もかなり楽になりました！というか今後はRだけでなく、Juliaや他の言語もカバーする方向に進むそうで、特定の言語に依存しない部分をJupyterという別プロジェクトでやっていくそうです。 代表的な言語のJupyterカーネルとしては以下のようなものが存在する模様。 Python (https://github.com/ipython/ipython) Julia (https://github.com/JuliaLang/IJulia.jl) R (https://github.c
FrontPage - PukiWiki
2008/01/11からのアクセス回数 640912 竹本 浩のページ † このページは、竹本 浩（たまねぎおじさん）のWikiページです。twitter: @takepwave 、e-mail: take.pwave@gmail.com 以前のホームページでは、SmartDocで記述して公開していましたが、Wikiを使って 随時追加、更新することにしました。 ↑ 雑誌掲載記事の原稿 † 雑誌に掲載された記事の原稿のリンクを以下に示します。（投稿原稿なので、掲載内容と異なる部分があります、あらかじめご了承下さい）。 WEB DB Press Vol.29 既存機能との融合を既存技術で考えよう（Springの紹介記事） 組み込みプレス VOl.14 ICタグを使った書籍管理システムの構築 Software Design 2009/10 再考シェルスクリプト Software Design 2
［日記］分析分析 - RとPythonによるデータマイニング
2013-05-18 ［日記］分析分析 データ分析 日記 今日は日がな一日分析っていうか集計クエリを書いてました。 23時ぐらいまでやっていたけど、火曜報告の分析が終わらなくてヤバイです。 全く分析のストーリーができてない状況で行き当たりばったり的に分析してるのが良くないと思うけど、 調べるべき仮説は調べ終わったので後は網羅的に調べて、結果を適切にストーリーにまとめて報告する予定。 月曜に報告書作ることを考えたら週末頑張らないと終わらないなこれ。。。 ビジネスデータ分析は結局のところ適切な仮説立案と網羅的探索による仮説発見、及び仮説検証とそれらの結果を繋ぐストーリー作成に集約されると思います。 ぶっちゃけ複雑なモデルはほとんど必要ないのが現状と認識してます。 例えば、SVMとかで離脱者を正確に予測したとしても、結局その人たちがなぜやめたのかがわからなければどういうアクションを
はてなブックマーク記事のレコメンドシステムを作成 PythonによるはてなAPIの活用とRによるモデルベースレコメンド - データ分析がしたい
私は情報収集にはてなブックマークを多用しており、暇な時は結構な割合ではてなブックマークで記事を探してます。しかし、はてなブックマークは最新の記事を探すのは便利ですが、過去の記事を探すにはいまいち使えません。個人的には多少過去の記事でも自分が興味を持っている分野に関しては、レコメンドして欲しいと感じてます。 ありがたいことにはてなはAPIを公開しており、はてなブックマークの情報を比較的簡単に取得できます。そこでこのAPIを利用して自分に合った記事を見つけるようなレコメンド機能をRとPythonで作成してみたいと思います。 利用するデータは、はてなAPIを使って収集します。具体的には、はてなブックマークフィードを利用して自分のブックマークしているURLを取得し、そのURLをブックマークしているユーザをエントリー情報取得APIを用いて抽出し、そのユーザのブックマークしているURLを収集します。こ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - bmschmidt/wordVectors: An R package for creating and exploring word2vec and other word embedding models
Ben Morris' Macroblog: A simple Python phylopic.org wrapper
Slender Means | I'd like to drop my trousers to the world. I am a man of means, of slender means.
Python Complements R’s Shortcomings | Climate Change Ecology