Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? おはようございます。ようやく春らしい季節になってきましたね。今日は前回に引き続いてもう少し株価の話をします。前回の話ではどうやって分析するかという話で、理想株価の算出式と移動平均線について触れました。忘れてしまった方はもう一度前回の記事の後半を読んでください。 まず余談 さて話はそれていきなり余談ですが、先週は有名ソーシャルゲーム「パズドラ」をめぐる炎上騒ぎが大変なことになりましたね。 パズドラといえば 3,000 万ダウンロードを越える人気ゲームであり、あのコンプガチャ騒動の後にあらわれて、無料でも楽しめる仕様として課金額を低額に抑え
今日は 15 年ぶりに日経平均が 19,000 円台を一時回復し、 6 月末までには 2 万円に達するのではとの声も出ていますが、そんな中ビッグデータ (笑) 分析で株式の分析をする話です。 効率的市場仮説 金融の世界には効率的市場仮説というものがあり、どのような情報を利用しても他人よりも高いパフォーマンスを継続してあげることは不可能であるという説があります。これほど誤解されたりあるいは都合良く解釈されたものはないと筆者は考えます。 この辺は効率的市場仮説のパラドックスあたりを読んでいただくと良いでしょう。 普通に考えて、たとえばなぜ証券業界のディーラーやファンドマネージャーが現役で職を保っていられるのか、みんながみんなバフェットの真似をしてみんながお金持ちにならないのはなぜか、などなど考えていけばわかりそうなものです。 賛否両論はこのあたりを読んでいただくとして (ちなみに筆者はアンドリ
HTML の表をスクレイピングするのは結構だるい作業です。 私は以前は、単純な HTML であれば、うまく特徴を見つけて awk や sed を作ったり、 Perl の正規表現で取り出したり、 Google Chrome のコンソールから XPath を使って取り出すような苦労をやっていました。 ところで pandas というとデータ解析用のツールとして主流ではあるのですが、 意外にも HTML からのデータ入力も可能になっていて、これが表のスクレイピングにはかなり楽だということがわかりました。 なので紹介してみます。 サンプルに使うページ 以下で示すサンプルに国税庁の所得税の税率のページを使うことにしました。 https://www.nta.go.jp/taxes/shiraberu/taxanswer/shotoku/2260.htm (2019.9.28 移転したようなので、URLを
pipでSciPyのアップグレードを行ったのですが、呼び出すと昔のバージョンが使われてしまってました。 参考サイト通りにやっただけなのですが、色んなマシンでやらないといけないのででまとめ直しておきます。 環境 OS Mac OS X 10.9 (Mavericks) Python 2.7.5 scipy 0.14.0 参考 Mac: How to Upgrade to SciPy 0.13 本当にこの通りやりました。ありがとうございます。 手順 最初に現在のバージョンを確認しておきます。 $ sudo pip install scipy --upgrade [~/Downloads/KDD_2012_Track2-master/modeling] Downloading/unpacking scipy from https://pypi.python.org/packages/cp27/s
pythonを使って、フライトシミュレータなど常微分方程式形式になっている物理モデルのシミュレーション(数値解析・数値計算)をする方法。 やっていることはScipy.integrateの中にあるodeintを使う。FortranのOdepackのlsodeを使っているらしいので、計算は早い。 例 例としてOctave(Matlab互換)のコードとして公開されている飛行機のフライトシミュレーションをpythonに移植してみる。計算の中身についてはリンク先が詳しい。 Butterfly_Effect( ) 6DOF Flight Simulation 時間経過によって動くもののシミュレーションをするのに、forを使ってしまうとオイラー法など簡単な数値計算法であってもpythonではかなり遅いのでなるべくscipyなどのライブラリを使うべき。 matlabとpythonの違い matlabからの
はじめに 本記事はPython2.7, numpy 1.11, scipy 0.17, scikit-learn 0.18, matplotlib 1.5, seaborn 0.7, pandas 0.17を使用しています. jupyter notebook上で動作確認済みです.(%matplotlib inlineは適当に修正してください) SklearnのManifold learningの記事を参考にしています. 多様体学習と言われる手法について,sklearnのdigitsサンプルを用いて説明します. 特にt-SNEはKaggleなどでもたまに使用されている,多次元データの可視化に適した手法です. また可視化だけでなく,元のデータと圧縮されたデータを結合することで,単純な分類問題の精度を向上することができます. 目次 データの生成 線形要素に注目した次元削減 Random Proj
はじめに TreasureDataは、アプケーションログやセンサーデータなど時系列のデータを簡単に収集・保管・分析が行えるクラウドサービスです。 現在は、分析エンジンの一つとして、Prestoが利用できるようになり、収集したデータをインタラクティブにSQLで分析が行えるようになりました。 しかし、SQLでデータを分析したデータを元に可視化をするという機能自体はTreasureDataでは備えていないため、ExcelやTableauなどの外部ツールを使って、可視化を行う必要があります。 そこで今回は、Pythonのライブラリとして人気があるPandasと、WebブラウザでインタラクティブにPythonを実行できるJupyterを利用して、TreasureDataとインタラクティブにSQLを実行して集計・可視化を行っていきます。 セットアップ 利用環境 Ubuntu 14.04 Python
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? $ pip install pandas Downloading/unpacking pandas Downloading pandas-0.15.2-cp27-none-macosx_10_6_intel.macosx_10_9_intel.macosx_10_9_x86_64.macosx_10_10_intel.macosx_10_10_x86_64.whl (6.7MB): 6.7MB downloaded Downloading/unpacking numpy>=1.7.0 (from pandas) Downloading
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Python-MIP版の記事を作成しました。モデラーとしてPuLPよりPython-MIPの方がメリットが多いので、ぜひ、下記の記事も参考にしてください。 最適化におけるPython(Python-MIP版) 概要 私は、業務で、組合せ最適化技術を用いたソフトウェア開発(例えば、物流における輸送コストの最小化など)を行っています。以前は、C++やC#を用いて、最適化のモデルを作成していましたが、最近ではPythonを用いることが多いです。 ここでは、最適化におけるPythonについて紹介します。 Pythonのメリット Pyt
今日は昨日に引き続き SciPy and NumPy Optimizing & Boosting your Python Programming の中から scikit-learn を使った例を軽く説明します。クラスタリングについてはすでに食べられるキノコを見分けるやクラスタリングの結果を再利用するといった記事で説明しましたし scikit-learn によるクラスタリング でも取り扱ってきましたから機械学習の中でもすっかりお馴染みの手法かと思います。 scikit-learn でのクラスタリング ポピュラーな kmeans と比較して多くのデータ点を有するコア点を見つける DBSCAN アルゴリズムは、コアが定義されると指定された半径内内でプロセスは反復します。ノイズを多く含むデータに対して、しばしば kmeans と比較される手法です。 原著においてもこれらの手法を比較し可視化していま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く