Pythonによる財務分析に挑戦、有価証券報告書のデータを扱うには
企業の経営状況は財務に関する情報から分析できる。Pythonを使ってEDINETから有価証券報告書のデータを取得し、企業の収益性を可視化してみよう。 「財務分析」とは、「企業の財務に関する情報から経営状況を分析すること」です。企業の財務に関する情報は、「貸借対照表」「損益計算書」などから構成される「財務諸表」と呼ばれる資料から確認できます。 では、上場企業の財務分析を行う場合、それらの資料はどうやって入手したらよいでしょうか。そんなときに利用できるのが「有価証券報告書」です。 有価証券報告書は、企業の株式などを購入する投資家に対し、投資判断に有用な情報を示すために作られる資料です。財務諸表も有価証券報告書の中に含まれています。 この有価証券報告書は、金融庁が運用している「EDINET」というシステムから入手できます。EDINETは、有価証券報告書、有価証券届出書、大量保有報告書等の開示書類
Pythonでネットワーク構造のデータを扱いたい(networkxを扱う) - あれもPython,これもPython
データ分析の仕事をしていると、基本的な表形式のデータ以外では表現しにくい現実事象が存在します。要素と関係性で表現されるネットワークもその一つです。 個人的にはこの形式のデータは、示唆までたどり着きにくいため、ビジネス的な分析とは言いにくいな、とは思います。ただし、探索的にデータを理解したり、プロダクトの機能として使えることは多い分野だと思っているため、タイトルはあえて「データを扱う」にしました。 ネットワーク分析とは networkxはグラフ(ネットワーク)に関するデータの保持/操作をしやすくするパッケージです。 なお、情報がきちんとまとまっているのは以下の書籍です。(クリックするとAmazonにとびます) （感染症のモデルであるSIRモデルや、Word2Vecとの組み合わせなど、応用も多く非常に面白かったです。 ネットワークは繋がりを持つ要素(=ノード)と、その繋がり(=エッジ)で表現さ
「Pythonによる医療データ分析入門」は分析100本ノック後に必読な探索的データサイエンス本だった - Lean Baseball
今年読んだデータサイエンスおよびPython本の中でも最良の一冊でした. ホントに待ち望んでいた一冊でした. 実は密かに楽しみにしてた（待ち望んでいた）*1, 「Pythonによる医療データ分析入門」, 一通り読ませていただきましたので, Pythonによる医療データ分析入門の感想 分析100本ノック後にやると良いこと 探索的データサイエンスはデータサイエンスに関わる人すべてに関係する準備運動であり入り口であること 的な話を綴りたいと思います. なお, 最初に断っておくと, 新型コロナウイルス含む, 感染症とか流行病の話は一切触れておりません！ このエントリーは純粋に「Pythonを使ったデータサイエンス」を志向した方向けのエントリーとなります. 新型コロナウイルスだの感染症関連だのを期待されている・そう思った方はぜひ他のページなどを見ていただけると幸いです. このエントリーのダイジェスト
データ分析のためのPythonを学び始める時につまずかないための6つのステップ
ステップ1:学習すべき3要素を知るステップ2:環境構築をするステップ3:Pythonの基本を覚えるステップ4:主要なライブラリをマスターするステップ5:データ分析の一連の流れを把握し、写経するステップ6:自分で一から分析する 各ステップは、それ以前のステップで習得した要素を必要とします。そのためステップは飛ばさずに理解していく必要があります。学習を進めていく中で前のステップを再度理解し直す場合もありますが、一度学習をしたステップの内容ならば2度目はすんなりと理解できるはずです。 以下、各ステップにおける内容をコツや注意点も含めてみていきます。 DXのお悩みを解決する「DXの羅針盤」をダウンロードする ステップ1：学習すべき3要素を知る「環境構築」、「Python言語の習得」、「分析作業の理解」が、Pythonでデータ分析を始めるために必要な3要素です。 Pythonの文法ばかりを勉強してい
pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
Python でデータ分析するのに適したグラフツール3選
概要 Python でのデータ分析作業に向いたグラフ作成ツールの機能比較です。Python のグラフ作成ツールといえば matplotlib ですが、正直言って煩雑な構文で、こういった作業に向かないと思います。そこで、今回は使えそうな以下の3つ+α1のパッケージについて、大雑把に紹介します。 plotnine altair seaborn (pixiedust) グラフ作成ツールに求められる要件 サンプルコードと結果だけ見たい場合はここは読み飛ばしても問題ないです。 たとえば pandas-profiling はデータフレーム内の全ての列に対して記述統計量をとり、簡易的なヒストグラムなんかも表示してくれますが、多くの場合それだけでは不十分です。高次元のデータから変数間の関係を読み取ることを意図していました。いわゆる探索的データ解析 (EDA) に近いものだと思います2。変数どうしの関係を様
Facebookの予測ライブラリProphetを用いたトレンド抽出と変化点検知 - Gunosyデータ分析ブログ
Gunosyデータ分析部アルバイトの五十嵐です。 Gunosyには大規模なKPIの時系列データがあります。 今回はKPIの時系列分析を行なった際に得た知見についてまとめたいと思います。 具体的にはFacebookが開発した時系列予測ツール Prophetを用いて、KPIのトレンド分析を行いました。 時系列予測について Prophetについて 実装例 モデルの適用 将来のアクセス数予測 トレンド性と周期性の抽出 変化点抽出 Slackを利用した自動化 まとめ 時系列予測について 以前、 KPIのトレンド抽出について以下のブログで紹介しました。 data.gunosy.io ここでは時系列データをトレンド成分と季節成分に分解し、トレンドの把握を容易にする分析を行なっていました。 KPIのトレンドを知ることでサービスの状態を把握することが目的でした。 今回はこの分析をさらに進め、トレンドの変化点
Kaggle: Titanic 問題データ分析 | Futurismo
はじめに¶ 先日、Kaggleのタイタニック問題に挑んで惨憺たる結果を出しました。 Kaggle のタイタニック問題に Keras で挑戦した。前処理が課題だと分かった。 | Futurismo データ分析をするスキルが自分にはない。なんとか身につけたいと思っていたところ、 Udemyの講座でKaggleのタイタニック問題を元にデータ分析を行っている講座を発見した。 【世界で5万人が受講】実践 Python データサイエンス | Udemy これはいい。まずは、講義にしたがってデータ分析してみたので、これはその講義メモです。 目的¶ 以下について、講義では調べている。 タイタニック号の乗客はどのような人達だったのか？ それぞれの乗客はどのデッキにいたか？また、それは客室の種類とどのような関係にあったか？ 乗客は主にどこから来たのか？ 家族連れか、単身者か？
Python + ELK でJAWS DAYS 2017のツイートを簡単に可視化してみた - Qiita
Elasticsearch色々試そうと思っていたところ、自分もツイートしていたJAWS DAYS 2017のツイートログを使ってみよう、と手を動かした記録。 前提 Pythonは2.7系を利用 ELKは5.2.2を利用 Twitterからのログ検索 こちらに作成したソースコードをのせました。アクセスキーを入力することで利用可能です。 （事前準備としてTwitter APIへの登録などは済ませる必要があります。） ソースコード自体はとても単純です。 3000件という数字は適当に決めたものです。（それくらいのツイート数だろうと思って適当に指定した値） ちなみにTwitter APIを利用する際には利用回数に制限があるので（リセットされる）注意が必要です。 import twitter from twitter import Api import sys import os import tim
さくっとトレンド抽出: Pythonのstatsmodelsで時系列分析入門 - Gunosyデータ分析ブログ
久しぶりの投稿になってしまいましたが、ニュースパス(現在CM放映中!!)開発部の大曽根です。 作業中はGrover Washington Jr のWinelightを聴くと元気が出ます。参加ミュージシャンが素晴らしいですね。 なぜ時系列分析をするのか 季節調整 実演 おまけ: 時間別に見てみる まとめ 今後 なぜ時系列分析をするのか 数値を非常に重視している弊社では、数値を知るためのツールとしてRedashやChartioおよびSlackへの通知を活用しています。現在の数値を理解する上では、長期のトレンド(指標が下がっているのか、上がっているのか)を知ることが重要です。しかし、日々変化するデータ(特に売上やKPIと言われる指標)は、ばらつきも大きく、変化を適切に捉えることが難しいこともあります。 特にSlackなどへの通知を行っていると、日々の変化に囚われがちです。例えば、弊社ではニュース
開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
「Azure Machine Learning」が正式版に、PythonやRのライブラリにも対応。誰でも機械学習を利用可能に
Azure Machine Learningを用いることで、利用者は機械学習のための大量の仮想マシンやHadoopのようなソフトウェアを用意する必要がなくなり、容易に機械学習による推論や予測、分析といったサービスを実現できるようになります。クライアントとしてExcelを利用することも可能。 モデルの作成には、Webブラウザからグラフィカルな操作が可能な「Azure Machine Learning Studio」が用意され、プログラミング不要で分析モデルを作成可能。そのモデルの中で行う計算や学習のためのライブラリとしてPythonとRにも対応ました。 あらかじめ機械学習を利用して構築されたレコメンデーション、アノマリー検出、テキスト分析などのサービスも「Azure Store」で提供され、すぐに利用可能です。コミュニティによるギャラリーも用意されています。いま見たところ「飛行機のエンジンの
RとPythonの連携 – Momentum
概要 ・PythonとRを連携させることで、PythonからRのコードを実行させる ・統計的な分析はRに、データのハンドリングなどはPythonに任せるのが現時点での最適解か ・この記事はR Advent Calendar 2014(https://atnd.org/events/58648)の12/10用の記事です モチベーション 専らRやPythonはトレーディング戦略のシミュレーションに用いているわけですが、たまには統計的な分析結果をもとにトレードする戦略などを考える時もあります。 シミュレーションの本体はPythonで構築しているので、自ずとPythonで統計分析モジュールも構築する必要があるのですが、これがなかなかかゆいところに手が届かない。 (scikit-learn?知らない子ですね。) やはり餅は餅屋ということで、統計分析はRに任せたい。 というか今まで培ってきたRのノウハ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Python」×「株価データ」で学ぶデータ分析のいろは