日本株3700社以上を分析。yfinance x「わが投資術」株式スクリーニングアプリを作った話（バイブコーディング）
いきなりですが。 海外旅行したり働き始めたりすると、日本の良さが身に染みたと感じた人は多いんじゃないでしょうか？ なんかとりあえず外で働いてみたいと思っていましたが、今はいつ戻るかと考える日々です。（とにかく温泉に入りたい） また色々と各国を回る中で、日本企業ってアジア圏や他の国にもかなり進出してるんだなぁと実感しました。（そりゃそう） そんなこんなで日本株に興味を持ち 昨年にわが投資術を購入して実践し始めました。（まだ初めて一年目なので成績はわかりません。。。が、マイナスは無し） 自分でバフェットコードや Claude mcp-yfinance などを利用しながらスクリーニングしてみましたが、毎回決算が出るたびに手動とチャット相手にあるのも何かなぁ。と思いまして。 じゃあ自動収集とスクリーニング用のアプリ作ってみよう(vibe coding) そんなノリから、日本株全銘柄を自動収集・簡易
機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視
# ----------------------------- # 2nd Screening V1 # ----------------------------- import time global_start_time = time.time() from google.colab import drive drive.mount('/content/drive') import pandas as pd import numpy as np import os from tqdm.notebook import tqdm import yfinance as yf from curl_cffi import requests # -------------------------------------------------- # ヘルパー関数定義セクション # --------
こんにちは！ 以前にDartsという時系列分析に特化したpythonライブラリを紹介しました。 前編はこちら 今回は実際にDartsを動かしていきましょう。 Darts内にもデータセットがありますが、公式でも触れられているのであえて、外部のデータを参照してみましょう。導入編でも触れたアイスクリームの生産量の変化を推測したいと思います。 アイスクリームのデータセットはこちら 上記リンクの上部右側Downloadからcsvをダウンロードしてください。 Dartsのインストールは以下の1コマンドです。Windowsではデフォルトのコマンドプロンプトでうまくインストールが終了しなかったので、WSL環境などを推奨します。 $ pip install darts ARIMAで学習してみる バックテストでモデルの選定を行う RNNで共変量を扱ってみる まとめ ARIMAで学習してみる まずは、導入編で最
Pandas が登場してから Python はデータ分析の事実上の標準言語になりました。 しかし、データ量が数千万行を超えると途端に RAM が足りない・処理が遅い という現実にぶつかります。 クラスタ環境に逃げる選択肢もありますが、準備・コスト・学習コストを考えると “ちょっと重い” だけのデータに対してはオーバーキルです。 そこで登場するのが Dask。 以下 3 点が現場エンジニアにとって大きな魅力です。 API 類似度 90 %: 既存の Pandas/NumPy 知識をそのまま使える。 遅延評価 × 並列化: PC のコア数を自動で使い切り、メモリフットプリントを抑制。 スケールラインが滑らか: ローカル PC → 分散クラスタへ“ほぼ同じコード”で移行可能。 今回は「大量 CSV を集計する」という 典型的に重くなる処理 を通して、Dask がどのように恩恵をもたらすかを見てみ
BigQueryを補完する技術: DuckDBとDataflowでのデータ処理入門 - yasuhisa's blog
背景 & Disclaimer DuckDB 概念や代表的なユースケース 使ってみる 1週間〜一ヶ月などある程度の期間、分析で使いたい場合 便利なCLIツールとして使う 所感 参考 Dataflow 代表的なユースケース 具体例 参考 背景 & Disclaimer BigQueryは非常に便利で、BigQueryにさえ上がってしまえばSQLで巨大なデータを簡単に相手にできます とはいえ、BigQueryに行きつくまでが大変な場合もありえます 例: 個人情報を含むsensitiveなデータで、BigQueryに気軽に上げられないケース 一時的であっても、相談なしにその手のデータを気軽にアップロードするのはやめてください... 数万件程度であれば手元のエクセルで開いて、問題ない行/列だけに絞る、ということもできるが、もっと量が多いデータだとそういうわけにもいかない。そもそも分析はSQLでやり
はじめまして！ askenのユウマと申します😊 shoku-pan🍞という名前でTwitterをやっています。 askenでは、MLエンジニアとして働いてます。 主に、画像処理や自然言語処理、データサイエンス周りを担当しています。 また、業務効率化のためのツールの作成や、ナレッジ共有のための社内勉強会を開いたりもしてます。 社外では、kaggleやatmaCupに参加したり、データサイエンティストの方達ともくもく作業したりと、ゆるゆると活動しています。 さて、先日以下のTweetが弊社のエンジニアの間で話題になりました。 7月に実施した全社キックオフの余興として、SmartHRのSlackで使われた絵文字のランキングを動くグラフにしてみました📊 絵文字って会社のカルチャーがめっちゃでますね🥰https://t.co/QYLNptK4e7 pic.twitter.com/CLaeu8
地球観測衛星（Sentinel-2）について 時系列変化を扱う場合、主に回帰日数（観測頻度）について抑えておく必要があります。ここでは、前回も利用したSentinel-2を用いながら改めて地球観測衛星について説明します。 光学衛星の特徴 光学センサを搭載した地球観測衛星（光学衛星）は地表面もしくは海面の反射光（主に可視光、近赤外線）を測定しています。物質は固有の反射スペクトルを持つため、得られた反射光のデータによって観測地点に何が存在するかが分かります。しかし、反射光は太陽光由来であるため、曇りの日や夜間は観測できないという欠点もあります。 光学衛星の軌道について Sentinel-2は太陽同期準回帰軌道（Sun-synchronous Sub-recurrent orbit）という軌道をしています。この軌道は太陽同期軌道と準回帰軌道を合わせた軌道です。 太陽同期軌道（Sun-synchr
外国為替取引（FX）は、通貨の相対的な価値変動を利用して利益を追求する投資手法の一つです。この記事では、Pythonを使用してFX取引を自動化する方法について詳しく説明します。自動化することで、トレードの機会を見逃さず、効率的にポジションを管理することが可能となります。 FX取引の基本 FX取引では、通貨ペアの価格変動を予測し、それに応じて売買を行います。主要な通貨ペアには、EUR/USD（ユーロ/米ドル）、USD/JPY（米ドル/日本円）などがあります。価格変動には様々な要因が影響しますが、経済指標や政治的な出来事が大きな影響を与えることがあります。 PythonとFX取引 Pythonは豊富なライブラリとユーザーフレンドリーな構文を持つ言語であり、金融データの分析やトレードアルゴリズムの開発に適しています。FX取引を自動化するためには、まずAPIを使用してリアルタイムな市場データを取得
Azure Databricksで試す、レイクハウスでの非構造化ログの分析 - NTT docomo Business Engineers' Blog
この記事は、NTT Communications Advent Calendar 2024 12日目の記事です。 Azure Databricksを使ってレイクハウスアーキテクチャのログ基盤を構築し、 構造化されていないアプリケーションログの保管や加工、分析を試します。 はじめに レイクハウスアーキテクチャ ログ基盤とレイクハウス Azure Databricksでアプリケーションログを分析する Azure Databricksの準備 Terraformを使ったリソース作成 カタログとスキーマの作成 ログの取り込み ログの加工 BronzeからSilver SliverからGold ログの分析 (可視化) まとめ 参考文献 はじめに こんにちは、コミュニケーション&アプリケーションサービス部の吉仲です。 2022年度に入社し、初期配属からメール系システムと文書要約APIの開発・運用業務に取
時系列分解の意義 多くの実世界のデータは、時間的な変化を伴った時系列データとして記録されます。需要予測、気象予報、株価分析など、時系列データを分析する分野は多岐にわたります。 時系列データは大抵以下のような構造が含まれています。 トレンド(Trend) : 長期的に増減する動き 季節成分(Seasonality) : 1年や1か月など一定の周期で繰り返す変動 残差(Residual) : 不規則な変動やノイズなど これらの成分を分解して扱えると、データの理解が格段に進み、将来予測や異常検知に応用する際にも有利になります。 伝統的な時系列分解モデル 加法モデル（Additive Model) 古典的な加法モデルによる時系列分解では、時系列 $y_t$ を以下のように表します。 $y_t = T_t + S_t + R_t$ $y_t$: 観測値 (Observed series) $T_t$
COCOAデータを読む
[2022-08-28] COCOA通知が来ました（2022-08-24に「合計51分間の接触」）。その時点のデータまで追記してあります（exposure_data.json も）。 COCOA 2.0.0 になって、MatchCount がログに記録されないようになりました。 COCOA 2.0.1 になって、COCOA アプリの「陽性登録者との接触結果を確認」→「情報を保存」で exposure_data.json という詳細ログが保存できるようになりました。これを見れば接触日などがわかります。私の iPhone のデータ例を置いておきます。中を見るための Python プログラムの一例です（同様なことをするためのサイト COCOAログチェッカー2.0 (β) や COCOAログ.jp ができました）： import json import pandas as pd with open
まえがき こんにちは、さつま芋です。 どうしてFX先生が胡散臭いのかに気づいてしまいました。 リスクの評価が緩すぎるんです。 「1日2万円ゲット」と煽る一方、「1日2万円ルーズ」には触れません。 投資リスクを評価しないところは実務的ではないと感じます。 さて、今回は偽チャートを作ってみました。 ランダムチャート 以前にも偽チャートを作ったことはあったのですが、ラインチャートでした。 今回はローソク足で それっぽくしてみました。 さらに移動平均線を付け足してみると次のとおりです。 あとがき もっと技術力があれば繊細な値動きも具現化できるかもしれません。 私の経験則ですが、チャートパターンやプライスアクション自体の意味より、むしろトレード回数の制限という役割に注目したほうがいいと思っています。 自戒を込めて言うと、優位性を過大評価してしまうと足元を掬われてしまいます。 優位性という言葉の印象と
Using AWS CodePipeline for deploying container images to AWS Lambda Functions | Amazon Web Services
AWS DevOps & Developer Productivity Blog Using AWS CodePipeline for deploying container images to AWS Lambda Functions AWS Lambda launched support for packaging and deploying functions as container images at re:Invent 2020. In the post working with Lambda layers and extensions in container images, we demonstrated packaging Lambda Functions with layers while using container images. This post will t
Web scraping is the process of downloading data from a public website. For example, you could scrape ESPN for stats of baseball players and build a model to predict a team’s odds of winning based on their players stats and win rates. Below are a few use-cases for web scraping. Monitoring the prices of your competitors for price matching (competitive pricing). Collecting statistics from various web
Matplotlibで時系列データをプロットすると、自動で軸が時間軸になります。 しかし、残念ながらデフォルト設定では、目盛り値が適切に表示できない場合が多々あります。 そこで、この記事では時系列データの軸設定について、次の内容を解説していきます。 時系列データの軸目盛の自動調整方法 表示期間の指定方法 Formatter, Locatorを使用した任意の目盛り設定方法 このあたりを抑えれば、時間軸目盛りがある程度自由にできるようになってきます。 時系列データの軸目盛り 時系列目盛りの設定方法の基本 時系列目盛りの自動調整機能 表示期間の指定 FormatterとLocaterの基本 デフォルトのFormatterとLocator 目盛りの表示形式の設定（Formatter） フォーマット指定子まとめ 【コピペ用】フォーマットテンプレ シンプルなフォーマット 目盛りの表示位置の設定（Loc
普段、筆者がデータの前処理で使っているpandasやNumPy、scikit-learnなどのモジュールの使い方を逆引きのリファレンス形式でまとめました。 一部のサンプルデータや前処理の手法については、データサイエンティスト協会の100本ノック(構造化データ加工編)を参考にさせていただきました。素晴らしいコンテンツをご用意頂いたこと本当に感謝します。 それでは、以下のモジュールをインポートして、この記事をデータ前処理時の辞書代わりにして利用してください。 モジュールのインポート import numpy as np import pandas as pd from sklearn import preprocessing as pp from sklearn.model_selection import train_test_split from imblearn.under_sampli
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列データを前処理する際のPython逆引きメモ - EurekaMoments
Python×株式投資：従来の100倍！銘柄選抜のバックテストを高速化した話 - Qiita
時系列分析をお手軽に！機械学習ライブラリDartsの実演 - DATAFLUCT Tech Blog
Python Dask入門 小さなマシンで大きなデータを扱う最初の一歩
あすけんSlackの人気絵文字ランキング - asken テックブログ
【Python】衛星リモートセンシングで時系列変化を捉える【NDVI】 - LabCode
Pythonを利用した外国為替取引（FX）の自動化 - Python転職初心者向けエンジニアリングブログ
【時系列データ】衛星データの時系列分解を行う【STL分解】 - LabCode
【FX雑談】Pythonでランダムチャートを作ってみました - さつま芋の勉強日記
How to Crawl the Web with Scrapy
Matplotlib 時系列データの軸設定｜自由に時間軸を設定！ - YutaKaのPython教室
Python(pandas、NumPy、scikit-learnなど)によるデータの前処理大全