日本株3700社以上を分析。yfinance x「わが投資術」株式スクリーニングアプリを作った話（バイブコーディング）
いきなりですが。 海外旅行したり働き始めたりすると、日本の良さが身に染みたと感じた人は多いんじゃないでしょうか？ なんかとりあえず外で働いてみたいと思っていましたが、今はいつ戻るかと考える日々です。（とにかく温泉に入りたい） また色々と各国を回る中で、日本企業ってアジア圏や他の国にもかなり進出してるんだなぁと実感しました。（そりゃそう） そんなこんなで日本株に興味を持ち 昨年にわが投資術を購入して実践し始めました。（まだ初めて一年目なので成績はわかりません。。。が、マイナスは無し） 自分でバフェットコードや Claude mcp-yfinance などを利用しながらスクリーニングしてみましたが、毎回決算が出るたびに手動とチャット相手にあるのも何かなぁ。と思いまして。 じゃあ自動収集とスクリーニング用のアプリ作ってみよう(vibe coding) そんなノリから、日本株全銘柄を自動収集・簡易
機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視
# ----------------------------- # 2nd Screening V1 # ----------------------------- import time global_start_time = time.time() from google.colab import drive drive.mount('/content/drive') import pandas as pd import numpy as np import os from tqdm.notebook import tqdm import yfinance as yf from curl_cffi import requests # -------------------------------------------------- # ヘルパー関数定義セクション # --------
こんにちは！ 以前にDartsという時系列分析に特化したpythonライブラリを紹介しました。 前編はこちら 今回は実際にDartsを動かしていきましょう。 Darts内にもデータセットがありますが、公式でも触れられているのであえて、外部のデータを参照してみましょう。導入編でも触れたアイスクリームの生産量の変化を推測したいと思います。 アイスクリームのデータセットはこちら 上記リンクの上部右側Downloadからcsvをダウンロードしてください。 Dartsのインストールは以下の1コマンドです。Windowsではデフォルトのコマンドプロンプトでうまくインストールが終了しなかったので、WSL環境などを推奨します。 $ pip install darts ARIMAで学習してみる バックテストでモデルの選定を行う RNNで共変量を扱ってみる まとめ ARIMAで学習してみる まずは、導入編で最
BigQueryとGemini 1.5 Proによるラーメン店クチコミの定量分析 - G-gen Tech Blog
G-gen の神谷です。本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策 料金 感情分析とデータパイプライン Dataform の利点 Dataform を使った感情分析のパイプライン定義例 感情分析の結果解釈 ML.GENERATE_TEXT（Gemini 1.5 Pro） 関数を使用した高度な分析 ユースケースに応じた独自の評価観点によるクチコミの定量化
IAMのポリシー設定画面 IAMユーザの作成方法の詳細は、IAM公式ドキュメント、または他の参考資料をご確認ください。 IAMユーザを作成する時に、「アクセスキー」と「シークレットアクセスキー」が作成時のみ画面に表示されます。これらのキーは後ほどログを取得する際に利用しますので、大切に保管してください。 AWSプロファイルを手元のPCに設定する方法もありますが、今回はプロファイルを生成せずに環境変数でコードに渡す方法で説明します。AWSプロファイルの設定を行いたい場合は、AWS公式ドキュメント（Configure the AWS CLI） を確認してください。 環境変数への登録と確認 「アクセスキー」と「シークレットアクセスキー」を環境変数に設定します。 $ export AWS_ACCESS_KEY=****************JUMP # 作成したアクセスキー $ export
Amazon Bedrock AgentCore で実現する「Code excecution with MCP」 - Taste of Tech Topics
この記事は AI Agent on AWS - Qiita Advent Calendar 2025 - Qiita 16日目の記事です。 1. はじめに こんにちは。データ分析エンジニアの木介です。 Anthropic が公開した「Code execution with MCP: building more efficient AI agents」では、MCP（Model Context Protocol）とコード実行環境を組み合わせて、コンテキスト消費を抑えながらツールを使うための新しい設計パターンとして Code execution with MCP が紹介されました。 今回は、この Code execution with MCP を Amazon Bedrock AgentCore と Strands Agents で実装し、直接MCPを実行するAgent と比較して、実行時間・消
はじめまして！ askenのユウマと申します😊 shoku-pan🍞という名前でTwitterをやっています。 askenでは、MLエンジニアとして働いてます。 主に、画像処理や自然言語処理、データサイエンス周りを担当しています。 また、業務効率化のためのツールの作成や、ナレッジ共有のための社内勉強会を開いたりもしてます。 社外では、kaggleやatmaCupに参加したり、データサイエンティストの方達ともくもく作業したりと、ゆるゆると活動しています。 さて、先日以下のTweetが弊社のエンジニアの間で話題になりました。 7月に実施した全社キックオフの余興として、SmartHRのSlackで使われた絵文字のランキングを動くグラフにしてみました📊 絵文字って会社のカルチャーがめっちゃでますね🥰https://t.co/QYLNptK4e7 pic.twitter.com/CLaeu8
Python で映画をオススメしてみる〜ユーザー評価に基づくレコメンド・システムの基礎とデータに潜むバイアス〜 - GMOインターネットグループ グループ研究開発本部
2022.01.07 Python で映画をオススメしてみる 〜ユーザー評価に基づくレコメンド・システムの基礎とデータに潜むバイアス〜 導入 こんにちは次世代システム研究室の T. I. です。 さて、今回の Blog では、前回の Blog に引き続き「施策デザインのための機械学習入門」を参考に日常のデータサイエンスの業務で生じうるバイアスとその対処方法について紹介します。 今回の課題はレコメンド・システムです。我々がインターネットを利用していると、日常の様々な場面で商品・作品をお勧めされていると思います。これらは各種Webサービスが日夜集めたアイテムや顧客のデータを元になされています。アイテムの推奨には２種類考えられます。 (1) ユーザーが興味を持って何度も閲覧・視聴しているものを推奨して再度コンヴァージョン(購入・試聴)してもらう。 (2) ユーザーが興味を持ってもらえるであろう新
地球観測衛星（Sentinel-2）について 時系列変化を扱う場合、主に回帰日数（観測頻度）について抑えておく必要があります。ここでは、前回も利用したSentinel-2を用いながら改めて地球観測衛星について説明します。 光学衛星の特徴 光学センサを搭載した地球観測衛星（光学衛星）は地表面もしくは海面の反射光（主に可視光、近赤外線）を測定しています。物質は固有の反射スペクトルを持つため、得られた反射光のデータによって観測地点に何が存在するかが分かります。しかし、反射光は太陽光由来であるため、曇りの日や夜間は観測できないという欠点もあります。 光学衛星の軌道について Sentinel-2は太陽同期準回帰軌道（Sun-synchronous Sub-recurrent orbit）という軌道をしています。この軌道は太陽同期軌道と準回帰軌道を合わせた軌道です。 太陽同期軌道（Sun-synchr
外国為替取引（FX）は、通貨の相対的な価値変動を利用して利益を追求する投資手法の一つです。この記事では、Pythonを使用してFX取引を自動化する方法について詳しく説明します。自動化することで、トレードの機会を見逃さず、効率的にポジションを管理することが可能となります。 FX取引の基本 FX取引では、通貨ペアの価格変動を予測し、それに応じて売買を行います。主要な通貨ペアには、EUR/USD（ユーロ/米ドル）、USD/JPY（米ドル/日本円）などがあります。価格変動には様々な要因が影響しますが、経済指標や政治的な出来事が大きな影響を与えることがあります。 PythonとFX取引 Pythonは豊富なライブラリとユーザーフレンドリーな構文を持つ言語であり、金融データの分析やトレードアルゴリズムの開発に適しています。FX取引を自動化するためには、まずAPIを使用してリアルタイムな市場データを取得
時系列分解の意義 多くの実世界のデータは、時間的な変化を伴った時系列データとして記録されます。需要予測、気象予報、株価分析など、時系列データを分析する分野は多岐にわたります。 時系列データは大抵以下のような構造が含まれています。 トレンド(Trend) : 長期的に増減する動き 季節成分(Seasonality) : 1年や1か月など一定の周期で繰り返す変動 残差(Residual) : 不規則な変動やノイズなど これらの成分を分解して扱えると、データの理解が格段に進み、将来予測や異常検知に応用する際にも有利になります。 伝統的な時系列分解モデル 加法モデル（Additive Model) 古典的な加法モデルによる時系列分解では、時系列 $y_t$ を以下のように表します。 $y_t = T_t + S_t + R_t$ $y_t$: 観測値 (Observed series) $T_t$
こんにちは、@Yoshimiです。 株価予測アプリをリリースすることが決まりました！ 初心にかえり、株価取得から機械学習で予測するところまで、さらにその先のチューニングまでをブログで粛々とアップしていきたいな〜なんて考えています。 YahooのYahoo! Finance APIとは？ https://pypi.org/project/yahoo-finance-api2/ 東京証券取引所に上場している銘柄の株価はほとんど取得できます。大体3,500銘柄くらいです。勉強のために利用するのであれば、十分なのですが、YahooのYahoo! Finance APIは2017年に公式の提供を終了しているのです。 「えっ？？？」と思われると思いますが、サポートされていないだけで利用することは可能なのです。 以前、「Pythonのライブラリpandas-datareaderで株価を取得する」でライブ
はじめに 5倍が 20倍に!?!?! こんにちは｡ jodaと申します｡ 機械学習を使用した仮想通貨botをつくってみた(い) ということで､ まずは機械学習を利用して､勝てるロジックを見つけていこうと思います｡ 簡単な自己紹介をさせていただきますと､ 自分はここ2年ほど､C++をベースとした為替の自動売買システム(EA)を作って稼働させておりました｡ (結果は微妙です) 心機一転､世を賑わせる仮想通貨にも手を出そう! ということで､仮想通貨botをつくっていこうと思ったのですが､ 肝心のトレードロジックの検証方法がわからない状況でした｡ 今回は､まずpnadasを使って検証を行います｡ その後､冒頭の画像のように､ 機械学習を使ってトレードロジックを改善したいと思います｡ (実際の執行が冒頭の画像の様になるとは限りません) 概要 こちらの記事は､ jodawithforce.hatena
今回は、1分足や5分足のような小刻みの株価データを取得したいなと考えておりまして、こちらのタイトルに挑戦することになりました。 実行環境 MacOS VSCode Python3.7.7(anaconda) 【Python入門】プログラミングで自分だけの株価データを手に入れよう Python3 Yahoo Finance APIを試す pythonでYahoo Financeから株価の一分足データを取得する(投資活動日記 2020/06/18) 事前準備 まず、事前準備として、APIを使うためのライブラリをインストールする必要があります。 特に難しいことはなく、 from datetime import datetime import pandas as pd import sys import numpy as np from yahoo_finance_api2 import shar
まえがき こんにちは、さつま芋です。 どうしてFX先生が胡散臭いのかに気づいてしまいました。 リスクの評価が緩すぎるんです。 「1日2万円ゲット」と煽る一方、「1日2万円ルーズ」には触れません。 投資リスクを評価しないところは実務的ではないと感じます。 さて、今回は偽チャートを作ってみました。 ランダムチャート 以前にも偽チャートを作ったことはあったのですが、ラインチャートでした。 今回はローソク足で それっぽくしてみました。 さらに移動平均線を付け足してみると次のとおりです。 あとがき もっと技術力があれば繊細な値動きも具現化できるかもしれません。 私の経験則ですが、チャートパターンやプライスアクション自体の意味より、むしろトレード回数の制限という役割に注目したほうがいいと思っています。 自戒を込めて言うと、優位性を過大評価してしまうと足元を掬われてしまいます。 優位性という言葉の印象と
今回はこれの進化版です。 Yahooファイナンスから株価を取得できるライブラリーを発見したのでご紹介します。 結論から言いますと、過去記事でご紹介した方法は不要になりますw この記事で紹介する方法1つを理解しておけばOKです。 圧倒的に短いコードで簡単に株価データが取得できます。 日本株にも対応しているので無敵です。 なんで今まで気づかなかったのか、めちゃくちゃ後悔しています。。。w この記事ではyahoo_finance_api2を使って株価データを取得する方法について解説していきます。 yahoo_finance_api2の基本的な使い方 まずはyahoo_finance_api2の基本的な使い方を見ていきます。 ライブラリーページへ行くと、基本的な使い方を確認できます。（英語ページ） pipにも対応しているので、"pip install yahoo_finance_api2"で簡単に
こんにちは、Emotion TechでSREチームに属している菅原です。 Pythonで実装されたデータ処理のテストを書く際に、まとまったテストデータが必要ということはあるかと思います。 今まではテスト用のCSVファイルを用意する or 適当な値を入れたPandasのデータフレームを用意する、で対応していました。 今回は、簡単にテストデータを用意する手段として、panderaの機能が使えないか試してみました。 panderaとは panderaは、データフレームでデータバリデーションを実行して、データ処理パイプラインをより読みやすくロバストにするためのライブラリです。 公式ドキュメントの例をみてみましょう。 import pandas as pd import pandera as pa # data to validate df = pd.DataFrame({ "column1": [
Matplotlibで時系列データをプロットすると、自動で軸が時間軸になります。 しかし、残念ながらデフォルト設定では、目盛り値が適切に表示できない場合が多々あります。 そこで、この記事では時系列データの軸設定について、次の内容を解説していきます。 時系列データの軸目盛の自動調整方法 表示期間の指定方法 Formatter, Locatorを使用した任意の目盛り設定方法 このあたりを抑えれば、時間軸目盛りがある程度自由にできるようになってきます。 時系列データの軸目盛り 時系列目盛りの設定方法の基本 時系列目盛りの自動調整機能 表示期間の指定 FormatterとLocaterの基本 デフォルトのFormatterとLocator 目盛りの表示形式の設定（Formatter） フォーマット指定子まとめ 【コピペ用】フォーマットテンプレ シンプルなフォーマット 目盛りの表示位置の設定（Loc
DBバージョンアップ検証の不安と大変さにどこまで向き合うか考える - Sansan Tech Blog
こんにちは、Digitization部で名刺データ化システムの開発をしている荻野です。 先日弊チームは、名刺データ化システムのDBをAurora2（MySQL5.7互換）からAurora3（MySQL8.0互換）へバージョンアップしました。 DBのバージョンアップは影響が大きい一方で、懸念が完全になくなるまで検証コストを掛けるのが難しい業務だと思います。 この記事では弊チームがどういう向き合い方をしたかのメモを残しておきます。 類似の中〜大規模なDBバージョンアップにどう向き合うかの知見やノウハウの一例として参考にしていただければ幸いです。 Aurora2はすでにEOLを迎えて公式ドキュメントやネットの記事なども多いため、バージョンアップに関する細かい知識や仕様の説明は割愛します。 今回のDBを取り巻くざっくりした情報 どこまで検証すればいいかのラインを事前に引く 低コスト低リターンな検証
この記事は、dbt Advent Calendar 2025 の 20日目の記事です。 qiita.com バクラク事業部 BizOps部 データグループへ25年11月に入社した さえない（ @saeeeeru ）です。LayerX のデータグループは BizOps 部に所属し、「事業成果に直結するデータ基盤」を構築しています。事業の意思決定を支える Fact Base の提供から、AI エージェントが活用できるデータ環境の整備まで、幅広い役割を担っています。詳しくは昨日の記事で紹介していますので、気になった方は是非ご覧ください。 tech.layerx.co.jp このデータ基盤でデータモデリングの中核になっているのが dbt （data build tool）です。dbt はデータウェアハウス内のデータ変換を SQL で記述・管理するツールで、変換ロジックを持つモデルは基本的に SQL
普段、筆者がデータの前処理で使っているpandasやNumPy、scikit-learnなどのモジュールの使い方を逆引きのリファレンス形式でまとめました。 一部のサンプルデータや前処理の手法については、データサイエンティスト協会の100本ノック(構造化データ加工編)を参考にさせていただきました。素晴らしいコンテンツをご用意頂いたこと本当に感謝します。 それでは、以下のモジュールをインポートして、この記事をデータ前処理時の辞書代わりにして利用してください。 モジュールのインポート import numpy as np import pandas as pd from sklearn import preprocessing as pp from sklearn.model_selection import train_test_split from imblearn.under_sampli
はじめに 現在この記事は作成中です! 年内に完成を目指して更新していきます! はじめまして｡ jodaと申します｡ 今回､アイデミー様の「実践データサイエンス講座」における成果物を作成していきます｡ 成果物として選んだものは､ 機械学習を使用した仮想通貨botとなっております｡ 自分はここ2年ほど､C++をベースとした 為替の自動売買システム(EA)を作って稼働させておりました｡ (結果はお察しください) 心機一転､世を賑わせる仮想通貨に手を出そう! ということで､仮想通貨botをつくっていこうと思ったのですが､ 肝心のトレードロジックの検証方法がわからない状況でした｡ 検証方法としては､pandasを使ったり､ エクセルを使ったりいろいろな方法がある模様ですが､ どうせなら機械学習をやりたい､ ということで､アイデミー様のお世話になっている次第です｡ チャレンジな内容になって来ると思いま
上限の10,000件 CloudWatch のコンソールから10,000件を超えるログはダウンロードできません。なので、コンソール上からできることは、取得できたログから次の10,000件の範囲を絞り込んで、10,000件のログを取得、、、以下繰り返し。といったことくらいです。 これはちょっとめんどくさいのでPythonの boto3 を使ってらくに取得しましょう。 import boto3 from tqdm import tqdm import pandas as pd import time from datetime import datetime def get_log(client, log_group_name, timestamps, query, limit): interval = 60 # タイムスタンプで60秒 total_intervals = int((times
はじめにBacktestAssistantはpythonによるシステムトレードの分析・検証を行うためのバックテストツールです。 いわゆるbotter向けのツールのため、pythonにて取引所APIを使ってデータ収集や取引ができる、できれば簡単なbotなどの作成経験があるという方が対象となります。 (上記に当てはまらない場合、本ツールが有効とならない可能性がありますのでご注意ください。) 冒頭から少し厳し目な記載となっていますが、利用者・著者双方にとって不利益とならないように対象ユーザーを明示しています。 以降の解説やコードサンプルにて本ツールが提供する機能や制約事項をご確認頂き、ご自身にとって有用なものかご判断ください。 本ツールはBitMEXやbybitに代表されるBTC/USDトレードに最適化した機能構成となっており、botのコーティングのようにテストコードを作成・検証することができま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列データを前処理する際のPython逆引きメモ - EurekaMoments
Python×株式投資：従来の100倍！銘柄選抜のバックテストを高速化した話 - Qiita
時系列分析をお手軽に！機械学習ライブラリDartsの実演 - DATAFLUCT Tech Blog
AWS CloudWatchのログをpandasで解析し、エラーの状況を可視化する | gihyo.jp
あすけんSlackの人気絵文字ランキング - asken テックブログ
【Python】衛星リモートセンシングで時系列変化を捉える【NDVI】 - LabCode
Pythonを利用した外国為替取引（FX）の自動化 - Python転職初心者向けエンジニアリングブログ
【時系列データ】衛星データの時系列分解を行う【STL分解】 - LabCode
YahooのYahoo! Finance APIを利用して株価を取得する | なんじゃもんじゃ
仮想通貨MLBot つくってみた い ② テンプレートコード - joda!!
APIで取得した株価データをcsvファイルに保存する方法 - Qiita
【FX雑談】Pythonでランダムチャートを作ってみました - さつま芋の勉強日記
【Pythonコード解説】yahoo_finance_api2で日本株の株価データを取得する
panderaのデータ生成機能を試してみた - EmotionTechテックブログ
Matplotlib 時系列データの軸設定｜自由に時間軸を設定！ - YutaKaのPython教室
LayerXのdbt Pythonモデル活用術 - 外部連携の実装パターン - LayerX エンジニアブログ
Python(pandas、NumPy、scikit-learnなど)によるデータの前処理大全
機械学習を利用した仮想通貨Bot作ってみた い BaseCode - joda!!
CloudWatchのLogsの取得上限の10,000件を突破する方法 - Qiita
バックテスト補助ツール「BacktestAssistant v3.0」｜Nagi