日本株3700社以上を分析。yfinance x「わが投資術」株式スクリーニングアプリを作った話（バイブコーディング）
いきなりですが。 海外旅行したり働き始めたりすると、日本の良さが身に染みたと感じた人は多いんじゃないでしょうか？ なんかとりあえず外で働いてみたいと思っていましたが、今はいつ戻るかと考える日々です。（とにかく温泉に入りたい） また色々と各国を回る中で、日本企業ってアジア圏や他の国にもかなり進出してるんだなぁと実感しました。（そりゃそう） そんなこんなで日本株に興味を持ち 昨年にわが投資術を購入して実践し始めました。（まだ初めて一年目なので成績はわかりません。。。が、マイナスは無し） 自分でバフェットコードや Claude mcp-yfinance などを利用しながらスクリーニングしてみましたが、毎回決算が出るたびに手動とチャット相手にあるのも何かなぁ。と思いまして。 じゃあ自動収集とスクリーニング用のアプリ作ってみよう(vibe coding) そんなノリから、日本株全銘柄を自動収集・簡易
Python×株式投資｜仕事終わりでも投資を諦めない。スクリーニング結果を自動通知するBotを作る（中編） - Qiita
素人が生成AI無料期間中に作る！毎日自動で銘柄スクリーニング＆X自動通知Bot これまでの経緯 本記事は、Pythonによる株式スクリーニング自動化・実践の続編です。これまでの背景や検証の流れは、以下の記事をご確認ください。 現在構築中のスクリーニングモデルの全体像と今回やること 生成AI無料期間にスクリーニング結果自動通知botを作り始めた 今回のモデルのスクリーニング速度を100倍向上した方法 yfinance由来の軽量データセット構築 今回のモデルの改善点 今回のスクリーニングモデルの精度 相場状況を簡易的に数値化する 財務スクリーニング *2025年7月7日 リンク修正しました。お知らせいただきありがとうございました。 はじめに 毎日自動で銘柄スクリーニングの結果を知れたら、仕事が終わった後の疲れたの脳でも、めんどくさがらずに、お布団に吸引されることもなく、定期的に投資が続けられる
日々のExcel管理を効率化するPythonスクリプトをChatGPTに作ってもらう - Taste of Tech Topics
最近は朝型にシフトしてウォーキングを始めました。菅野です。 皆さんは日々の業務でどれぐらいExcelを用いているでしょうか？ 表計算ソフトであるExcelですが、計算のみならず、グラフ描画や、文章を表形式でまとめたり、マニアックな使い方ではアニメーションの作成までできてしまいます。 エンジニア以外の方も業務で使用することが多いのではないでしょうか？ しかしながら、業務上でExcelを用いると、日々の煩雑な作業が多くなりやすい印象です。 エンジニアであればVBA等を調べてマクロを作るといったことも可能ですが、一般の人にはハードルが高くなってしまいがちです。 今回はそんなExcelを用いた業務をChatGPTにPythonスクリプトを作ってもらうことで効率化してみましょう。 今回のテーマではGPT-4のモデルを使用します。 また、CodeInterpreterで対象のExcelファイルを読み込
鈴木たかのり（@takanory）です。今月の「Python Monthly Topics」では、Webブラウザ上でPythonが動作するPyScriptについて、内部構造なども含めて詳しく解説したいと思います。 PyScript公式サイト（https://pyscript.net/） Warning：PyScriptは現在非常に活発に開発が進んでいるプロダクトのため、将来的にこの記事のサンプルコードが動かなくなる可能性があります。記事執筆時点では最新バージョンであるPyScript 2023.03.1で動作確認しています。うまく動かない場合はPyScriptの公式ドキュメントなどを参照してみてください。 PyScript - PyScript documentation PyScriptとは？ PyScriptは公式サイトに「Run Python in Your HTML」と書いてあると
寺田 学（@terapyon）です。2024年4月の「Python Monthly Topics」は、Python Web UIフレームワークの1つであるStreamlitを使ってWindowsやmacOSのデスクトップアプリを作る方法を解説します。 目的・モチベーション Pythonで自動化のスクリプトを作ったり、JupyterLabやColaboratoryでデータの可視化を行うことがあります。これらを作成者以外の多くの方に利用してもらう方法として、Webシステムやデスクトップアプリとして提供する方法が考えられます。 Webシステムの構築やデスクトップアプリの作成となると、技術的なハードルがあります。他には、時間的なコストに見合わないという状況もあり得ます。 Python Web UIフレームワークを使うことで、比較的少ないコードでWeb UIからスクリプトの実行や可視化をするアプリ
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
こんにちは。ROBOT PAYMENT （以下、ロボペイ）でエンジニアをしているtakamoriです。 私が所属しているチームでは、請求先マイページ機能を開発しており、その中でユーザー認証基盤をAuth0からCognitoへと移行させました。そこで今回は、Auth0からCognitoへのユーザー移行手順を書いていきたいと思います。 ※ 本記事ではAuth0やCognitoの環境構築は対象外で、それぞれの環境が構築済み前提となります。 移行手順 Auth0からユーザーをエクスポート Auth0ユーザー情報をCognitoユーザー情報へマッピング Cognitoへユーザーをインポート Auth0からユーザーをエクスポート Auth0からのユーザーをエクスポートするには、ExportUsersJob APIを利用します。GetUsers APIを利用して取得することも可能ですが1,000件の取得
# ----------------------------- # 2nd Screening V1 # ----------------------------- import time global_start_time = time.time() from google.colab import drive drive.mount('/content/drive') import pandas as pd import numpy as np import os from tqdm.notebook import tqdm import yfinance as yf from curl_cffi import requests # -------------------------------------------------- # ヘルパー関数定義セクション # --------
BigQueryとGemini 1.5 Proによるラーメン店クチコミの定量分析 - G-gen Tech Blog
G-gen の神谷です。本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策 料金 感情分析とデータパイプライン Dataform の利点 Dataform を使った感情分析のパイプライン定義例 感情分析の結果解釈 ML.GENERATE_TEXT（Gemini 1.5 Pro） 関数を使用した高度な分析 ユースケースに応じた独自の評価観点によるクチコミの定量化
【機械学習】機械学習を用いたin silico screening【AI創薬】~第2/5章 スクレイピングによる公共データベース（PDB)からの機械学習データを収集~ - LabCode
AI創薬とは？AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeenin
PyCaretからAutoVizを使用して探索的データ分析（EDA）を簡単に行ってみる - DATAFLUCT Tech Blog
こんにちは！nakamura（@naka957）です。本記事では、PyCaretで簡単に探索的データ分析を行う方法をご紹介します。 探索的データ分析（Explanatory Data Analysis: EDA）とは、データセットを様々な視点から分析し、データを考察することを目的に行うことです。EDAで得られた知見や仮説を活用し、その後のデータ分析や機械学習モデルの構築を有効に行うことができます。 データを考察するための最も有効な手法は、可視化することです。そのため、データを可視化するスキルはEDAにおいて非常に重要になります。本記事ではEDAを目的とした可視化する方法をご紹介します。 では、早速始めていきます。 PyCaretとは AutoVizとは ライブラリのインストール 実行の前準備 EDAの実行 散布図 棒グラフ 密度分布 Violinプロット ヒートマップ（相関係数） Auto
Embedding Model を用いたキーフレーズ抽出の検証といろんな Embedding Model の比較 - ABEJA Tech Blog
こんにちは！ABEJAでデータサイエンティストをしている藤原です。ABEJAアドベントカレンダー2024 の11日目のブログになります！ キーフレーズ抽出を簡単に試すという機会がよくあるのですが、簡単に検証する範囲だといつも同じツール・モデルを使っているため、他の方法でも上手くキーフレーズ抽出ができないか？ということで今回いくつか検証してみました。やることとしては、まず Embedding Model を使って日本語の長めの文章からキーフレーズを上手く抽出できるか？というのを検証します。その上で、色々な Embedding Model 間で抽出されるフレーズがどのように違うか？も比較してみます。 目次 目次 はじめに キーワード抽出・キーフレーズ抽出とは？ キーフレーズ抽出の手法 1. グラフベース・統計ベース 2. LLM ベースのアプローチ 3. Embedding ベースのアプローチ
人手のリサーチをデータパイプラインに。dbt Python model × LLM Web Searchで公開情報をSnowflakeに載せるまで - LayerX エンジニアブログ
LayerX BizOps 部データグループのさえない (@saeeeeru) です。最近は娘と『名探偵プリキュア！』にハマっています。「自分で見て、感じて、考えて、"本当"の答えを出す」。AI 時代だからこそ刺さるメッセージです（推理パートをちゃんと解けるようになりたい）。 前回の記事では、dbt Python model から外部 API を呼び出す実装パターンを紹介しました。今回はその応用として、LLM の Web Search 機能を使って公開情報を取得し、それをデータパイプラインに組み込む実践例を書きます。 この記事では、まず LLM の Web Search 機能をどう使うとデータパイプラインに載せやすい形になるのか を説明し、そのうえで Snowflake / dbt にどう載せたのか、そして本番運用の中でどんな品質課題が見えてきたのか、という順に整理します。 Web Sea
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 本エントリーはコネヒトアドベントカレンダーの15日目の記事になります． 今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思います． アドベントカレンダー1日目でたかぱいさんがSageMaker Processingの使い所を紹介してくれているので，こちらも併せて参考下さい． tech.connehito.com はじめに 前回のエントリー*1でML Test Scoreの話をしましたが，その際にMLOpsの大事な要素である再現性（モデル学習など）に触れました．今回はこのモデル学習の再現性のために必要な実験結果（ハイパーパラメータの引数の値，モデル評価指標など）の管理をSageMaker Experimentsでしているというお話です． ※本エ
4 Pandas Anti-Patterns to Avoid and How to Fix Them
pandas is a powerful data analysis library with a rich API that offers multiple ways to perform any given data manipulation task. Some of these approaches are better than others, and pandas users often learn suboptimal coding practices that become their default workflows. This post highlights four common pandas anti-patterns and outlines a complementary set of techniques that you should use instea
データドリフトを簡単検知！Pythonライブ...
本番環境のモデル精度が低下する現象をドリフトと呼びます。特にデータ由来をデータドリフトと呼びます。 機械学習はデータから入力情報と予測対象の関係性を推定する手法です。そのため、前提となる入力情報の性質が変化すると（データドリフト）、予測精度が低下します。 データドリフトの検知は機械学習のサービスを運用する上で非常に重要ですが、ドリフト検知を含まない機械学習プロジェクトも多いのではないでしょうか。 本記事では、ドリフト検知が簡単にできるPythonライブラリのEvidentlyをご紹介します。Evidentlyを使えば、簡単にドリフト検知が可能です。 では、本題に入っていきましょう。 目次 データドリフトとは Evidently データセットとモデルの準備 データドリフトのレポート出力 レポートの内容確認 まとめ データドリフトとは 収集されるデータの性質が変化することをデータドリフトと呼び
野球のビッグデータをGCPとPySparkでいい感じに使いやすくしてみた - DataprocとGCFを使った緩いデータ基盤 - Lean Baseball
最近の野球界隈の出来事が斜め上すぎて驚いてるマンです.*1 本業の仕事および, 本業じゃない個人開発や趣味プログラミングにおいて, データの量が多くて 単位やフォーマットが不揃いで それでも仕事（もしくは趣味の分析）をこなすため, いい感じの使いやすいデータセットにしないと（使命感） という機会は非常に多いです. いや, 機会が多いというより多かれ少なかれ毎日戦っている気がします. 今回は, ちょっとした分析とお遊びのため, メジャーリーグの公式データサイト「Baseball Savant」のデータを使ったBigQueryデータベースを作りたくなったので, クローラーでBaseball Savantのデータを取ってCSVにして CSVからデータを集計したり整えたりしていい感じの単位にして BigQueryから使えるようにしてみたよ！ というタスクをGoogle Cloud Platform
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・langchain 0.1.16 【最新版の情報は以下で紹介】 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント v0.1 ではlangchainパッケー
実験の再現性を高めるデータバージョン管理（DVC）の紹介 - techtekt（テックテクト） | パーソルキャリアのエンジニアブログ
データバージョンの管理とは？ データバージョンの管理とは、バイナリデータのバージョンを管理することを指します。データバージョンの管理は、Git 等でのコードのバージョン管理をバイナリデータに拡張しています。実験の再現性を高められるメリットがあります。 DVC とは？ データのバージョンを管理する機能をもつオープンソースソフトウェアです。データのハッシュをテキストファイルで保持し git でバージョン管理します。また、yaml ファイルで実行パイプラインを定義して監視対象データが更新された際にハッシュを更新することで、新しいハッシュ値を含んだデータをバージョン管理します。更新されたデータファイルはキャッシュディレクトリに保存され、必要なタイミングで自動的に復元されます。 データのリモートリポジトリを定義することで、データ一式を簡単なコマンド操作で S3 等へ push / pull すること
Tensorflow Data Validationを用いた機械学習用データセットの検証方法 - DATAFLUCT Tech Blog
こんにちは！nakamura（@naka957）です。本記事では、TensorFlowの拡張機能であるTensorFlow Data Validationを用いたデータセット検証を行う方法をご紹介します。 データセット検証とは、機械学習モデルの構築時に使う訓練データと運用データの間の違いを調べることです。訓練データと運用データの性質に違いが存在すると、モデル精度の悪化に繋がります。そのため、構築したモデルの精度監視だけでなく、より前工程となるデータセット時点での検証も非常に重要になります。特に、データセットサイズが大きくなるほど、手作業での検証が困難となるため、効率的で自動化された検証方法が求められてきます。 データセット検証を行うライブラリは様々ありますが、今回は機械学習の実装フレームワークとして特に有名なTensorFlow系のライブラリを用いて行います。 では、早速始めていきます。
Amazon Bedrock AgentCore で実現する「Code excecution with MCP」 - Taste of Tech Topics
この記事は AI Agent on AWS - Qiita Advent Calendar 2025 - Qiita 16日目の記事です。 1. はじめに こんにちは。データ分析エンジニアの木介です。 Anthropic が公開した「Code execution with MCP: building more efficient AI agents」では、MCP（Model Context Protocol）とコード実行環境を組み合わせて、コンテキスト消費を抑えながらツールを使うための新しい設計パターンとして Code execution with MCP が紹介されました。 今回は、この Code execution with MCP を Amazon Bedrock AgentCore と Strands Agents で実装し、直接MCPを実行するAgent と比較して、実行時間・消
Join a VS Code Dev Days event near you to learn about AI-assisted development in VS Code. Update 1.70.1: The update addresses these issues. Update 1.70.2: The update addresses these issues. Update 1.70.3: This update is only available for Windows 7 users and is the last release supporting Windows 7. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welc
Pydantic AIで作る！実践Text-to-SQLシステム構築ガイド 〜自然言語によるデータ抽出の自動化で分析業務を効率化〜
Pydantic AIで作る！実践Text-to-SQLシステム構築ガイド 〜自然言語によるデータ抽出の自動化で分析業務を効率化〜 こんにちは、Ubieでアナリティクスエンジニア/データアナリストをしているmatsu-ryuです。 普段は、Ubieが提供するサービスから得られる様々なデータを活用し、「テクノロジーで人々を適切な医療に案内する」というミッションの実現に向けて取り組んでいます。 皆さんの職場では、こんなやり取りはありませんか？ 「先月のカテゴリ別売上トップ3、都道府県別で出せますか？」 「レビュー評価が星1つの商品のリストと、その商品を買ったユーザーのリストをお願いします。」 データドリブンな意思決定が重視される昨今、こうしたデータ抽出・分析の依頼は日常的に発生します。しかし、その裏側では多くの組織が共通の課題を抱えています。 SQLの壁: 分析したい人が必ずしもSQLを書ける
Building a recommendation engine inside Postgres with Python and Pandas | Crunchy Data Blog
Building a recommendation engine inside Postgres with Python and Pandas I'm a big fan of data in general. Data can tell you a lot about what users are doing and can help you gain all sorts of insights. One such aspect is in making recommendations based on past history or others that have made similar choices. In fact, years ago I wrote a small app to see if I could recommend wines based on how oth
This post first appeared in The Analytics Engineering Roundup. Business intelligence is on a collision course with AI. The collision itself hasn’t happened yet, but it’s clearly coming. The inevitability of this has been clear roughly since the launch of ChatGPT, but no one knew exactly what shape that would take. Today I want to propose how that collision is going to happen and what will happen i
Skills in OpenAI API
Upload, manage, and attach reusable skills to hosted environments. Agent Skills let you upload and reuse versioned bundles of files in hosted and local shell environments. For the full reference, see the Skills documentation. What is a skill? A skill is a reusable bundle of files (instructions + scripts + assets), packaged as a folder and anchored by a required SKILL.md manifest. OpenAI copies tha
polarsとSmartCoreのCrateをCargo.tomlに設定。 ・・・ [dependencies] polars = "0.14.7" polars-core = {version = "0.14.7", features=["ndarray"]} smartcore = { version = "0.2.0", default-features = false, features=["nalgebra-bindings", "ndarray-bindings", "datasets"]} CSVファイルのread Rustのコードを書いていきます。 まずはcsvファイルをreadします。 下の関数を定義してCSVファイルをDataFrameとして読み込みます。 ※ソースコード全文はgistに記載 //CSVファイルを読み込んでDataFrameを返す fn read_csv
![[機械学習] SmartCoreでペンギンの分類をやってみる[Rust] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/584352da57898b39ab5a7542fd5ee12c3336d99b/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F08%2Frust-logo-1200x600-960x480-1.png){kind=logo}
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ご興味のある方は、ぜひご応募ください。 風音屋アドバイザーの渡部徹太郎(@fetarodc) です。 このブログでは、Streamlitを使って、様々な形式の入力を受け付けて、Pythonのプログラムに渡すWebアプリの具体的な作り方を解説します。 このブログで得られる知見 Streamlitを用いた、様々な形式の入力を受け付けてPythonのプログラムに渡すWebアプリの、具体的な作り方 状態を保持するsession_stateを使って、「ファイルパスを指定して中身を読み込むボタン」を作る方法 Webアプリ上で入力データを編集し、Pythonプログラムに渡す方法。特に編集可
地球観測衛星（Sentinel-2）について 時系列変化を扱う場合、主に回帰日数（観測頻度）について抑えておく必要があります。ここでは、前回も利用したSentinel-2を用いながら改めて地球観測衛星について説明します。 光学衛星の特徴 光学センサを搭載した地球観測衛星（光学衛星）は地表面もしくは海面の反射光（主に可視光、近赤外線）を測定しています。物質は固有の反射スペクトルを持つため、得られた反射光のデータによって観測地点に何が存在するかが分かります。しかし、反射光は太陽光由来であるため、曇りの日や夜間は観測できないという欠点もあります。 光学衛星の軌道について Sentinel-2は太陽同期準回帰軌道（Sun-synchronous Sub-recurrent orbit）という軌道をしています。この軌道は太陽同期軌道と準回帰軌道を合わせた軌道です。 太陽同期軌道（Sun-synchr
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・langchain 0.3.0 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 3. LangChain のモジュール「LangChain」は、言語モデル アプリケーションの構築に使用できる多くのモジュールを提供します。モジュールを組み合わせて
Mastering Customer Segmentation with LLM | Towards Data Science
Unlock advanced customer segmentation techniques using LLMs, and improve your clustering models with advanced techniques Content Table · Intro · Data · Method 1: Kmeans · Method 2: K-Prototype · Method 3: LLM + Kmeans · Conclusion Intro A customer segmentation project can be approached in multiple ways. In this article I will teach you advanced techniques, not only to define the clusters, but to a
概要 Azureの請求アカウントIDから請求データを取得するPythonプログラムです。このプログラムの応用編です。 請求月指定でデータを取得します 1000件以上のデータ取得に対応しました 取得データはCSVでローカルに保存します 実行環境 macOS Ventura 13.0 python 3.8.12 事前準備 この記事 の「事前準備」を完了していること 実行プログラム import json import os import sys import requests import argparse from datetime import * from dateutil.relativedelta import relativedelta import time import logging import pandas as pd import numpy as np # 請求管理者
Ever wanted more different ways to understand what’s going on in a program? Here I catalogue a huge variety of tracing methods you can use for varying types of problems. Tracing has been such a long-standing interest (and job) of mine that some of these will novel and interesting to anyone who reads this. I’ll guarantee it by including 2 novel tracing tools I’ve made and haven’t shared before (loo
こんにちは、@Yoshimiです。 株価予測アプリをリリースすることが決まりました！ 初心にかえり、株価取得から機械学習で予測するところまで、さらにその先のチューニングまでをブログで粛々とアップしていきたいな〜なんて考えています。 YahooのYahoo! Finance APIとは？ https://pypi.org/project/yahoo-finance-api2/ 東京証券取引所に上場している銘柄の株価はほとんど取得できます。大体3,500銘柄くらいです。勉強のために利用するのであれば、十分なのですが、YahooのYahoo! Finance APIは2017年に公式の提供を終了しているのです。 「えっ？？？」と思われると思いますが、サポートされていないだけで利用することは可能なのです。 以前、「Pythonのライブラリpandas-datareaderで株価を取得する」でライブ
はじめに PyAirbyteがリリースされました。(2024/03/16時点ではBeta版なのでご注意を) PyAirbyteはExtractのコネクタ部分をPythonのライブラリとして提供してPandasに格納するという機能を提供しているらしい。 つまり、BigQueryのクライアントと合わせればExtractとLoadの部分を過疎結合にしつつ、スケジューラーでPythonを呼び出すだけのシンプルなData Ingest Pipelineを作ることが可能なのでは！？ということで検証します。 個人的に考えるData Ingestツールの抱える課題点 FivetranのようなSaaSを使い始める際は規約確認や、契約がとても面倒 Airbyteは契約関連の面倒な部分は無いが、運用工数が大きすぎる worker, sever, temporal, api, dbなどなど(ちゃんと拡張性を考えて
データサイエンティストとエンジニアがチームプレイでいい感じにプロダクトをつくるためには? - なんちゃってClean Architectureとテストを添えて - Lean Baseball
このエントリーを書いてる今日（9/29）と明日で有給消化期間が終わるマンです. 20日間, Banksy展を楽しんだ&新しいメガネを求めて新宿に行った以外, 地元の杉並区〜吉祥寺エリアからほぼ動きませんでした. Stay Home的な意味合いもあるのですが, 10/16（土）にPyCon JP 2021でお話をする事もあり, その準備（と信長の野望*1）に多くの時間を割いていました. PyCon JP 2021からトーク紹介 #pyconjp 「実践Streamlit & Flask - AIプロジェクトのプロトタイピングから本番運用までをいい感じにするPythonicなやりかた」 Web programmingトラックのIntermediate向けトークです。 楽しみですね。チケットはconnpassで発売中！（固定ツイート参照ください）— PyCon JP (@pyconjapan)
Announcing new Jupyter contributions by AWS to democratize generative AI and scale ML workloads | Amazon Web Services
Artificial Intelligence Announcing new Jupyter contributions by AWS to democratize generative AI and scale ML workloads Project Jupyter is a multi-stakeholder, open-source project that builds applications, open standards, and tools for data science, machine learning (ML), and computational science. The Jupyter Notebook, first released in 2011, has become a de facto standard tool used by millions o
参考文献 ※1 EDINET API機能追加に係る利用者向け説明会資料 ※2 EDINET API仕様書 Version2 ①会社名の選択 まず会社一覧及び、会社のEDINETコードが必要になってきます。 これについてはAPIで取得する方法はなく公式サイトからZIPを落としてくるか ここからプログラム的に自動でダウンロードする必要があります。 今回は手動であらかじめダウンロードしたものを使います。 公式サイトからダウンロードすると毎回リンクが変わる、上記の直接リンクだと固定という謎仕様のようです（ドキュメントにもそうかいてある） ZIPを展開するとShift-JISのCSVが手に入ります。文字コードに注意しましょう。EDINETからダウンロードするCSVはUTF16なのにこっちはShiftJISなのです。 中身は上記のようなもになっています。 末尾に0がついているものの証券コードも入ってい
今回はこれの進化版です。 Yahooファイナンスから株価を取得できるライブラリーを発見したのでご紹介します。 結論から言いますと、過去記事でご紹介した方法は不要になりますw この記事で紹介する方法1つを理解しておけばOKです。 圧倒的に短いコードで簡単に株価データが取得できます。 日本株にも対応しているので無敵です。 なんで今まで気づかなかったのか、めちゃくちゃ後悔しています。。。w この記事ではyahoo_finance_api2を使って株価データを取得する方法について解説していきます。 yahoo_finance_api2の基本的な使い方 まずはyahoo_finance_api2の基本的な使い方を見ていきます。 ライブラリーページへ行くと、基本的な使い方を確認できます。（英語ページ） pipにも対応しているので、"pip install yahoo_finance_api2"で簡単に
概要 この記事を読む対象者 生成系AI（ChatGPTなど）の連携に興味があるWordpressを使う人。 この記事の内容 WordPressの独自データを活用し、RAGを使った簡易チャット機能を構築する手順。 この記事を読んで分かること CSV+BIN形式で記事要約を埋め込み検索し、WordPress REST API経由でChatGPTに回答させる実装方法。 序説 みなさん、WordPressでのサイト運営は楽しんでいますか？ 中にはフルスクラッチで構築する方もいらっしゃいますが、簡単に導入・管理ができるCMS[1]を使う方も多いのではないでしょうか。 本記事では、そんなWordPressを使いながら RAG[2] を用いた検索機能の構築を紹介します。 成果物 以下の画像のように、WordPress上に用意したチャット画面でユーザが質問を入力すると、 1. 生成AI（ChatGPT）に
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WebブラウザでPythonが動作する！PyScriptの詳解 | gihyo.jp
Python Web UIフレームワークで作るデスクトップアプリ | gihyo.jp
Auth0からCognitoへのユーザー移行 - ROBOT PAYMENT TECH-BLOG
Python×株式投資：従来の100倍！銘柄選抜のバックテストを高速化した話 - Qiita
SageMaker Experimentsを使った機械学習モデルの実験管理 - コネヒト開発者ブログ
LangChain v0.1 クイックスタートガイド - Python版｜npaka
July 2022 (version 1.70)
How AI will disrupt BI as we know it | dbt Labs
[機械学習] SmartCoreでペンギンの分類をやってみる[Rust] | DevelopersIO
Streamlitを使って生成AIの試行錯誤ができるWebアプリを作った話
【Python】衛星リモートセンシングで時系列変化を捉える【NDVI】 - LabCode
LangChain v0.3 クイックスタートガイド - Python版｜npaka
Azureの請求情報分析のためのデータを Python で取得してみました - Qiita
All my favorite tracing tools: eBPF, QEMU, Perfetto, new ones I built and more - Tristan Hume
YahooのYahoo! Finance APIを利用して株価を取得する | なんじゃもんじゃ
PyAirbyteで始める簡単Data Ingest Pipeline
StreamlitでEDINETから有価証券報告書をダウンロードして分析するWEBアプリをサクっとつくろう
【Pythonコード解説】yahoo_finance_api2で日本株の株価データを取得する
ChatGPTにサイトを丸ごと読ませる!? WordPress×RAGで進化するQ&A