日本株3700社以上を分析。yfinance x「わが投資術」株式スクリーニングアプリを作った話（バイブコーディング）
いきなりですが。 海外旅行したり働き始めたりすると、日本の良さが身に染みたと感じた人は多いんじゃないでしょうか？ なんかとりあえず外で働いてみたいと思っていましたが、今はいつ戻るかと考える日々です。（とにかく温泉に入りたい） また色々と各国を回る中で、日本企業ってアジア圏や他の国にもかなり進出してるんだなぁと実感しました。（そりゃそう） そんなこんなで日本株に興味を持ち 昨年にわが投資術を購入して実践し始めました。（まだ初めて一年目なので成績はわかりません。。。が、マイナスは無し） 自分でバフェットコードや Claude mcp-yfinance などを利用しながらスクリーニングしてみましたが、毎回決算が出るたびに手動とチャット相手にあるのも何かなぁ。と思いまして。 じゃあ自動収集とスクリーニング用のアプリ作ってみよう(vibe coding) そんなノリから、日本株全銘柄を自動収集・簡易
MCP（Model Context Protocol）を活用したJグランツ補助金検索システムの実装例｜デジタル庁
デジタル庁プロダクトマネージャーユニットの土岐竜一です。事業者の手続システム総括班で、Jグランツを含む事業者向けシステムなどを担当しています。 この記事では、デジタル庁が運用する補助金電子申請システム「Jグランツ」のAPIを、Anthropic社が提唱するModel Context Protocol（MCP） によりラッピングし、LLMから利用可能なシステムのサンプル設計および実装について説明します。 具体的には、Pythonで簡単に実装できるFastMCPフレームワークを利用し、Jグランツの補助金検索や詳細の取得などの実用的な機能を備えたMCPサーバーを例として実装します。なお、本記事におけるコードはGitHubよりダウンロード可能です。 本実装例で実現できること今回紹介するMCPサーバーを利用すると、LLM（Claudeなど）を通じて、以下のような自然言語によるJグランツの補助金検索や
実践的Djangoプロジェクトの設計―開発・運用が楽になる設定ファイルを書こう！ アンチパターンとベストプラクティス｜ハイクラス転職・求人情報サイト アンビ（AMBI）
ハイクラス求人TOPIT記事一覧実践的Djangoプロジェクトの設計―開発・運用が楽になる設定ファイルを書こう！ アンチパターンとベストプラクティス 実践的Djangoプロジェクトの設計―開発・運用が楽になる設定ファイルを書こう！ アンチパターンとベストプラクティス Pythonで広く利用されているWebアプリケーションのフレームワークにDjangoがあります。Djangoで開発を始める際に、プロジェクトの設定ファイルをどのように記述すれば運用が楽になるのか。『Python実践レシピ』の著書もある筒井隆次（ryu22e）さんによる寄稿です。 Djangoは、Python製のWebアプリケーションフレームワークです。もともとニュースサイトを管理する目的で開発が始まり、2005年7月にOSSとしてリリースされました。 Python Software Foundation（PSF）による調査「P
[tool.poetry] name = "template" version = "1.0.2" description = "ロガー使用例" authors = ["Snorlax"] [tool.poetry.dependencies] python = "^3.11.0" [build-system] requires = ["poetry-core>=1.0.0"] build-backend = "poetry.core.masonry.api" # logの設定 [logging] version = 1 [logging.formatters.simple] format = "[%(levelname)s] %(name)s %(asctime)s - %(message)s " [logging.handlers.consoleHandler] class = "log
H200 GPU x 8基で Qwen2.5-VL-72B-Instruct を使った OCR を試してみる - ABEJA Tech Blog
ABEJAでデータサイエンティストをしている藤原です。 今回は、株式会社ハイレゾ様のGPUクラウドサービス「GPUSOROBAN」で H200 GPU × 8基構成のシングルノードサーバを用いて、大規模モデルを使用した検証を実施しました。本記事では、その検証でのGPUサーバの使用方法や、検証内容の一つである Qwen2.5-VL-72B-Instruct を用いたOCRの結果についてご紹介します。 highreso.jp はじめに GPUクラウドサービス「GPUSOROBAN」について GPUサーバの使い方の方針と事前準備 Qwen2.5-VL-72B-Instruct を使った OCR を試してみる 条件 実装 実行時のGPU使用状況と処理速度 検証1. 通常の文書のOCR 検証2. チャート・グラフのようなテキストで表現されていない情報のテキスト化 検証3. 複雑なレイアウトのドキュメ
🆕 2025-05-31 追記: 本記事のスクリプトのモデルをQwen2.5-vlに刷新し、 動画 (mp4 / mov / webm …) も自動リネームできるようになりました。 こんにちは。今回はMacにローカル Vision Language Model (VLM) 環境を整えて、スクリーンショットが撮られるたびに自動で “適切っぽい” ファイル名を付けてくれる仕組みを作ってみました。 タイトルは言わずもがな某書籍をオマージュパクらさせていただきました。 いやー、Mac標準だと「スクリーンショット 2025-01-01…」みたいなファイルが無限に増えてどれがどれだかわかんなくなるじゃないですか。ぼくも未来のAI時代を先取りするなら、ちょっとカッコいい名前が自動でつくとウキウキするんじゃね？と思いまして。 ここではMacローカルで動かせる mlx-vlm パッケージ経由で Qwen2
Terraform実行ユーザー用の最小権限の原則を支援するPike触ってみた | フューチャー技術ブログ
はじめにTIG 真野です。Terraform連載2025の2日目です。 Pikeを触ってみた記事です。 PikeとはPike は James Woolfendenさんによって開発されたTerraformのコードを静的解析し、その terraform apply に必要な最小権限の原則に則ったIAMポリシーを生成するツールです。直接 .tf のコードをスキャンするというところが、良さそうと思ったポイントです。 Terraformを用いてインフラ構築する際には、強めの権限（本来は不要であるサービスの作成権限など）を付与して行うことが多いと思います。そのため、万が一のセキュリティ事故や誤操作で思いがけない結果に繋がる懸念がありました。しかし、最小権限の原則を忠実に守ろうとすると難易度・対応コストが高くなるため、ある程度割り切った運用を採用することが多いように思えます（もちろん、開発時は大きめを許
BigQueryを補完する技術: DuckDBとDataflowでのデータ処理入門 - yasuhisa's blog
背景 & Disclaimer DuckDB 概念や代表的なユースケース 使ってみる 1週間〜一ヶ月などある程度の期間、分析で使いたい場合 便利なCLIツールとして使う 所感 参考 Dataflow 代表的なユースケース 具体例 参考 背景 & Disclaimer BigQueryは非常に便利で、BigQueryにさえ上がってしまえばSQLで巨大なデータを簡単に相手にできます とはいえ、BigQueryに行きつくまでが大変な場合もありえます 例: 個人情報を含むsensitiveなデータで、BigQueryに気軽に上げられないケース 一時的であっても、相談なしにその手のデータを気軽にアップロードするのはやめてください... 数万件程度であれば手元のエクセルで開いて、問題ない行/列だけに絞る、ということもできるが、もっと量が多いデータだとそういうわけにもいかない。そもそも分析はSQLでやり
Parquet and Postgres in the Data Lake | Crunchy Data Blog
Interested in Spatial analytics? You can now connect Postgres and PostGIS to CSV, JSON, Parquet / GeoParquet, Iceberg, and more with Crunchy Data Warehouse. Static Data is DifferentA couple weeks ago, I came across a blog from Retool on their experience migrating a 4TB database. They put in place some good procedures and managed a successful migration, but the whole experience was complicated by t
はじめての自然言語処理 Sentence Transformer による文章ベクトル化の検証 | オブジェクトの広場
今回は文章のベクトル化を扱います。文章のベクトル化は 第9回 で扱っていますが、当時に比べてデータセット、事前学習モデル、ライブラリ等でいろいろと状況が好転しているので、改めて扱ってみることにしました。最近は大規模データセットを用いた事前学習が公開されているので、作り比べてみます。 1. はじめに 今回は sentence-transformers1 で文章のベクトル化にチャレンジしてみます。文章をベクトル（埋め込み表現）化することで、文章間の意味合い的な比較が可能になり、類似文章検索やクラスタリングなどが可能になります。 このライブラリは 第9回 で紹介済みですが、当時のバージョンは 0.2.5.1 であり、その後に損失関数が追加されていたり、サンプルコードが充実したりとかなりの更新が入って執筆時点で 2.1.0 になっています。ついでに言うと 第9回 は結構アクセス数があるみたいなので
--- name: skill-creator description: Guide for creating effective skills. This skill should be used when users want to create a new skill (or update an existing skill) that extends Claude's capabilities with specialized knowledge, workflows, or tool integrations. license: Complete terms in LICENSE.txt --- # Skill Creator This skill provides guidance for creating effective skills. ## About Skills S
とほほのFlask入門 - とほほのWWW入門
Flaskとは インストール チュートリアル Hello world! デバッグモード ルーティング指定 @app.route() URL末尾のスラッシュ データを受け取る requestオブジェクト メソッド・パス情報 リクエストパラメータ その他のリクエスト情報 ファイルアップロード データを返却する レスポンスデータ HTTPステータス テンプレートファイル スタティックファイル レスポンスヘッダ Cookie リダイレクト URLを関数名で指定する その他ノウハウ エラーページのカスタマイズ JSONを扱う セッション ロギング 前処理・後処理 グローバルオブジェクト コンフィグ クラスメソッドを呼び出す 実装サンプル ログイン認証 REST-APIサンプル リンク Flaskとは 「フラスク」と呼ばれます。理科実験で使用する「フラスコ」と同じ単語です。 Pythonベースの軽量な
iOS Hacking - A Beginner’s Guide to Hacking iOS Apps [2022 Edition]
My first post will be about iOS Hacking, a topic I’m currently working on, so this will be a kind of gathering of all information I have found in my research. It must be noted that I won’t be using any MacOS tools, since the computer used for this task will be a Linux host, specifically a Debian-based distribution, in this case, Kali Linux. I will also be using ‘checkra1n’ for the device jailbreak
概要 Azureの請求アカウントIDから請求データを取得するPythonプログラムです。このプログラムの応用編です。 請求月指定でデータを取得します 1000件以上のデータ取得に対応しました 取得データはCSVでローカルに保存します 実行環境 macOS Ventura 13.0 python 3.8.12 事前準備 この記事 の「事前準備」を完了していること 実行プログラム import json import os import sys import requests import argparse from datetime import * from dateutil.relativedelta import relativedelta import time import logging import pandas as pd import numpy as np # 請求管理者
GitHub - 9001/copyparty: Portable file server with accelerated resumable uploads, dedup, WebDAV, SFTP, FTP, TFTP, zeroconf, media indexer, thumbnails++ all in one file
turn almost any device into a file server with resumable uploads/downloads using any web browser server only needs Python (2 or 3), all dependencies optional 🔌 protocols: http(s) // webdav // sftp // ftp(s) // tftp // smb/cifs 📱 android app // iPhone shortcuts 👉 Get started! or visit the read-only demo server 👀 running on a nuc in my basement 📷 screenshots: browser // upload // unpost // thum
Create rule を押します。 作成したあとは inactive 状態なので、Set as active を押します Set as active を押します。 メールを SES に送信 ここまでの設定で、送信したメールが無事に S3 に保存されるか確認します。Gmail で適当にメールを送信します。 S3 上にファイルが保存されています。この中にメール本文や添付ファイルが含まれています。 Lambda 関数作成 S3 に保存されるメールデータの中から、メールの本文と添付ファイルを抜き出す処理を行います。S3 にメールデータが置かれたことをイベント通知で検知して、Lambda 関数を起動します。次の Python コードで、Lambda 関数を適当に作成します。 行っている内容は、ざっくり以下の通りです。 S3 イベント通知をトリガーに Lambda 関数を起動する Lambda 関数
G-gen 又吉です。Google の提供する最新の生成 AI モデルである Gemini を用いて、マルチモーダルな生成 AI チャットアプリを簡単に開発できましたので、ご紹介します。 概要 当記事の内容 デモ動画 前提知識 Gemini とは 使用するモデル Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 認証 テキストのみ 画像① 画像② 動画 利用状況の可視化 概要 当記事の内容 Google の提供する最新の生成 AI モデルである Gemini を用いて、テキスト、画像、動画の入力に対応したマルチモーダルな生成 AI チャットアプリを作ってみたので、当記事ではその開発の経緯をご紹介します。 実行環境として Google Cloud（旧称 GCP）の Clo
Ever wanted more different ways to understand what’s going on in a program? Here I catalogue a huge variety of tracing methods you can use for varying types of problems. Tracing has been such a long-standing interest (and job) of mine that some of these will novel and interesting to anyone who reads this. I’ll guarantee it by including 2 novel tracing tools I’ve made and haven’t shared before (loo
Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Update 1.72.1: The update addresses these security issues. Update 1.72.2: The update addresses these issues. Welcome to the September 2022 release of Visual Studio Code. There are many updates in this version that we hope you'll like, some of the key highlights include: Tool bar customization - Hide/show
はじめに ニコ生のタイムシフトをダウンロードしたかったんです。高画質のために深夜に見るのも辛いし。でも探しても全然ダウンローダーが無い。 なのでGoogleChromeのDevToolとか見ながら夜業して作りました。websocketとかの勉強になったかな？ 悪用厳禁。ニコニコ動画でダウンロード可能な動画は投稿者により明示的に許可されたものに限ります。 早くコードを見せろという方用にGithubのリンクを貼っときます。 https://github.com/kairi003/nicolive-dl 参考文献 いきなり参考文献というのもどうかと思うのですが、@mueruさんの「ニコ生の配信を分析し、動画として保存するために頑張った話」を大変参考にさせていただきました。 今回私が書いたのはこれの発展ですね。GoogleChrome+Seleniumなしで動くように頑張りました。 あとは@tor
昔から資料の整理が上手ではありません。メインPCをMacに戻してから、PCや各種のクラウドに散らばったファイルの整理を進めています。 人力でやると時間がかかる作業です。仕事に支障が出るので、なるべく省力化したいところ。いつものようににChatGPTにお願いして、Pythonのコードを書いてもらいました。 比較的負担が少なくなるように環境を整えています。 今日は、PDFの内容を見に行ってタイトルを付け直してくれるPythonコードを書いてもらいました。 困るファイル達 ターミナルで起動するPythonコード 最後に 仕事関係のPDF資料を大量にダウンロードすると、タイトルの日本語部分が文字化けしていたり、タイトルがページ番号になっていたりと、どのファイルか判別するのが面倒なことがあります。 その場でタイトルを付け直せばいいのですが、優先する仕事が入るとそのまま調査したものが、埋もれてしまう事
狛ログをご覧のみなさん、はじめまして。 2021年にオフィス狛に入社いたしました、nago（なご）です。 技術に関するブログ記事を書くのは初めてですが、有益な情報を投稿できるように頑張ります。 よろしくおねがいします☺ さて、今回はPython(Flask)で、お試し開発をしていた時に苦戦したログ出力についてまとめたいと思います。 作ろうとしていたのは、外部のREST APIにリクエストを投げて、何かしらの結果を受け取り、画面に表示させる機能です。 まず、先輩社員が投稿してくださっていたこちらの記事を参考にして、AWS API GatewayでAPIのMockを作成しました。 正しい合言葉をidに設定してリクエストすると、ステータスコードが200となり、とってもタメになる情報を受け取れるAPIにしました。 合言葉を間違えていたらステータスコードが401となりエラーが返ってきます。 アプリケ
WEB+DB PRESS という雑誌はご存知かと思います。 WEB+DB PRESSは2021年7月にvol.120を記念し、それまでの全号をダウンロードできる特典がついた総集編が刊行されました。 WEB+DB PRESS総集編[Vol.1~120] (WEB+DB PRESSプラスシリーズ) これまでの全ての記事が3000円で読めるならばと思い、私も先日Amazonでポチってしまいましたが、有効な使い方いまいち分からず放置してしまっています。 そこで最近勉強し始めたSeleniumを使って記事タイトルを取得してExcelで表にしちゃおう！というのが今回の記事内容です。 環境 Python 3.9 selenium 4.2.0 openpyxl 3.0.9 コード to_excel 関数内のExcel の出力先ディレクトリと、CHROMEDRIVERを変えれば動くと思います。 import
Llama2-70b-chatで専門テキスト(学会の予稿集)をファインチューニング(QLoRA)｜Kan Hatakeyama
概要23年8月時点におけるオープンソース大規模言語モデルの筆頭とも言えるLlama2を使い､専門テキストをファインチューニングした際のメモです｡ 言語モデルに知識を追加するのは､意外と難しいということがわかりました｡ 前提となるコード類は以下の記事などを参照 学習データ筆者が所属している学会の一つである､高分子学会の年次大会(2023年)の予稿集を学習させてみることにしました｡ (学会の参加者のみが入手可能な､クローズドなデータです) pdfは単体で500 MBほどあります｡ここから､テキストだけを抜き出しました｡ 処理後の平文のテキストは約150万文字(3.7 MB)でした｡ 参考: pdf to textのコード本筋ではありませんが､解析コードを張っておきます｡ pdfの分割 #pdfの分割 import os from PyPDF2 import PdfReader, PdfWrit
Amazon SageMaker による動画内のスポーツハイライトの自動検出 | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker による動画内のスポーツハイライトの自動検出 この記事は、”Automatically detect sports highlights in video with Amazon SageMaker” を翻訳したものです。 動画からハイライトを抽出するのは、時間がかかり、複雑なプロセスです。この記事では、機械学習（ML）ソリューションを使用して、オリジナルの動画コンテンツからハイライト動画を自動的に作成する、スポーツイベントのインスタントリプレイに関する新たな取り組みを紹介します。ハイライト動画はダウンロード可能で、ユーザーが Web アプリで継続して視聴することができます。 Amazon SageMaker を使用して、ノーカットのスポーツ動画 (今回はサッカーの試合) を分析し、元の動画のハイライト (ペナ
こちらが 公式リポジトリ に掲載されている比較表です。モデルサイズがlargeの半分程度に抑えられ、速度に至ってはlargeの最大8倍と大幅に改善されています。精度についてもlarge-v3には多少劣るものの、日本語ではlarge-v2と同レベルの性能が出ています。 faster_whisper faster_whisperもwhisperの高速化実装です。Transformerモデルの高速化に特化したエンジンであるCTranslate2を使って推論速度を大幅に（4倍程度）向上させています。 turboがモデル構造の変更・軽量化による高速化なのに対して、こちらは推論の計算処理をモデルレイヤーの融合、ビット量子化、バッチの入れ替えなどによって最適化しています。 whisper_mic whisper_mic はwhisperをマイクに繋いで簡単に動かせるようにした薄いライブラリです。Whis
秋月謎Soc基盤まとめ
注意 この記事は自分の作業記録簿、まあ要するにメモ的な要素が強いので可読性は低いです。 概要 秋月謎基盤（秋月謎Soc基盤付きケース、謎箱など）とは、秋月電子で販売されていた、WI-SUN＋3Gモデム付きのSoC基盤のこと。 もともとは、おそらく、デジタルグリッドコントローラと呼ばれるIoTデバイスが放出されたもの。 ARM系のSoCを搭載し、512MBのメモリ、通常ならば一万円はくだらないWI-SUNモジュール、3Gモジュールと温度センサがついてわずか1000円という破格で販売された。買わないわけがないよね。 ハックのモチベーション 自分が契約している四国電力では、「よんでんコンシェルジュ」というサービスが提供されており、「日時」「30分毎」の電力消費量およびcsvが提供されている。しかしよんでんコンシェルジュには下記に示す欠点が存在するため、リアルタイム監視には向いていない。 APIが
pytestについて Pythonを使ってテストコードを書くことができるオープンソースのテストフレームワークです。シンプルな単体テストから複雑な機能テストまで、様々なテストを書くことができます。 pytest には次のような特徴があります。 unittest テストケースの実行をサポート 組み込みの assert 文をサポート。特別なアサーション・メソッド(self.assert*())は不要 テストケースのフィルタリングをサポート 最後に失敗したテストから再実行する機能 並行でのテスト実行をサポート 機能を拡張するための何百ものプラグインからなるエコシステム オープンソース pytest は Python 標準の unittest モジュールに代わるボイラープレート不要のモジュールで、unittest テストケースをそのまま実行することができます。pytest はフル機能を備えた拡張可能
Detection Engineering with SIGMA: Defend against APT targeting Japan
Rintaro Koike Shota Nakajima Detection Engineering with SIGMA Defend against APT targeting Japan ◼ 小池 倫太郎 (NTTセキュリティ・ジャパン株式会社) ○ 脅威リサーチやマルウェア解析業務に従事 ○ nao_secという謎の同人サークルの主宰 ○ 猫とコーヒーが好き ◼ 中島 将太 (株式会社サイバーディフェンス研究所) ○ 脅威リサーチやマルウェア解析業務に従事 ○ 昼間はただのセキュリティエンジニア ○ 最近はソーシャルエンジニアリング技術を勉強中 $ whoami 2 Exercise イベントログを解 析して、Sigmaル ールを作成します Hands-on Sigma writing Sigmaの仕様やツ ールについて紹介 します 02 ハンズオン形式で Sigmaルールの作 成
はじめに Docker上に展開しているコンテナでsocketで受信待ち状態にして、socketで通信を受け取ったら、以降の処理を走らせる形のサンプルプログラム。 別コンテナからのリクエストで、同期して処理を実行させたい場合などに使えるかと。 環境 windows10 pro wsl2(20.04.5 LTS (Focal Fossa)) Dockerのバージョン Docker version 20.10.18, build b40c2f6 docker-compose version 1.29.2, build 5becea4c ※Docker Desktop ではありません ※通信のリクエストは、Windowsからも行っています python 3.10.7 コンテナのポート設定については import socket import logging # 受信IP（外部からの接続は127.0.
GitHub - ComfyUI-Workflow/awesome-comfyui: A collection of awesome custom nodes for ComfyUI
ComfyUI-Gemini_Flash_2.0_Exp (⭐+172): A ComfyUI custom node that integrates Google's Gemini Flash 2.0 Experimental model, enabling multimodal analysis of text, images, video frames, and audio directly within ComfyUI workflows. ComfyUI-ACE_Plus (⭐+115): Custom nodes for various visual generation and editing tasks using ACE_Plus FFT Model. ComfyUI-Manager (⭐+113): ComfyUI-Manager itself is also a cu
今回は教師なしの文章ベクトル化手法である MixCSE の検証です。教師なし学習ですから教師ありの手法よりは精度的に不利でしょうが、局面によっては役に立つケースもあるのでは？と試してみることに。公開されているコードは transformers ベースなのですが、今回は Colab の TPU で動かしてみたので、その方法も紹介しますね。 1. はじめに 今回は教師なしの文章ベクトル化手法である MixCSE1 の検証をしてみました。 本連載では文章ベクトル化のモデルとして、 Sentence BERT を取り上げたこと(第9回, 第18回)がありますが、品質の良いベクトルを生成する為には大量かつ良質の教師データが必要でした。 法律や特許のような特定領域に特化した文章を扱う局面では、対象領域の文書で学習したモデルを使いたいところですが、特定領域限定の都合良いデータはなかなか手に入りません。そ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonでtomlファイルを用いたlogging - Qiita
面倒なスクショ命名はローカルvlmにやらせよう on Mac
prompts.chat - AI Prompts Community
Azureの請求情報分析のためのデータを Python で取得してみました - Qiita
SES でメール受信を行い、Lambda 関数でメール本文、添付ファイルを抜き出す - Qiita
Geminiでマルチモーダル対応の生成AIチャットアプリを爆速で作ってみた - G-gen Tech Blog
All my favorite tracing tools: eBPF, QEMU, Perfetto, new ones I built and more - Tristan Hume
September 2022 (version 1.72)
ニコ生(タイムシフト)ダウンローダーを書く - Qiita
ファイル名のわからないPDFファイルのリネームを行う - 43号線を西へ東へ
【Python】loggingでログをカスタマイズする【Flask】
WEB+DB PRESS 総集編を有効活用するためのPythonスクレイピング - Qiita
リアルタイム音声認識をwhisperのturboモデル+faster_whisperで動かす
Pythonのテストフレームワークpytestを使ってみよう - PythonOsaka
pythonでsocket通信（サンプルプログラム） - Qiita
はじめての自然言語処理 MixCSE による教師なし文章ベクトル生成 | オブジェクトの広場