Python×株式投資：従来の100倍！銘柄選抜のバックテストを高速化した話 - Qiita
# ----------------------------- # 2nd Screening V1 # ----------------------------- import time global_start_time = time.time() from google.colab import drive drive.mount('/content/drive') import pandas as pd import numpy as np import os from tqdm.notebook import tqdm import yfinance as yf from curl_cffi import requests # -------------------------------------------------- # ヘルパー関数定義セクション # --------
最小限のPython MCPサーバを作ってLLMを騙してみる
MCPサーバーを作ってみる 松尾研究所テックブログのMCP入門記事で紹介されていた、以下の公式MCP Python SDKが、MCPサーバを作ることができるということで気になったので、実際に作ってみました。 同じようなことをしている先人の記事が沢山あったので、本記事の参考リンクにも掲載します。より詳しい解説などが知りたい人は参照してみてください。 MCPサーバの作成 仮想環境構築 MCPサーバーでは、ホストの環境から分離するために、仮想環境を使うのがベターです（使わなくても作成はできます）。PythonだとuvかDockerが良いと思います。今回は手軽に使用できるuvを使用します。uvのセットアップや基本的な使い方に関しては以下記事を参照してください。 uvでは、以下のコマンドで仮想環境を構築できます。 # server.py from mcp.server.fastmcp import
1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検
Pythonのパフォーマンス最適化Tips 必須知識 - Qiita
Pythonコードのパフォーマンス最適化の総合ガイド Pythonは動的型付けのインタープリタ言語として、Cのような静的型付けのコンパイル言語と比較すると、実行速度が遅い場合があります。しかし、特定の技術と戦略を通じて、Pythonコードのパフォーマンスを大幅に向上させることができます。 この記事では、Pythonコードを最適化して、より高速かつ効率的に実行させる方法を探ります。Pythonのtimeitモジュールを利用して、コードの実行時間を正確に測定します。 注意: デフォルトでは、timeitモジュールはコードの実行を100万回繰り返して、測定結果の精度と安定性を確保します。 def print_hi(name): print(f'Hi, {name}') if __name__ == '__main__': # print_hi('leapcell')メソッドを実行する t = t
Rust製の高速Linter・Formatter「Ruff」の初心者向け解説
RuffでPythonコードをLint・Format 会社で、同僚にPythonコードのLint（コードの静的解析）、Format（コード整形）にRuffが便利と教えてもらいました。 Pythonに関しては、ずっとLintにはFlake8を使って、VS Codeの拡張機能への組み込みとGitHub ActionsでPull Requestに対しての自動チェックを実施していました（詳細は、こちらの記事を参照ください）。 Ruffに関しては、Flake8からの乗り換えコストもあるので、わざわざ新たに覚えて使う必要はないかと思っていたのですが、調べて少し使ってみるとRuffに色々とメリットがあって、実際に使ってみて便利なことが体感できました。なので「新しいプロジェクトに関してはRuffを使っていくのがオススメ」とあっさり考えが変わりました。 ただ、Ruffを使う上で、プロジェクトで最初に私含めた
オープンソースのロギング・可視化ツールRerunを使ってみよう
はじめに こんにちは、チューリング株式会社でソフトウェアエンジニアをしている矢部（和）です。 今回は、弊社内で最近よく利用されている便利な可視化ツール Rerun を紹介します。 前半はRerunの説明を、後半は実際に簡単なコードを書いてRerunを使ってみたいと思います。 この記事は、社内合宿のテックブログ作成チャレンジで弊社の嶋谷が執筆したRerun解説編を元に、矢部（和）が実践編を追記したものです。 解説編 Rerunとは Rerunはマルチモーダルデータの管理と視覚化を簡便かつ高性能にするためのツールで、複数の種類のデータを処理、保存、可視化できます。 記録、可視化、データ保存は下記のような流れで行います。 Rerun SDKを使ってデータをログとして保存または読み込み ビューアでリアルタイムや記録済みデータを確認 UIやSDKで視覚化のカスタマイズ クエリ機能でデータをPanda
サクッと始めるプログラミング入門【Python】
この本では、これからプログラミングを始めたい初心者・入門者の方に向けて、Pythonの基礎知識と使い方を体系的にまとめました。 【概要】 ・内容：Pythonとは？、Pythonの環境構築方法【macOS】、Pythonの環境構築方法【Windows】、VS Codeの概要と使い方、Pythonの実行方法、Pythonによるパッケージの管理方法【pip】、Pythonの基礎文法【変数】、Pythonの基礎文法【データ型】、Pythonの基礎文法【演算】、Pythonの基礎文法【コメント】、Pythonの基礎文法【制御文：if / for / while/ match】、Pythonの基礎文法【関数：def】、Pythonの応用文法【クラス】、Pythonの応用文法【型ヒント】、Pythonの応用文法【例外処理：try / except】、Pythonの応用文法【非同期処理：async /
サクッと始めるRAG開発【LangChain / Python】
この本では、初心者・入門者の方に向けて、RAGの知識や使い方を体系的にまとめました。少し難易度の高い内容になりますが、本書の中で事前に学んでおくべき項目を示しているため、ご安心ください。 【概要】 ・内容：RAGの概要【入門者向けの基礎知識】、RAGの処理フロー【In-Context Learning / Embedding / Vector Search】、RAGのビジネス活用ロードマップ【大企業向け】、RAGの実装アプローチ、RAGの大分類【Document RAG】、RAGの大分類【SQL RAG】、RAGの大分類【Graph RAG】、RAGの精度評価アプローチ、RAGの精度評価方法【LangChain Evaluation】、RAGの精度評価方法【Ragas】、RAGの精度改善手法【データ品質 / プロンプト品質 / ベクトル検索】、RAGの精度改善のためのLLMOps概論、LL
GPTが人知れず既存の名刺管理アプリを抹殺していた話 - Qiita
名刺管理アプリ作ってほしいといわれた それは2/22のお話。 ことの発端は別の部署からかかってきた一本の電話でした。 新規事業の部署でいろいろな取引先様と付き合いがあるものの、紙の名刺が非常に多く管理に困っているとのことのことです。 私は小売業に勤務しているしがない一社員で、現在Eコマースの戦略立案に関する部署に所属しています。 電話先の方は、以前一緒の部署で勤務したことがある方です。現在新規事業のプロジェクト推進をしており、冒頭のような課題感を持っているため既存の名刺管理アプリ導入を考えたのですが、あまりのお値段の高さに卒倒して私に藁をもすがる思いで連絡されたようです。 これまでのアプリは名刺の識別専門のAI（）を使っていた 話を聞いてみたところ、 名刺の写真を撮る 会社名、部署名、名前、…など項目別にスプレッドシートへ記載される スプレッドシートに次の打ち合わせ日を記載しておくと通知さ
u_engineのブックマーク - はてなブックマーク
概要 開発者向けの AI ツールは数多くありますが、その中で「Cody」は 無名ながらも知る人ぞ知る優れたプロダクトです。私が普段いるAI技術者コミュニティでは密かに絶大な支持を集めていますが、SNSなどでの一般的な知名度はほとんどないため、ここで紹介します。 Cody は無料プランが圧倒的に強い他、課金プランも、GitHub Copilot、Cursor、ChatGPT と比較して使いやすさと機能性で大きく抜きん出ています。私はすでに半年課金愛用していて、おそらく来年も愛用するでしょう。 Cody とはなんぞや Cody くんは、VSCode や、JetBrains IDEs、Neovim、Eclipseなどのコードエディタの拡張機能として使えるコーディング補助 AI ツールです。 他の生成 AI コードツールと同様に、AI コード補完とAIチャットがあります。 なぜ Cody がおスス
Python でアプリ開発できる Flet を触ってみた | DevelopersIO
こんにちは、森田です。 最近周りの人から Python でアプリ開発のできる Flet について教えてもらい、面白そうなのでチュートリアルをやってみました。 よかったら参考にしてみてください。 Flet とは Flet は、フロントエンド開発の経験がなくても、簡単に Web、デスクトップ、モバイル アプリケーションを開発できるフレームワークです。 開発はPythonで行うことができ、内部的には、Flutter を利用しているようです。 標準でウィジェットが用意されているため、フロントの開発を行うことなく、少ない労力で、アプリとして動作させることができます。 Python で複雑すぎないアプリを作りたい場合にピッタリのフレームワークとなります。 やってみた 本記事では、チュートリアルに従って、電卓アプリを作ってみます。 なお、本記事では、Mac Python 3.8.13にて行います。 ライ
Gradio: Pythonで簡単にAIをWebアプリ化 - Safie Engineers' Blog!
この記事はSafie Engineers' Blog! Advent Calendar16日目の記事です。 はじめに Gradioとは Hello World! Gradioのインストール コード実装 実行結果 認証機能 リアクティブインターフェース ブロック構造とイベントリスナー コンポーネントの種類 実装例 ソースコード 画面 その他ドキュメント 関連記事 まとめ はじめに セーフィー株式会社 開発本部 第3開発部 AIVisionグループで画像認識AIの開発エンジニアをしている土井 慎也です。 セーフィーには2023年1月に入社し、もうすぐ1年が経とうとしています。 今年を思い返せば、生成系AIを中心とした、AI界隈の発展がすごい1年でした。 毎日のようにいろんな技術が発表されて、使えそうなものはすぐにOSSに実装されていて、技術進歩の速度がものすごく速く感じました。 さて、今回はそ
【Python】ChatGPT効率化の為に非同期処理を実装｜Clirea
非同期処理は、データ解析、APIリクエスト、ベクター化など多様なタスクにおいてパフォーマンスを向上させる鍵となる技術です。特に、待ち時間が発生しやすい多数のリクエストや処理を一度に効率よく処理したい場合、この技術は不可欠です。 非同期処理と並列処理の違い非同期処理と並列処理は、よく一緒に取り上げられることが多いですが、実はそれぞれ異なる目的と特性を持っています。 非同期処理非同期処理は、I/O待ち（ディスクへの読み書きやネットワーク通信など）といった待機時間を有効に使いながら、他のタスクを進める技術です。この方法で、全体のプログラムがスムーズに動作します。 並列処理一方で、並列処理は複数の処理を物理的に同時に行う技術です。簡単な例でいえば動画です。動画の再生と音声の再生を遅延が無いよう同時に行っています。 並列処理により、大量のデータ処理や高度な計算を高速に行えます。 まとめ簡単に言えば、
Python で RDS に格納されている各種ログをダウンロードする - 継続は力なり
タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウンロードし,S3 などにアップロードしていけばコスト削減に繋がりそうです.この記事では,ダウンロードを Python でやってみた内容をまとめていきます. aws.amazon.com Python で RDS ログダウンロードのための手段 DownloadCompleteLogFile でのログダウンロードを試してみる まとめ Python で RDS ログダウンロードのための手段 boto3 のドキュメントを見てみたらログダウンロードをするのに, download_db_log
Rust製高速データフレームライブラリ、Polarsを試す | gihyo.jp
門脇@satoru_kadowakiです。今月のPython Monthly Topicsでは、Rust製の高速データフレームライブラリ Polars について紹介します。 Polarsとは Pythonでデータ分析に使用される主なライブラリに pandas があります。Polarsはpandasと同様にデータフレームというデータ構造オブジェクトを提供するサードパーティライブラリです。特にpandasを意識して作られており、メインページに「Lightning-fast DataFrame library for Rust and Python」とあるように、Rustによる高速処理を謳っています。 Polarsのリポジトリや関連ドキュメントは以下を参照してください。 Github: https://github.com/pola-rs/polars ユーザーガイド: https://pola
GAEでサクッとAPIサーバ構築 | DATUM STUDIO株式会社
はじめに Google App Engine(GAE)とは GAEはGoogle Cloud Platform(GCP)で利用できるアプリケーション/サービスの一つです。 サービス分類はPaaSとなり、インフラの管理をプラットフォーム側が担ってくれますのでアプリケーション開発に集中することができます。本稿では、GAE上にPythonを利用して簡単なAPIサーバーを構築していきます。 補足情報 GAEにはスタンダード版とフレキシブル版が存在しますが、今回は「スタンダード版」を利用していきます。 無料枠で利用できる範囲での実装を想定しておりますが、何らかの事情により課金がされる場合があります。 必要な知識、準備 GCPのアカウントCloud SDKのインストールと準備Python2.7Flaskvirtualenv(必要に応じて) 作業の流れ CloudSDKの設定確認権限の確認GAEの立ち上
Google App Engine (GAE) チュートリアル はじめの一歩編
このページでは、グーグルのクラウドサービス GCP で、SSL ありで、独自ドメインな Web サービスを、(できる限り) 無料で作ってみましょう、 というものです。 本ページは、GAE や GCP を初めて使う人向け、GAE 上で Web アプリケーションを作ってみようというチュートリアルです。最小限の手間でハマりどころを少なく書いたつもりですので、初めての方はぜひ使ってみてください。 Google App Engine (GAE) とは Google App Engine (GAE) とは、Google Cloud Platform (GCP) におけるアプリケーション PaaS のサービス名称です。 利用者が行うのはアプリケーションを作成してデプロイするだけで、OS管理・Webサーバ管理等は GCP におまかせというサービスです。また、SSL 証明書や 本ページの対象範囲 GAE に
大井競馬で帝王賞を機械学習で当てた話 - Qiita
概要 大井競馬場に行く機会があったので、機械学習を使って競馬の結果を予測できるかをやってみました。 その結果、帝王賞で一位を当てることができたので、記事を書きます。 かなり適当な予測なので、遊びとして見てもらえたらと思います。 証拠 当たったという証拠に、記念でとった馬券画像。 機械学習で予測したものと、パドックを見て予測したものと、２つ買いました。 (びびって複勝、しかも300円) 問題の設定 大井競馬場で行われる帝王賞の１位のみを当てます。 競馬には、色々な馬券の買い方がありますが、今回は簡単でシンプルな問題設定としたかったので、1位のみを予測することにしました。 データの取得 教師あり学習を行うので、過去の競馬結果のデータが必要です。 こちらのサイトからデータをクローリングしました。 南関東4競馬場公式ウェブサイト レース情報のページから、レースに出る馬の過去情報があるページへのリン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PythonでgRPCサービスを開発する――サーバサイドストリーミングとは？
GitHub - GoogleCloudPlatform/functions-framework-python: FaaS (Function as a service) framework for writing portable Python functions
