高速な XBRL パーサーを Python で書く - kawasin73のブログ
必要なことを必要なだけ。どうも、かわしんです。 前回の記事では、AI を使って作ってきた日本の上場株式銘柄解析システムのアーキテクチャについて解説しました。 kawasin73.hatenablog.com 今回は、銘柄解析の肝となる XBRL パーサーである Arelle が遅かったので、Python で自前の高速なパーサーである xbrlp を作って 20 倍速くした話をします。 9 月上旬当時の Claude Code, Codex にはまともな効率の良いプログラムを書くことができなかったのでこのパーサーのコアの部分は自分で書いています。 ソースコードは単一の Github リポジトリにはなっていないので、gist にあげておきました。この記事の一番下に埋め込んでいます。 XBRL parser · GitHub こんな感じで使います。 gist.github.com XBRL とは
uv + Ruff + mypyで構築する超軽量Python開発環境 – イメージサイズ削減・型安全性確保を実現
はじめにども！前回「DevContainer と uv で構築する爆速 Python 開発環境」という記事を書いた龍ちゃんです。 この記事を社内で報告したところ、上司から「リンターとフォーマッターは何を使っているの？」という質問をいただきました。確かに、せっかくパッケージマネージャーに uv を採用しているなら、同じ Astral 社が開発している Ruff で統一した方が良いですよね！ ということで今回は、uv + Ruff で統一した Python 開発環境を構築してみました。さらに、ベースイメージも見直すことで、イメージサイズを 83%削減（1.63GB → 273MB）することに成功しています。 Streamlit を使ったデータ分析アプリをサンプルとして作成していますが、もちろん Streamlit 以外のプロジェクトでも利用可能です。リポジトリは公開しているので、必要な方はクロ
PyCon JPの技術に対する不正の告発、並びに技術者と大衆に対しての警鐘 - Qiita
概要 本文章は、一般社団法人PyCon JP Associationが主催したPyCon APAC 2023の開催に際し、そのプロポーザル選考過程において行われていた不正行為の告発を目的とするものです。 本文章が対象とする読者は技術者、及び、公衆です。技術者は技術『愛好家』との付き合い方について一考をするべきであり、公衆は「専門家ではないにも関わらず技術の専門家のフリをする不正な愛好家」に対して無自覚であるべきではない、という警鐘を鳴らすため、並びに、一般社団法人PyCon JP Associationの公衆に対する不正を告発するため、本文章を公開します。 本文章は、Qiitaが目指す、学びのある情報を技術者に共有することで、よりよい技術者コミュニティの形成を目指す内容であるため、Qiitaのガイドラインに沿った形式でQiita.com上で公開します。 告発する内容 PyCon APAC
CeleryによるPythonベース非同期タスク処理
はじめに 例えば機械学習モデルを運用する際に、WebAPI形式で予測を提供するのは一般的な方法と言えます。ここで推論処理に時間がかかる場合には、リクエストに対するレスポンスだけ先に返しておき、処理の本体はバックグラウンドで非同期的に実行するという選択肢が存在します。 本記事では、Pythonベースの分散タスクキューツールであるCeleryを用いて、WebAPIへのリクエストに対応したタスクを非同期実行し、結果を確認するまでを紹介します。サンプルコードは以下に配置しました。 Celeryとは 公式ドキュメントの冒頭には以下のように書かれています。 Celery is a simple, flexible, and reliable distributed system to process vast amounts of messages, while providing operation
シェルスクリプトとの対比で理解するPythonのsubprocess - 朝日ネット 技術者ブログ
はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、 rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ
Automate the Boring Stuff with Python - Automate the Boring Stuff with Python
By Al Sweigart. Over 500,000 copies sold. Free to read under a Creative Commons license. Amazon | Barnes and Nobles | Powell's | Bookshop.org | Goodreads | Kobo | Thriftbooks “The best part of programming is the triumph of seeing the machine do something useful. Automate the Boring Stuff with Python frames all of programming as these small triumphs; it makes the boring fun.” -Hilary Mason, Data Sc
君には今から3時間で機械学習Webアプリを作ってもらうよ
新人: 「本日データサイエンス部に配属になりました森本です！」 先輩: 「お、君が新人の森本さんか。僕が上司の馬庄だ。よろしく！」 新人: 「よろしくお願いします！」 先輩: 「さっそくだけど、練習として簡単なアプリを作ってみようか」 先輩: 「森本くんは Python なら書けるかな？」 新人: 「はい！大学の研究で Python 書いてました！PyTorch でモデル作成もできます！」 先輩: 「ほう、流石だね」 新人: 😊 先輩: 「じゃ、君には今から 3 時間で機械学習 Web アプリを作ってもらうよ」 先輩: 「題材はそうだなぁ、写真に写ってる顔を絵文字で隠すアプリにしよう」 先輩: 「あ、デプロイは不要。ローカルで動けばいいからね。顔認識と画像処理でいけるよね？」 新人: 😐 新人: (えぇぇぇぇぇぇぇ。3 時間？厳しすぎる...) 新人: (まずモデルどうしよう。てかもら
13億パラメータ日本語GPT-2を使ってみる
2021年11月18日にOpenAIが「GPT-3」のウェイティングリストを解除すると発表しました。 これにより申請すれば誰でもGPT-3のAPIを使用できるようになります。 ということで、GPT-3 ... ただ、上記の記事でも紹介していますが、日本語に特化したモデルではなく、やっぱり日本語で生活している人にとっては日本語のGPTが欲しくなりますね。 そこで、13億パラメータを持つGPT-2のモデルを日本語で学習して、公開してくれたのがこの「rinna」社です。 ということで今回は、この日本語GPT-2を触ってみたいと思います。 なお、今回はモデルの説明は一切ありませんので、詳細についてはこちらの記事を参照していただければと思います。 GPT ... 『【論文解説】OpenAI 「GPT」を理解する』 一番仕組みを詳しく解説しています。GPT-2 ... 『【論文解説】OpenAI 「G
東京大学、Pythonプログラミング無料入門 pandasやJupyterなど幅広い | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
Pythonの異常検知パッケージPyODのフォーマットに従って、カーネル密度推定に基づく異常検知を実装した - 備忘録
はじめに 異常検知（外れ値検知）のための便利なPythonパッケージとしてPyODが存在する。 pyod.readthedocs.io github.com クラシックな手法から比較的最先端の手法まで実装されており、インタフェースも使いやすいのでオススメできる。 2021年8月9日現在、PyODにカーネル密度推定（Kernel Density Estimation; KDE）ベースの異常検知が実装されていなかったので、それを実装したということである。 PyODのインストール pipでインストール可能である。 pip3 install pyod 異常検知について 以下の記事を読むのが良いだろう。 qiita.com カーネル密度推定について ばんくし氏の記事が参考になるだろう。 vaaaaaanquish.hatenablog.com 作成したクラス：KDE すでに実装済のPyODの各種アル
PythonでMySQLのスロークエリログを集計 | 外道父の匠
久々に溜まったブログネタ放出をしようかなと、その前に下書きから掘り起こしてきた、いまさらなスロークエリ関連で準備運動です。 RDSのスロークエリ情報は当然、集計を自動化していつでも見れるようにしてあるのですが、ちょいと必要があったので、今回はあえて単発ログを集計する形に切り出したものを用意してみました。 スロークエリログの必要性 最近はNewRelicとかで、アプリケーションの処理を分別して処理時間などを集計するので、それで課題となるクエリを確認したりもします。 非常に便利な仕組みですが、アプリケーション外のジョブなどが実行したクエリは集計されないことや、負荷試験で課題を炙り出すときだとテスト環境にエージェントやライブラリを仕込む必要がある、といったデメリットとまでは言わないまでも面倒さがあります。 その点、スロークエリはサーバー側で記録するものなので、0.1秒とかでONにしておけば、対象
Python ユーザでも『データ可視化入門』で練習できるようにパッケージを作った + Plotnine との互換性ガイド - ill-identified diary
概要 pysocviz が提供する機能 ggplot2 と同じようにできないところとその対策 aes() にクオートされてない変数を指定できない R のように改行できない ggplot2 で使えた色名が使えない ggplot2 で使えた linetype が使えない 文字化けの回避 ggrepel パッケージの利用 scales::percent などの単位・スケール指定 テーマや色パレットのプリセットを変更したい場合 subtitle/caption が表示されない 複数のグラフを連結できない hjust/vjust が使えない グラフ内の図形やテキストの大きさのバランスがおかしい geom_smooth/stat_smooth で一般化加法モデル (GAM) による平滑化ができない geom_quantile の method 指定ができない geom_smooth/stat_smoo
PySparkはじめました - 分散処理デビューする前にやったこと - JX通信社エンジニアブログ
「JX通信社Advent Calendar 2019」10日目の記事です. 昨日は, @rychhrさんの「Pure WebSocketsをサポートしたAWS AppSyncでWebとiOS間のリアルタイムチャットを作ってみた(1)」でした. 改めまして, こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke（しんよーく）と申します. JX通信社では, データ駆動での意思決定および施策実施をより円滑に進めるため, データ基盤の構築・運用を進めながらトライアル的に様々なFrameworkやツールの検証を行っています.*1 このエントリーでは, 私がシュッとPySparkで分散処理をする...前に, 手元で試したときの感想とその知見 のお話を残していきたいと思います. なお, 分散処理そのものの知見・ノウハウではなく, する前にPySparkに
【待望】PayPayのオンライン決済APIが公開されたので試してみる #paypay #python | DevelopersIO
こんにちは、クラスメソッドの岡です。 7/30にPayPayが開発者向けツール、PayPay for Developersの提供を開始しました！これは嬉しい！ これで自前のサイトやアプリにPayPayの決済を導入できるようになります。 アカウント作成 まずは開発アカウントを作成しましょう。 Sandboxであれば加盟店の情報は登録しなくても利用することができます。 アカウントを作成すると、ブラウザ上でSandboxのAPIを動作確認できるPayPay Labや、API接続時のエラーハンドリングが可能なPayPay Resolveが使えるようになります。 機能 PayPay APIを使った決済フローは以下の4パターンです。 Webペイメント カスタムのモバイルアプリ/WebサイトからPayPayの決済ページ or PayPayアプリにリダイレクトして決済する ネイティブペイメント カスタムの
A visual debugger for Jupyter
Most of the progress made in software projects comes from incrementalism. The ability to quickly see the outcome of an execution and iterate has been one of the main reasons for the success of Jupyter, especially in scientific exploratory workflows. Jupyter users like to experiment in the notebook, and to use the notebook as an interactive communication tool. However, for more classical software d
GitHub - mingrammer/diagrams: :art: Diagram as Code for prototyping cloud system architectures
Diagram as Code. Diagrams lets you draw the cloud system architecture in Python code. It was born for prototyping a new system architecture design without any design tools. You can also describe or visualize the existing system architecture as well. Diagrams currently supports main major providers including: AWS, Azure, GCP, Kubernetes, Alibaba Cloud, Oracle Cloud etc... It also supports On-Premis
京都大学が無償公開したPythonの教材がわかりやすいと話題に : IT速報
京都大学は、Pythonによるプログラミング演習の教材を無償公開した。 プログラミング演習の教材は、プログラミングの初学者を対象にPythonを用いたプログラミングを演習方式で学ぶもので、京都大学学術情報リポジトリ（KURENAI）で公開されている。本編のほか、横道にそれる話題をまとめたコラム編の2つの教材がある。著者は国際高等教育院 教授の喜多一氏。 本教材は、2018年度に全学共通科目として実施された授業を元に構成されたもので、到達目標としては以下の3つを挙げてい… 続きはソース元で https://codezine.jp/article/detail/11999 https://repository.kulib.kyoto-u.ac.jp/dspace/handle/2433/245698
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Pythonのドキュメントでも読むか～」「え、何その裏技」 - Qiita
高速なPython互換言語の「Mojo」、そのままGPUで実行可能に。「MAX GPUs」発表。ModCon '23
「IronPython 3」が登場 ～Python 3をターゲットにした初めてのIronPython／バージョンは「3.4.0-alpha1」
