日本語に特化したOCR、文書画像解析Pythonパッケージ「YomiToku」を公開しました｜Kotaro.Kinoshita
はじめに最近、LLMへのRAGを用いた文書データの連携等を目的に海外を中心にOCRや文書画像解析技術に関連する新しいサービスが活発にリリースされています。 しかし、その多くは日本語をメインターゲットに開発されているわけではありません。日本語文書は、英数字に加えて、ひらがな、漢字、記号など数千種類の文字を識別する必要があったり、縦書きなど日本語ドキュメント特有のレイアウトに対処する必要があったりと日本語特有の難しさがあります。 ですが、今後、海外の開発者がこれらの課題に対処するため、日本のドキュメント画像解析に特化したものをリリースする可能性は低く、やはり自国の言語向けのサービスは自国のエンジニアが開発すべきだと筆者は考えています。 もちろん、Azure Document Intelligenceをはじめとした、クラウドサービスのドキュメント解析サービスはありますが、クラウドを利用できないユ
PythonユーザーのためのGraalVM | フューチャー技術ブログ
ちょうど一年ぐらい前にGraalVMが商用利用可能な安定版に達し、Enterprise版もリリースされたというニュースがあります。 publickey: GraalVM、ついに本番利用可能なバージョン「GraalVM 19.0」登場、JavaやJavaScriptなど多言語対応ランタイム。商用版のGraalVM Enterprise Editionもリリース GraalVMにはPython機能もあると宣伝されているものの、詳しい説明が行われることがなく、それが何者で、どのようなステータスで、どこを目指しているのか、きちんと答えられる人は（日本どころか世界でも）ほぼいないでしょう。GraalVMそのものの説明はちょくちょく出てくるようになってきたと思いますが、そのPythonの機能についてはあまり説明されていないため、Python部分にフォーカスして紹介します。 Graal.Pythonのイ
「Pythonによる医療データ分析入門」は分析100本ノック後に必読な探索的データサイエンス本だった - Lean Baseball
今年読んだデータサイエンスおよびPython本の中でも最良の一冊でした. ホントに待ち望んでいた一冊でした. 実は密かに楽しみにしてた（待ち望んでいた）*1, 「Pythonによる医療データ分析入門」, 一通り読ませていただきましたので, Pythonによる医療データ分析入門の感想 分析100本ノック後にやると良いこと 探索的データサイエンスはデータサイエンスに関わる人すべてに関係する準備運動であり入り口であること 的な話を綴りたいと思います. なお, 最初に断っておくと, 新型コロナウイルス含む, 感染症とか流行病の話は一切触れておりません！ このエントリーは純粋に「Pythonを使ったデータサイエンス」を志向した方向けのエントリーとなります. 新型コロナウイルスだの感染症関連だのを期待されている・そう思った方はぜひ他のページなどを見ていただけると幸いです. このエントリーのダイジェスト
Flask + SQLAlchemy でテストごとに DB を rollback する - Qiita
Flask アプリのテストで、簡単なものなら sqlite のメモリDBを使えば良いですが、複雑なアプリだと本番環境と同じ RDBMS を使って実行したいことが多いです。 その際、テストごとにDBを初期化すると遅いので、コミットせずに毎回ロールバックで対応したいのですが、 Flask.test_client や WebTest などを使って複数のHTTPリクエストを行うテストでは、リクエストをまたいでデータを引き継ぐ必要があります。 これを実現するために、 テスト中は session.commit() を session.flush(), session.expire_all() に置き換える リクエスト終了時、通常は session.remove() し、テスト中は session.expire_all() する テストごとに session.remove() する。 というカスタマイズ
Python ウェブアプリのためのプロファイラ wsgi_lineprof の仕組み – ymyzk’s blog
この記事は CAMPHOR- Advent Calendar 2018 20日目の記事です．昨日の記事は @lotz 氏の「“アルゴリズムこうしん”のアルゴリズムをHaskellで実装する」でした． wsgi_lineprof は WSGI ミドルウェアとして実装された Python のラインプロファイラです．この記事では wsgi_lineprof がどのようにして実装されているかを，WSGI や CPython の内部実装の簡単な説明とともに紹介します．プロファイラの実装について興味がある人や，Python 処理系，WSGI の裏側に興味がある人の参考になれば幸いです． wsgi_lineprof とは まず簡単に wsgi_lineprof を紹介します．wsgi_lineprof は上でも述べたように WSGI ミドルウェアとして実装された Python のラインプロファイラです．
【ev3dev】RPyCプロトコルでPythonによる遠隔操作プログラムを作ろう - Qiita
はじめに この記事は、EV3にev3devをインストールし、SSH接続できている状態であることを前提にしています。環境構築ができていない方はこちらの記事を参考にしてください。 mindstorm-EV3をLinuxで制御しよう! ev3dev OSのインストールとSSH接続 概要 RPyC (Remote Python Call) はリモートからPythonを呼び出すプロトコルです。 RPyCを使えばEV3にインストールされたPythonを、手元のデスクトップPC上（クライアント側）のPythonプログラムから簡単に呼び出して使うことが可能になります。 これまではSSH接続してリモート上でPythonプログラムを編集、実行する必要がありましたが、RPyCを使えば、EV3上でRPyCサーバーを立てておくだけで、クライアント上で自由に開発することができるのです。 環境構築 RPyCのインストー
27.2. faulthandler — Python tracebackのダンプ — Python 3.6.5 ドキュメント
This module contains functions to dump Python tracebacks explicitly, on a fault, after a timeout, or on a user signal. Call faulthandler.enable() to install fault handlers for the SIGSEGV, SIGFPE, SIGABRT, SIGBUS, and SIGILL signals. You can also enable them at startup by setting the PYTHONFAULTHANDLER environment variable or by using the -X faulthandler command line option. The fault handler is c
WerkzeugでFlaskを使ったPythonのWebAppをプロファイリングする
[前回の記事]({{ root_url }}/blog/2013/11/11/logging-system-with-fluentd-elasticsearch-kibana3/)に引き続きISUCONのために調べたことをまとめてみます． うちのチームは使用言語にPythonを選択していたので，ISUCON2やISUCON3の予選でも使われていたFlaskというフレームワークを使ったWSGI Application用のプロファイラを探したところWerkzeugのWSGI Application Profilerというものがあったので使ってみました． FlaskFlaskは，WerkzeugをベースにしてJinja2をテンプレートに使った軽量なWAFです． WerkzeugWerkzeugはWSGI Applicationのutility libraryで，フレームワークという程ではないです
pytest ヘビー🐍ユーザーへの第一歩 - エムスリーテックブログ
蛇行区間にはレールの内側に脱線防止ガードが設置される（本文とは関係ありません）。 こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 pytest は Python のユニットテストのデファクトスタンダードです。エムスリーでも顧客向けレポートや機械学習でPython＆pytest をヘビー🐍1に使っています。 ですが、実は pytest は、意外と入門のハードルが高い。と言うのも、pytest の公式ドキュメント が、fixtureのような新概念も登場する上、詳細で分量が多いからです（しかも英語）。初心者にいきなり読ませると挫折する可能性大です 2。 そこで、とりあえず使い始めるのに必要そうな情報を日本語でまとめました。 pytest ってどんなライブラリ？ unittest や nose から簡単に移行できる 書き方がシンプル fixture モックもできる プラグイ
Garbage collection in Python: things you need to know | Artem Golubin
This article describes garbage collection (GC) in Python 3.9. Usually, you do not need to worry about memory management. When objects (variables) are no longer needed, Python automatically reclaims memory from them. However, understanding how GC works can help you write better and faster Python programs. Memory managementUnlike many other languages, Python does not necessarily release the memory b
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Visual Studio Codeの新しいPython言語サーバーPylance
Fast JDBC access in Python using pyarrow.jvm
GitHub - alonho/pystuck: a utility for debugging stuck python programs
Inspecting thread dumps of hung Python processes and test runs
GitHub - ionelmc/python-manhole: Debugging manhole for python applications.
GitHub - matrixik/python-multithread-profiling: Info how to profile multithreaded Python programs
How can I profile a multithread program in Python?
GitHub - chrisjbillington/gil_load: Utility for measuring the fraction of time the CPython GIL is held
WordPress.com
Detecting and modeling outliers with PyOD