ドキュメントファイルの解析と変換に特化したオープンソースツール「docling」を試してみた | DevelopersIO
AWS事業本部コンサルティング部の石川です。最近、文書ファイルの解析と変換に特化した オープンソースツール「docling」 が注目を集めています。このツールは、最先端のAIモデルを活用して、ドキュメントの構造を理解し、様々な形式に変換することができます。今回、実際にdoclingを使用して日本語のドキュメントファイルからMarkdownファイルとJSONファイルへ変換を試してみます。 doclingとは doclingは、ドキュメントの変換と解析に特化したオープンソースのPythonパッケージです。最先端の人工知能モデルを活用し、レイアウト解析にDocLayNetモデル、表構造認識にTableFormerモデルを使用しています。一般的なハードウェアで効率的に動作し、少ないリソースで高性能を発揮します。JSONやMarkdown形式への変換が可能で、拡張性も高く、新機能やモデルの追加が容易
uvだけでPythonプロジェクトを管理する
チューリングのE2E自動運転チームの岩政(@colum2131)です。 2024年8月20日にuvのマイナーバージョンが0.3.0にアップデートされました。元々、pipの代替として設計されていたuvが、Pythonのバージョン管理からパッケージ管理まで行えると発表されました。 以前の2024年7月にまとめた記事では、 将来的には、uvがRyeに代替されるよう と書きましたが、実際、RyeやPoetryなどの代替としてuvのみでPythonのプロジェクト管理が可能になりました。Ryeで行っていた操作同様にuvで実行できるようになった印象もあります。 チューリングのメンバーでも熱心なuvファンがいるため、本記事では、uvの基本操作や、便利な機能をまとめます。 1. uvの基本操作 uvの公式ドキュメントはuvで整備されています。 1.1 uvのinstall 公式のuv - Getting s
ryeからuvに移行したのでDockerfileを作り直した - skydum
uv 最近pythonで開発するときにはryeを使っていたがuvが便利になっていたのでuvに移行した。 docker containerでもuvを使いたいのでベースとなるDockerfileを作った。 仕事だとGitHub Actionsでpipenvを使って、個人的にとても使いづらいのでuvに置き換えたい。 あと、GitHub Actionsのビルド時間が長いので、そちらどうにかしたいが、ちょっとずつ進めようかと思う。 [翻訳] uv による本番環境向け Docker コンテナ を参考にさせていただいた。 Dockerfileの構成 マルチステージビルドを使う。 パッケージの管理とインストールにはuvを利用する。 なるべくdockerのキャッシュを使って速度向上をする。 最終ステージではuvを使わずにbuildのステージでインストールしたパッケージとソースコードを使ってアプリケーションを
さらなる進化を遂げた「uv」の新機能 | gihyo.jp
福田（@JunyaFff）です。本連載Python Monthly Topicsで2024年3月に公開したRust製のPythonパッケージ管理ツール「uv」を使ってみよう で紹介した「uv」が、さらなる進化を遂げました。今回は、その新機能を紹介します。 はじめに Astral社が開発するRust製の高速なpipの代替ツール「uv」がパッケージマネージャーとして8月にアップデートされました。pipの代替ツールとしてだけでなく、Pythonプロジェクト、コマンドラインツール、単一ファイルスクリプトさらにPython自体を管理できるようになりました。uvは、pipやpipx、venv、poetryやpyenvのような機能を包括していると言え、そしてそのすべてが非常に高速に動作します。 本記事では、アップデートした「uv」の新機能を中心に紹介します。 基本的な使い方は Rust製のPythonパ
Rye × uvでPython環境と機械学習環境を整える
チューリングのE2E自動運転チームの岩政(@colum2131)です。 最近、チーム内でPythonを使った開発はRyeとuvを使うことが多くなり、特に機械学習環境もRyeとuvで問題なく開発できるようになりました。社内でのオンボーディング資料としてRyeとuvの操作を整備しようと思い、このテックブログで紹介します。 [2024-08-25追記] 2024年8月20日にuvのマイナーバージョンがアップデートされました。変更点もいくつかあり、以下のページにまとめました。 1. Rye × uvとは？ RyeはPythonの包括的なプロジェクトおよびパッケージ管理のツールです。これまでもPoetryなど管理ツールはありましたが、pyenvなどPythonのバージョン管理ツールが必要でした。Ryeは、Pythonのバージョン管理からパッケージ管理を行えて、Poetry同様にpyproject.t
Python + VSCode の環境構築 20240604
作業メモ。モダン Python 速習。 AI 周りのツールを動かしていたら TypeScript だけでやるには無理が出てきたので、久しぶりに Python の環境構築をする。 具体的には TestGen LLM を動かしたい。 Python はたまに触るけど、基本 2.x 時代の知識しかない。 基本的にこの記事を読みながら、細かいアレンジをしている。 追記 rye が ruff と pytest を同梱してるので rye fmt, rye check, rye test で良かった uvicorn を叩くより、 fastapi-cli を使って起動したほうが良さそうので変更 基本方針: Rye に全部任せる 良く出来てると噂に聞いたので、 rye に任せる。 自分が Python が苦手な点は pip を下手に使うと環境が汚れていく点で、基本的に rye で閉じて管理させる。システムの
僕の考えた最強の Python 開発環境 (2024)
はじめに こんにちは, 普段は情報科学専攻の大学院生をしながらバックエンドエンジニアをやっている @koki-algebra です. 普段は Go をよく書いているのですが, 大学でやっている機械学習の研究では Python を使うことがほとんどです. Go のエコシステムに慣れきった私は Python の混沌とした環境に耐えきれず, 最強の開発環境を整えることを決意しました. 具体的には Package Manager, Formatter, Linter, Type Checker, Test Tool を選定し, VSCode の DevContainer を用いてポータビリティに優れた開発環境を作ることを目指します. また, Deep Learning では GPU が必須である場合が多いので, GPU 環境も同時に整えたいと思います. 以下のレポジトリが今回考えた開発環境のテンプ
Testinfraで始めるインフラストラクチャの自動テスト【Ansible×Testinfra】 - 協栄情報ブログ
Salt、Ansible、Puppet、Chefなどの管理ツールによって、インフラ構築の自動化が進んでいます。同じ構成のサーバを何百台と一気に構築できるのがIaCツールの強みですよね。 しかし、本当に同じ構成になっているかはどのように確認していますでしょうか。一台一台に接続し、コマンドをたたくのは現実的ではありません。 今回の記事では、IaCツールによって構成されたサーバの状態をテストする"Testinfra"についてハンズオンをまじえて紹介いたします。 Testinfraを使ってみよう ■Testinfraとは？特徴は？ TestinfraはPython製のテストフレームワークで、インフラストラクチャの状態をテスト駆動開発（TDD）の原則に従って検証するために使用されます。pipを使用してtestinfraをインストールし、テストファイルを用意するだけで実行可能です。 pythonでテス
PythonのLinter & Formatter（Flake8 + isort + Black）をRuffに置き換えたら爆速でした - KAKEHASHI Tech Blog
こんにちは、カケハシで Musubi 開発チームのバックエンドエンジニアをしている関です。 Musubi 開発では、 Python の Linter と Formatter に Flake8、isort、Black を使用しておりました。しかし Rust で書かれた Ruff という高性能なツールが出たということで、置き換えてみたら爆速になった（15倍以上速くなった）ので、Ruff について記事を書かせていただきます。 今回は Ruff を導入した経緯や実運用に至るまでの工程を紹介したいと思いますので、最後まで読んでいただけると嬉しいです。 Ruffとは Ruff は、2022年8月にリリースされた Rust 言語で書かれた Python の Linter 兼 Formatter です。数多くのフレームワークやライブラリで採用1されています。 Python での開発には複数のツールチェーン
Ruff with VSCodeのススメ - Qiita
はじめに この記事はミロゴス Advent Calendar 2023 13日目の投稿です。 Pythonの開発環境はどのようにされていますか？ 私はPythonをLambdaのランタイムによく使用し、Poetryでバージョン管理しながらVS Codeで開発しています。 VS Codeでの警告から、開発環境の設定を見直したので、それについて書いていこうと思います。 見直しの背景 複数人で開発する際には、LinterやFormatterを統一し、書き方を合わせていく必要があります。しかし、メンバー間で一行に対する文字数などに設定の差異があったり、設定をミスしてうまく機能しなかったことがありました。 設定を合わせるために、プロジェクトのレポジトリに.vscode/settings.jsonやextensions.jsonを配置し、共有していました。settings.jsonにはpython.l
[2023年最新版:rye対応]Python案件で汎用的に使えるモダンなプロジェクトテンプレート
概要 チームでPythonを開発する場合に活用可能な、パッケージや構成などの開発テンプレートを紹介します。 パッケージ管理、lint, test, loggingなどの、汎用的にプロジェクトで活用可能な構成になっています。 このテンプレートを導入することで、パッケージ管理やLint等の非機能系タスクから解放され、機能開発系のタスクに集中できるようになります。 パッケージ管理ツールとして、最近リリースされて使用感が良いと話題のryeを採用したバージョンについても説明しています。 今回説明する内容のリポジトリは以下の通りです。 rye使用バージョン 新しいパッケージ管理ツールであるryeを使用したバージョンは以下の通りです。 Poetry使用バージョン（従来版） 想定読者 PythonやGitの基本的な使い方を理解している方を想定しているため、基本的な用語説明は省略しています。 環境 エンジニ
![[2023年最新版:rye対応]Python案件で汎用的に使えるモダンなプロジェクトテンプレート](https://cdn-ak-scissors.b.st-hatena.com/image/square/e0439d858dd93f77cb69534dbacf06c98321922d/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--cXs_SPg4--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B2023%2525E5%2525B9%2525B4%2525E6%25259C%252580%2525E6%252596%2525B0%2525E7%252589%252588%25253Arye%2525E5%2525AF%2525BE%2525E5%2525BF%25259C%25255DPython%2525E6%2525A1%252588%2525E4%2525BB%2525B6%2525E3%252581%2525A7%2525E6%2525B1%25258E%2525E7%252594%2525A8%2525E7%25259A%252584%2525E3%252581%2525AB%2525E4%2525BD%2525BF%2525E3%252581%252588%2525E3%252582%25258B%2525E3%252583%2525A2%2525E3%252583%252580%2525E3%252583%2525B3%2525E3%252581%2525AA%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252582%2525B8%2525E3%252582%2525A7%2525E3%252582%2525AF%2525E3%252583%252588%2525E3%252583%252586%2525E3%252583%2525B3%2525E3%252583%252597%2525E3%252583%2525AC%2525E3%252583%2525BC%2525E3%252583%252588%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E7%2525B1%2525B3%2525E8%2525B0%2525B7%252520%2525E6%252598%252582%252528Python%25252FFastAP...%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzExMzNhYjJkZjUuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Python testing in Visual Studio Code
The Python extension builds on the built-in testing features in VS Code and provides test discovery, test coverage, and running and debugging tests for Python's built-in unittest framework and pytest. Configure tests When the Python extension is installed and a Python file is open within the editor, a test beaker icon displays on the VS Code Activity Bar representing the Test Explorer view. Openin
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - langchain-ai/langchain: 🦜🔗 Build context-aware reasoning applications
Torch compile does not work on python 3.12 · Issue #120233 · pytorch/pytorch
GitHub - PyO3/pyo3: Rust bindings for the Python interpreter
GitHub - asottile/pyupgrade: A tool (and pre-commit hook) to automatically upgrade syntax for newer versions of the language.
GitHub - ekzhu/datasketch: MinHash, LSH, LSH Forest, Weighted MinHash, HyperLogLog, HyperLogLog++, LSH Ensemble and HNSW
GitHub - astral-sh/rye: a Hassle-Free Python Experience
GitHub - triton-inference-server/pytriton: PyTriton is a Flask/FastAPI-like interface that simplifies Triton's deployment in Python environments.
GitHub - gaogaotiantian/viztracer: A debugging and profiling tool that can trace and visualize python code execution
