GitHub - jorisschellekens/borb: borb is a library for reading, creating and manipulating PDF files in python.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - PythonOT/POT: POT : Python Optimal Transport
This open source Python library provides several solvers for optimization problems related to Optimal Transport for signal, image processing and machine learning. Website and documentation: https://PythonOT.github.io/ Source Code (MIT): https://github.com/PythonOT/POT POT provides the following generic OT solvers (links to examples): OT Network Simplex solver for the linear program/ Earth Movers D
2024年のPythonプログラミング - Uzabase for Engineers
ソーシャル経済メディア「NewsPicks」で推薦や検索などのアルゴリズム開発をしている北内です。Pythonは頻繁に新機能や便利なライブラリが登場し、ベストプラクティスの変化が激しい言語です。そこで、2024年2月時点で利用頻度の高そうな新機能、ライブラリ、ツールなどを紹介したいと思います。 この記事では広く浅く紹介することに重点を置き、各トピックについては概要のみを紹介します。詳細な使用方法に関しては各公式サイト等での確認をおすすめします。なお、本記事ではOSとしてmacOSを前提としています。 環境構築 Pythonの環境構築はpyenvとPoetryの組み合わせがもっとも標準的でしょう。 以下の手順でpyenvとPythonをインストールできます。 brew install pyenv # Bashの場合 echo 'eval "$(pyenv init -)"' >> ~/.ba
GitHub - tiangolo/typer: Typer, build great CLIs. Easy to code. Based on Python type hints.
Typer, build great CLIs. Easy to code. Based on Python type hints. Documentation: https://typer.tiangolo.com Source Code: https://github.com/tiangolo/typer Typer is a library for building CLI applications that users will love using and developers will love creating. Based on Python type hints. It's also a command line tool to run scripts, automatically converting them to CLI applications. The key
Python の subprocess で出力を受け取るときは communicate() を使おう - Qiita
ドキュメントに書いてあっても 読んでない or 忘れていた 私のためのメモ。 Pythonで 子プロセスを実行するときには subprocess モジュールを使うことが推奨されています。 その子プロセスの標準出力やエラー出力を受け取るときに、 p.stdout.read() や p.stderr.read() を使っていると 子プロセスの出力するデータ量が多い時に 刺さって しまいます。代わりに p.communicate() を使うと良いです。 その件については、下記ドキュメントの中段辺りに http://docs.python.jp/2.7/library/subprocess.html 警告 stdin.write(), stdout.read(), stderr.read() を利用すると、別のパイプのOSパイプバッファがいっぱいになってデッドロックする恐れがあります。これを避ける
GitHub - guidance-ai/guidance: A guidance language for controlling large language models.
Note that v0.1 is a dramatically new version developed while releases had to be paused over the summer. If you are looking for the old version based on handlebars, you can use v0.0.64, but you should instead try porting over to the much better new version :) guidance is a programming paradigm that offers superior control and efficiency compared to conventional prompting and chaining. It allows use
バクラクMLチームの技術スタックの変遷 - LayerX エンジニアブログ
機械学習エンジニアの吉田です。 夏ですね。7月はLayerXエンジニアブログを活発にしよう月間 です。 昨年バクラクOCRの機械学習モデルの検証から本番投入までの取り組みについて記事を書きました。 tech.layerx.co.jp その後、運用する中で新たな課題が生まれたり、負債を解消するために当初の開発環境を見直しアップデートしてきました。 今回は機械学習周辺の技術スタックに焦点を当ててその変遷について紹介したいと思います。 MLチームでは各サービスからのリクエストを処理するAPIやデータ基盤、社内のアノテーションツールなどの開発も行っており、これらは主にGo, TypeScriptで開発されていますが今回は対象外としています。 技術スタックの変遷 本番リリース時と現在の主な技術スタックの比較です。 リリース時 現在 言語 Python Python パッケージ管理 pip Poetr
近似最近傍探索の最前線
MIRU 2019 チュートリアル http://cvim.ipsj.or.jp/MIRU2019/index.php?id=tutorial 松井 勇佑（東京大学生産技術研究所）http://yusukematsui.me/index_jp.html ベクトルの集合を前にして新たにクエリベクトルが与えられたとき、そのクエリに最も似ているベクトルを高速に探す処理を近似最近傍探索という。近似最近傍探索は画像検索をはじめ様々な文脈で用いられる基本的な操作であり、速度・メモリ使用量・精度のトレードオフの中で様々な手法が提案されている。本チュートリアルでは、アプローチや対象とするデータの規模に応じて近年の手法を分類し、その概観を示す。また、各手法に対応するライブラリを紹介し、大規模データに対する探索を行いたい場合にどのように手法を選択すべきかの道筋を示す。
ChatGPT時代に必要かも!? Pythonで実行するファイルパース（PDF編） | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は話題のChatGPTにコンテキストを与える際に必要となるファイルパース処理について見ていきたいと思います。 本記事ではPDFに焦点を絞ってみていきます。既存のライブラリ内の実装も確認していきます。 先行事例の実装 先行事例の実装として、よく話題となる以下のライブラリを見ていきます。 （LlamaIndexとLlamaHubはほぼ同じですが、parserとしては片方にしかないものもあるため） LlamaIndex https://github.com/jerryjliu/llama_index https://gpt-index.readthedocs.io/en/latest/index.html LlamaHub https://github.com/emptycrown/llama-hu
体重管理アプリを作りながらLine botとAWSについて学ぶ -前編- | DevelopersIO
こんにちは、データアナリティクス事業本部の下地です。 コロナの影響でリモートワークになり4ヶ月目になりました。おかげさまで家で仕事をすることにも慣れてきました。慣れてくると在宅での仕事は移動がない分楽だなとも思える様になってきました。しかし、移動がないのは良いのですが運動不足を実感するとともに、体重の増加にも悩み始めました。毎日体重計に乗って確認はしているのですが簡易的に記録を取りたいなと思いましたので、日常的に使用しているlineとAWSのサービスを使用して下記図のようなイメージで体重管理のbotを作成したいと思います。 せっかく作成するのでAWSの様々な機能を使用したいなと思いましたので、前編・後編でまとめます。 前編で上図の仕組みを構築し、後編では記録した体重データを使用して体重推移の可視化やデータの暗号化などを試します。後半のリンクも載せますので合わせて参照していただけると幸いです
めちゃくちゃ手間のかかっていた手作業をPython使って激効率化した話 - Qiita
前置き すごく手間のいる作業が存在していた。ざっくり スプレッドシートを複製 運用管理ツールからjsonを複数DL シミュレータ実行 シミュレータ実行結果をスプレッドシートに貼り付け 目視で結果確認（NGならリトライ） スプレッドシートからExcelファイルexport メール＆Slackで報告 実質的な作業時間としては10~20min（リトライあるともっと）かかるが、色んなツールが必要だからとにかく面倒。 図にするとこんな感じ 環境 masOS Mojave ver10.14.6 Python 3.7.3 pip 19.2.2 激効率化（自動化）した結果 パラメータ指定なしのコマンド一つで、欲しかったExcelファイルが作成されるようにした 自動化のポイント 1. 運用観点 無駄は無くしていこうな方針で2点対応。 1-1. スプレッドシートの廃止 シミュレート結果の確認＋Excelファイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - Delgan/loguru: Python logging made (stupidly) simple
GitHub - sdairs/vue3-fastapi-oath2-jwt-demo: This is a Demo project to show how to do OAth2 token auth with FastAPI to Vue3 frontend with JWT (with Postgres)
GitHub - NVIDIA/VideoProcessingFramework: Set of Python bindings to C++ libraries which provides full HW acceleration for video decoding, encoding and GPU-accelerated color space and pixel format conversions
GitHub - astral-sh/rye: a Hassle-Free Python Experience
demo-oauth-client/fastapi-google-login at master · authlib/demo-oauth-client
GitHub - scanny/python-pptx: Create Open XML PowerPoint documents in Python
GitHub - lepture/authlib: The ultimate Python library in building OAuth, OpenID Connect clients and servers. JWS,JWE,JWK,JWA,JWT included.
GitHub - Qix-/better-exceptions: Pretty and useful exceptions in Python, automatically.
How to remove spaces while writing in INI file- Python