PythonでPDFからテキスト/表情報の抽出精度を比較してみた - Taste of Tech Topics
はじめに こんにちは。ついにジム通いを始めて四六時中筋肉痛を感じながら過ごしているイワツカです。 最近はLLM（大規模言語モデル）とRAG（検索拡張生成）を用いて企業内ドキュメントを活用する取り組みが多く見受けられます。 ドキュメントは基本PDFで保存されているため、PDFからテキストを抽出して、検索対象にすることが必要です。 そこで今回は、PythonでPDFからテキストを抽出するためのライブラリを比較して、どれが良いのか検証しました。 はじめに 概要 実装 PyMuPDF pdfplumber unstructured 比較結果 テキスト抽出 サンプル1のテキスト抽出結果 サンプル2のテキスト抽出結果 表の抽出 サンプル3の表抽出結果 サンプル4の表抽出結果 検証結果 まとめ 概要 今回はPDF読み取りライブラリとして、PyMuPDF、pdfplumber、unstructuredの3
Python FastAPIで構築する実用的データ統合パイプライン: 天気・交通APIを例にしたジェネレータ活用術 - Qiita
はじめに こんにちは、皆さん。今回は、FastAPIを使用して天気予報APIと交通情報APIを作成し、それらから取得したデータを効率的に統合する方法について、Pythonのジェネレータを使用したアプローチを紹介します。この例を通じて、複数のデータソースを組み合わせることで、日常生活の計画をより効率的に立てる方法を学びましょう。 目次 はじめに 環境準備 FastAPIを使用した天気・交通APIの作成 ジェネレータを使用したデータ統合 動作確認と日常生活への応用 パフォーマンスと拡張性 まとめ はじめに 日々の生活において、天気予報や交通情報は私たちの行動計画に大きな影響を与えます。本記事では、これらの情報を提供する2つのAPIを作成し、それらからのデータを効率的に統合して活用する方法を紹介します。 環境準備 まず、必要なライブラリをインストールします： from fastapi impor
Python理事会が古参開発者を追い出して開発者コミュニティが騒動に - Qiita
どういうわけか日本では一切話題に上がっていないのですが、Pythonの開発者コミュニティでなんか問題が起きているようです。 どうも話が様々なスレッドにとっ散らかっているうえに半分はDiscordや非公開のところで動いているみたいなので、読み取れていないところが色々あるかもしれません。 誰かが補足してくれるはず。 Proposed bylaws changes to improve our membership experience 最初のきっかけはこのスレッドです。 これは規約の一部を変更する提案であり、その中でも3番目の提案であるAdds provision to remove Members by vote of the Board of Directorsという変更が注目を浴びました。 Python財団にはフェローという制度があり、これはPythonエコシステムやコミュニティに優れた
Facebookが開発した時系列予測モデルProphetで可能な4つのタイプの分析 - Qiita
時系列データは、ビジネスの世界で最も多く扱われているタイプのデータです。 しかし、その活用となると、ラインチャートで指標の推移を可視化して、その上下に注目する、あるいは、設定したターゲットを満たしているかを確認するだけにとどまってしまっていることも少なくありません。 一方で、時系列のデータが手元にあれば、将来の指標を予測したり、トレンドの変化があったタイミングを探索したり、季節性の影響を分析したりすることで、ビジネスにとってより有益な気付きを得られます。 そこで、今回はFacebookが自らのビジネスの改善のために開発した、時系列予測のProphetを使うことで、可能な4つのタイプの分析を紹介いたします。 Prophetについて ProphetはFacebookが開発した時系列予測のモデルで、専門知識がなくても、以下のような日付と指標を組み合わせた時系列のデータさえあれば、注目している指標
Pythonで実践する時系列データ分析: pandasとProphetで未来を予測する - Qiita
はじめに ビジネスの世界で「先を読む」ことの重要性は言うまでもありません。売上予測、需要予測、株価分析など、時系列データを扱う機会は非常に多いですよね。しかし、時系列データの分析は一筋縄ではいきません。トレンド、季節性、外部要因など、考慮すべき要素が多岐にわたります。 そこで本記事では、Pythonを使って時系列データを効果的に分析する方法をご紹介します。特に、データサイエンティストの強い味方であるpandasライブラリの時系列機能と、FacebookのAIチームが開発した予測ライブラリProphetに焦点を当てます。 これらのツールを使いこなせば、複雑な時系列データでも、まるで未来を見通すかのように分析できるようになります。さあ、一緒にPythonで時を操る魔法を学んでいきましょう！ 1. pandasを使った基本的な時系列データ操作 1.1 データの読み込みと前処理 まず、時系列データ
高速化のエンジニアリング。注文してから0.722秒。100倍速いぞ！Python : 75.884 C++ : 3.392 JIT Python : 0.722 JITコンパイラで高速化されたコードを自動生成するツール。 - Qiita
アリスは驚きと興奮を抑えきれませんでした。彼女はすぐに新しいコードを試し、その速さに目を見張りました。今まで数時間かかっていた計算が、ほんの数分で終わったのです。 翌日、アリスはこの発見を友人たちに話しました。友人たちも同じように魔法の本を使い、彼らのコードを高速化しました。こうして、プログラミング王国全体で「JITの魔法の本」が広まりました。 やがて、アリスは王国のプログラミング大会で優勝し、JITの魔法の本の力をさらに広めることになりました。彼女は「JITの守護者」として称えられ、プログラミング王国はかつてない繁栄を迎えました。 アリスはいつも心に誓いました。どんなに強力なツールも、それを使う人々の努力と情熱があってこそ、本当の力を発揮するのだと。彼女の言葉は次世代のプログラマーたちに伝わり、JITの魔法の本は永遠に受け継がれていくのでした。 前回のあらすじ。 Python count
2024年最新版：Pythonデータ解析ライブラリ総まとめ - 実践的ガイド - Qiita
はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor
PythonのDockerfileをセキュアにするためのベストプラクティス - Qiita
はじめに PythonのDockerfileを作成する際、ネット上で適切な情報が見つからず、試行錯誤することがあります。そこで、ここでまとめてみます。 完成品 # 開発用ステージ FROM python:3.11.9-slim-bookworm AS developer ENV PYTHONUNBUFFERED=1 ENV PYTHONDONTWRITEBYTECODE=1 WORKDIR /app RUN apt-get update \ && apt-get install -y --no-install-recommends \ wget=1.21.3-1+b2 \ && apt-get -y clean \ && rm -rf /var/lib/apt/lists/* COPY requirements.txt ./ RUN pip install --no-cache-dir -
Pythonプログラミング（待ち行列）
このページでは、待ち行列についてあれこれ試行してみる（ここはこれから）。 ポアソン過程 ある瞬間に発生するイベントを考えよう。例えば、コンビニに客が入店する、原子が崩壊する、パソコンのLANポートに信号（パケット）が到着する、等々。 ある時刻$t$から、わずかな時間間隔$\Delta t$の間に、それらのイベントが発生する確率が時間間隔に比例する、すなわち $$ p(t ; t+\Delta t) = \lambda \Delta t + O(\Delta t^2) $$ であるような場合について考えてみよう。 すると、イベントが発生しない確率は $$ q(t; t+\Delta t) = 1 - \lambda \Delta t + O(\Delta t^2) $$ ということになる。 $t=0$から$T=n \, \Delta t$の間の$n$個の等間隔な区間で、合計$k$回のイベント
LaTeX と Python で作る 1 ポイントたりとも表示崩れしない最強の帳票印刷ソリューション - Qiita
元ネタ 元ネタはこちらです（以下「Figma と PHP」で略します）。 読んでなるほどと思いました。このように、誰かが苦労したおかげで後続が楽になるので感謝です。何が問題点として生じるのか、どんな解決方法が考えられるのか、が予め判明しているだけでもだいぶ楽になります。 反面、$\LaTeX$ の方が実装は簡易ではないかと思ったので、それを実践してみました。 条件と問題点 Figma と PHP の 44 ページに以下のような条件があります 改めて、満たしたい条件 ミリ単位で細かく帳票をデザインしたい。 帳票デザインの保守性を維持するためにはビジュアルデザイン必須 印刷時に見た目が一切崩れない さらに、次のような障害を次々とクリアしていってます。 文字参照の問題 枠からのはみ出しの問題 右寄せの問題 自動折り返しの問題 連票の問題（簡易な解説のみ） これらを $\LaTeX$ と Pyth
Pythoデータ処理入門
第1回 Pythonでデータ分析を始めよう！ データの読み書き方法（2024/04/05） 本シリーズと本連載について pandasとは ・pandasのインストール ・pandasで扱えるデータ ・SeriesとDataFrame データセットの読み込みと書き込み ・CSVファイルの読み込み ・pandas.read_csv関数 ・CSVファイルへの書き込み ・pandas.DataFrame.to_csvメソッド ・Excelファイルの読み込み ・pandas.read_excel関数 ・Excelファイルへの書き込み ・pandas.DataFrame.to_excelメソッド 読み込んだデータを調べてみよう
【VSCode】You have deprecated linting or formatting settings for Python への対応 - Qiita
【VSCode】You have deprecated linting or formatting settings for Python への対応PythonVSCode 実行環境 Windows10 VSCode version 1.84 はじめに VSCode を October 2023 (version 1.84) にアップデートしたら、以下の警告がポップアップするようになりました。 この警告への対応と内容について簡単に説明します。 対応 settings.json から、以下の文字で始まる設定をすべて削除し警告を解除します。 python.linting.* python.formatting.* ユーザ設定用 settings.json ファイルは、 VSCode のコマンドパレットから settingsjson 等で検索して開くことができます。 その後、必要に応じて Pyl
Pythonで理解する電気回路 - Qiita
メモ代わりに使っていきます。 https://www2-kawakami.ct.osakafu-u.ac.jp/lecture/ キャパシタとコイルの式 コイルの式 L’i(t)=V(t) 電流(t)をtで微分した後にLをかけるとV(t)となる import numpy as np import matplotlib.pyplot as plt # 定数定義 ω = 2*np.pi # 角周波数 L = 1 # インダクタンス # 時間の範囲を定義 t = np.linspace(0, 2*np.pi, 1000) # 入力電流 i_t = np.sin(ω*t) # 出力電圧 V_t = L * np.gradient(i_t, t) # プロット plt.figure(figsize=(10, 5)) plt.subplot(2, 1, 1) plt.plot(t, i_t, labe
VTKの概要とPythonによる読み込み手順、可視化例
この記事では、3次元データの可視化に広く使用されているVTKファイルの概要と可視化の流れ（パイプライン）について説明します。そして、このパイプラインをPythonコードで表現し、VTKファイルを読み込む方法とウィンドウ上に可視化する方法、画像ファイルとして保存する方法を示します。 目次 VTKの概要 VTKの基本的な概念 DataSet Filter Mapper Actor Renderer RenderWindow VTKライブラリのインストール VTKファイルの読み込みと可視化 サンプルファイル ファイルの読み込みと可視化 カラーバーの追加 カラーマップの配色と透明度の指定 PNG画像として保存 まとめ おすすめ記事 VTKの概要 VTK（Visualization Toolkit）は、高度な3次元可視化やデータ解析を行うためのオープンソースのソフトウェアライブラリで、BSDライセン
Rust製のPythonパッケージ管理ツール「uv」を使ってみよう | gihyo.jp
それぞれのツールに関する詳しい説明は本記事では行いません。詳しく知りたい方は、ツール名のリンクから公式ドキュメント等を参照してみてください。 上記の表に挙げたツール群にはそれぞれに特徴があります。pyenv、venv、pipのように単一機能に特化したものから、Condaのようにデータサイエンスや機械学習プロジェクトで使用される複雑なパッケージの依存関係や環境管理をサポートするツール、PoetryのようにPythonパッケージインデックス（PyPI）への公開をサポートするツールなど、開発シーンに合わせて選択することができます。 uvとは uvは2024年の2月中旬に発表されたばかりの新しいパッケージ管理ツールです。Rustで書かれており、ここ最近で飛躍的に使用されるようになったRust製のPythonリンター＆フォーマッター「Ruff」を開発しているAstral社によって提供されています[1
非同期処理をシンプルなPythonコードで説明する - Qiita
想定読者 非同期処理がいまいちイメージできないという人 非同期処理って具体的にどう書くの？という人 Pythonの基本文法はなんとなく知っているよという人（←具体的な実装方法を知りたい人のみ） Pythonがパソコンにインストールされている（←動作確認したい人のみ） 非同期処理、同期処理とは？ まずは結論から。 非同期処理とは、 あるタスクが終了するのを待っている間、別のタスクを実行すること。 同期処理とは、 処理を順番に実行していくこと。 以下、詳しく書いて行きます。 非同期処理のイメージ 非同期処理のイメージは、 家事を並行してこなすことに似ています。 例えば、 ご飯を炊いている間、炊飯器の前でただ炊けるのを待っていては、時間がもったいないです。 炊けるまでの１時間の間に、他のメニューを作ったり、部屋の掃除をした方が効率的です。 このように、 タスクA（ご飯を炊く）が完了するまでの間、
Numpyが18年ぶりのメジャーアップデート！ 改善点、変更点まとめ - Qiita
NumPy 2.0.0の主要な変更点 皆さんもお世話になっているであろう科学計算ライブラリNumPyが、2006年以降初めてのメジャーアップデートを発表しました。そこで、変更点をざっくりとまとめてみました。以下は変更点の一部であり、それ以外については実際のドキュメントを参照してください。 免責事項：この記事は、NumPy 2.0.0の変更点について個人的な見解を述べたものであり、NumPyの開発チームや関係者の公式な見解を代表するものではありません。変更点の影響や対応方法については、必ず公式のリリースノートと移行ガイドを参照してください。また、この記事には不正確な情報が含まれている可能性があります。記事の内容を実際のプロジェクトに適用する前に、必ず公式ドキュメントで情報を確認してください。 概要 2006年以来の最初のメジャーリリース 破壊的な変更あり 多くの新機能とPython/C AP
pdfからtextを抜き出す試行錯誤のメモ｜Kan Hatakeyama
これは二段構えの構成を持っています。この二段構えを正確に検出し、テキストを理解することが望ましいです。 Unstructuredを使うPythonのライブラリであるUnstructuredを試してみましょう。 参考記事 導入は非常に簡単です。 pip install 'unstructured[pdf]' 実装も簡単です。 解析コード： from unstructured.partition.pdf import partition_pdf pdf_elements = partition_pdf("pdf/7_71_5.pdf") 表示コード： for structure in pdf_elements: print(structure) 結果： 残念ながら、2段組のカラムを正確に検出することはできませんでした。 Grobidを使うGrobidは、peS2oというオープンアクセス論文のコ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Pythonのドキュメントでも読むか～」「え、何その裏技」 - Qiita
[python / pandas] DataFrame を扱う人が覚えておきたい、ちょっとレアな便利技16選 - Qiita![[python / pandas] DataFrame を扱う人が覚えておきたい、ちょっとレアな便利技16選 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ac0fb5b4d1c8c93e5d4886dd2dcfe0706211d92e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCcHl0aG9uJTIwJTJGJTIwcGFuZGFzJTVEJTIwRGF0YUZyYW1lJTIwJUUzJTgyJTkyJUU2JTg5JUIxJUUzJTgxJTg2JUU0JUJBJUJBJUUzJTgxJThDJUU4JUE2JTlBJUUzJTgxJTg4JUUzJTgxJUE2JUUzJTgxJThBJUUzJTgxJThEJUUzJTgxJTlGJUUzJTgxJTg0JUUzJTgwJTgxJUUzJTgxJUExJUUzJTgyJTg3JUUzJTgxJUEzJUUzJTgxJUE4JUUzJTgzJUFDJUUzJTgyJUEyJUUzJTgxJUFBJUU0JUJFJUJGJUU1JTg4JUE5JUU2JThBJTgwMTYlRTklODElQjgmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTdmMjFmY2I0NjdhODMxZjk3MTE5ZTRmNmU5YWEyMDc5%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzaXJ1a3U2JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1mOTAyYzU3ZmM3NDY2ZTdjZTZlMGExMmE0NTg5NWVlYw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D9180b8af00e564c171e8e98f8f391616)
