spaCy(+GiNZA)でPDFテキスト抽出の改行位置をいい感じにする - OPTiM TECH BLOG
R&D チームの徳田（@dakuton）です。 過去何回か、Tech Blog記事にてPDFやOCR、自然言語処理に関する手法を紹介してきましたが、今回もそちらに関連する内容です。 過去記事 tech-blog.optim.co.jp tech-blog.optim.co.jp tech-blog.optim.co.jp やりたいこと PDFからテキストを抽出する際に含まれる、中途半端な位置にある改行を除去することが目的です。 シンプルな方法としては、句点(。)の位置をもとに改行する方法ですが、今回はspaCy(とGiNZA)を併用した場合にどうなるかを試してみることにします。 テストデータ 今回は、下記記事のPDFを使用しました。 財務省「ファイナンス」令和３年2月号 の「ポストコロナ時代を形作る、コロナ禍で生まれるDX（デジタルトランスフォーメーション)」 1 メディア掲載情報: 財務
こんにちは、大前です。 AWS Media Blog に最近投稿された以下ブログにある、FFmpeg を Lambda レイヤーとして使用する方法が気になったので、実際にやってみました。 Processing user-generated content using AWS Lambda and FFmpeg Lambda レイヤーってなんぞ？って方は下記ブログを参照ください。 Lambda Layerの基本的な仕組みを確認する #reinvent 動画を扱うワークフローで必要となる機能は、マネージドサービスとして AWS Elemental MediaLive や AWS Elemental MediaConvert 等が提供されています。 一方で、上記では実現できない要件がある場合などは FFmpeg の使用が必要となってくるケースも考えられます。 FFmpeg を Lambda で動
PythonとRubyの連携: パワフルなデュアル言語の舞台裏 - Python転職初心者向けエンジニアリングブログ
プログラミングの世界では、PythonとRubyといった異なる言語を組み合わせて使用することがあります。これらの言語はそれぞれの特徴を持ち、異なる用途に適しています。本記事では、PythonとRubyの連携に焦点を当て、どのようにしてこれらの言語を組み合わせてプロジェクトを強化できるかについて探ります。 ファンダメンタルな相性 PythonとRubyはどちらも高水準のスクリプト言語であり、読みやすさと柔軟性に焦点を当てています。この相性の良さから、両言語を同じプロジェクト内で使用することで、開発者はより効果的かつ生産的になることが期待されます。 PythonとRubyのコードの統合 PythonとRubyのコードを統合する方法はいくつかありますが、その中でも特にお勧めなのが、Pythonのsubprocessモジュールを使用して外部のRubyスクリプトを呼び出す方法です。以下はその基本的な
LLM推論を支える抽象化転送ライブラリ NVIDIA Inference Xfer Library (NIXL) について - NTT docomo Business Engineers' Blog
こんにちは、イノベーションセンターの鈴ヶ嶺です。 本記事では、NVIDIA Dynamo や vLLM などの LLM 推論フレームワーク向けに設計された高速・低遅延の抽象化転送ライブラリである NVIDIA Inference Xfer Library (NIXL) について解説します。 また、NVIDIA Dynamo に関してはこちらで解説していますので参考にしていただけると幸いです。 engineers.ntt.com まず、LLM 推論高速化(KV Cache)におけるメモリ転送の背景と課題をご紹介し、それを解決する NIXL の概要を説明します。 NIXL は Plugin により任意の転送方式を実装可能なアーキテクチャとなっています。実際に Custom Plugin を実装する方法についても紹介します。 背景と課題 NVIDIA Inference Xfer Library
Fake GitHub projects distribute stealers in GitVenom campaign
In our modern world, it’s difficult to underestimate the impact that open-source code has on software development. Over the years, the global community has managed to publish a tremendous number of projects with freely accessible code that can be viewed and enhanced by anyone on the planet. Very frequently, code published on the Internet serves as a source of inspiration for software developers –
Bunkai(日本語文境界判定器)でPDFテキスト抽出の改行位置をいい感じにする - OPTiM TECH BLOG
R&D チームの徳田（@dakuton）です。 前回記事にてPDFの改行補正に関する記事を書いたあと、前回記事のような日本語文境界判定での利用に特化したBunkaiというライブラリが公開されたので、今回は続編として紹介します。 前回記事 tech-blog.optim.co.jp テストデータ 前回と同様、下記記事のPDFを使用しました。 財務省「ファイナンス」令和３年2月号 の「ポストコロナ時代を形作る、コロナ禍で生まれるDX（デジタルトランスフォーメーション)」 1 メディア掲載情報: 財務省が発行している広報誌「ファイナンス」の令和３年2月号に、当社代表取締役社長 菅谷 俊二の寄稿文が掲載されました。 Poppler(pdftotext)を用いた場合のテキスト抽出結果(冒頭部分のみ記載) $ wget https://www.mof.go.jp/public_relations/fi
Mac keyboard with hidutil
[Update: 13-Apr-2023 with some of the background context and some things I learned from hackernews] [Update: 18-Dec-2023] This hidutil stopped working for me in MacOS 13.6 and 14.2. Also see other people having problems too. [Update: 28-Jan-2024] Some people say hidutil works again in Mac OS 14.3. On my Mac, I've used KeyRemap4Macbook, Karabiner, Karabiner Elements, and FunctionFlip for some of my
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
FFmpeg をカスタムレイヤーとして Lambda 上で動かしてみた | DevelopersIO