はじめに こんにちは。クラウドエースの荒木です。 ChatGPT や Claude などの生成 AI が日常生活やビジネスに浸透してきましたが、これらの AI の真価は外部システムと連携したときに発揮されます。しかし、この連携には大きな課題がありました。 これまで AI と外部システムを連携させるには、システムごとに個別の API 統合が必要で、認証方法やデータ形式、エラー処理など、細かな実装を繰り返す必要がありました。このような個別対応は開発効率を下げ、拡張性や保守性の面でも問題がありました。 そこで登場したのが「Model Context Protocol（MCP）」です。2024 年 11 月に Anthropic が発表したこのオープンプロトコルは、AI と外部システムの接続を標準化し、開発者の負担を大幅に軽減します。 この記事では、MCP の基本概念から実装方法、活用事例まで、技
シェルスクリプトとの対比で理解するPythonのsubprocess - 朝日ネット 技術者ブログ
はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、 rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ
サーバーレスのセキュリティリスク - AWS Lambdaにおける脆弱性攻撃と対策 - GMO Flatt Security Blog
はじめに こんにちは、株式会社Flatt Security セキュリティエンジニアの森岡(@scgajge12)です。 本稿では、AWS Lambda で起こりうる脆弱性攻撃やリスク、セキュリティ対策を解説し、サーバーレスにおけるセキュリティリスクについて紹介します。 はじめに AWS Lambda について サーバーレスにおけるセキュリティリスク AWS Lambda で起こりうる脆弱性攻撃 Lambda での脆弱性攻撃によるリスク 脆弱性攻撃による更なるリスク OS Command Injection XML External Entity (XXE) Insecure Deserialization Server Side Request Forgery (SSRF) Remote Code Execution (RCE) AWS Lambda におけるセキュリティ対策 セキュリティ
こんにちは。ダイの大冒険エンジョイ勢のbun913と申します。私はSDET(Software Development Engineer in Test)として、QAチームにいる何でも屋さんとして、私より優秀なみなさんが本質的なことに時間を使えるように日夜改善を考えています。 私は弊QAチームでのMCP活用として以下のような記事を書いておりました。 今回は最近話題の Agent Skills とあらかじめ作っておいたCLIツールを組み合わせて、QAチームが本質的ではない作業にかける時間とトークン消費量を大幅に削減する試みを紹介します。 内容自体はQAチームの取り組みですが、考え方やツールの使い方は他のことに流用できるのではないかと考えています。 先に背景とやったことをざっくり説明 背景: 前回までの取り組み 弊チームでは自動テストに力をいれつつも、手動テストの威力も大事にしています。実際探索
ラズパイを使ってやってみたかったことの一つ、センサーを用いた温度湿度の計測。 今回はセンサを用いて部屋の温度室温を計測してみることとしましたが、せっかく計測するなら、ラズパイでできる他の機能も活かして、何か生活に役立てられるようなものができないか、と考え、今回思いついたのが、「赤ちゃん快適室温設定システム」。 今回は、温度湿度センサーと、これまで本ブログで紹介してきたいくつかの簡単な技術、機能を組み合わせて、赤ちゃんが快適に過ごすことができる部屋をつくるためのシステムを構築しました。 こうがくん ラズパイで赤ちゃん快適室温設定システム構築したよ！ 赤ちゃん快適室温設定システムの概要 経緯と目的 ラズパイの特徴と言えば、センサなどいろいろな電子機器を繋げて、計測したり、制御したりできることです。接続できるセンサは、本当にいろんな種類のものがあり、ラズパイを始めた身としては、全種類扱ってみたい
高速化のエンジニアリング。注文してから0.722秒。100倍速いぞ！Python : 75.884 C++ : 3.392 JIT Python : 0.722 JITコンパイラで高速化されたコードを自動生成するツール。 - Qiita
アリスは驚きと興奮を抑えきれませんでした。彼女はすぐに新しいコードを試し、その速さに目を見張りました。今まで数時間かかっていた計算が、ほんの数分で終わったのです。 翌日、アリスはこの発見を友人たちに話しました。友人たちも同じように魔法の本を使い、彼らのコードを高速化しました。こうして、プログラミング王国全体で「JITの魔法の本」が広まりました。 やがて、アリスは王国のプログラミング大会で優勝し、JITの魔法の本の力をさらに広めることになりました。彼女は「JITの守護者」として称えられ、プログラミング王国はかつてない繁栄を迎えました。 アリスはいつも心に誓いました。どんなに強力なツールも、それを使う人々の努力と情熱があってこそ、本当の力を発揮するのだと。彼女の言葉は次世代のプログラマーたちに伝わり、JITの魔法の本は永遠に受け継がれていくのでした。 前回のあらすじ。 Python count
こんにちは。ROBOT PAYMENT （以下、ロボペイ）でエンジニアをしているtakamoriです。 私が所属しているチームでは、請求先マイページ機能を開発しており、その中でユーザー認証基盤をAuth0からCognitoへと移行させました。そこで今回は、Auth0からCognitoへのユーザー移行手順を書いていきたいと思います。 ※ 本記事ではAuth0やCognitoの環境構築は対象外で、それぞれの環境が構築済み前提となります。 移行手順 Auth0からユーザーをエクスポート Auth0ユーザー情報をCognitoユーザー情報へマッピング Cognitoへユーザーをインポート Auth0からユーザーをエクスポート Auth0からのユーザーをエクスポートするには、ExportUsersJob APIを利用します。GetUsers APIを利用して取得することも可能ですが1,000件の取得
中間層をリピートするだけでLLM性能が向上する!? 4090x2でリーダーボードトップになった手法Repeat Your Self｜shi3z
この手法は、「LLM神経解剖学」と銘打ち、LLMのレイヤーが実際には何をやっているのか類推しようとする。 Ngによれば、LLMは入力層に近いところでは入力された言語から、LLMが使用する中間表現に変換され、出力層に近いところでは、中間表現から出力表現に変換される。 実際の「思考」は、中間層で行われているというのがNgの主張の中心である。 そこでNgは、グリッドサーチを行って、中間層をどのようにリピートすれば一番性能が上がるかというポイントを探った。これがRYS-XLargeというモデルだ。 RYS-XLargeは、LLMリーダーボードで並いるモデルを追い抜き、一位になった。重要なのは、RYS-XLargeは一切の再学習や事後学習を行っていないという点だ。 LLMリーダーボードでQwen2-72Bを抜いてトップにそして、このリーダーボードの闇の部分になるのだが、Ng自身はリーダーボードでトッ
Agent Skills対応Agentを作ろう｜はち
1. はじめに2025年末にAnthropicがAgent Skillsという機能をオープンスタンダード化し、Xなどでもよく話題になっていると思います。MCP然りでAnthropicはこういったスタンダード化をするのが上手いなと感心させられます。 色々議論されていると思いますが、Agentの開発を行っている私的にAgent Skillsのメリットは以下の2点だと考えています。 再利用性：1度作ったSkillを別エージェントでも使いやすい。 段階的開示(progressive disclosure)：そのSkillが必要になったときだけその詳細やスクリプトについてAgentが読み込むことができる。（プロンプトの圧縮につながる。） AnthropicとしてはあくまでClaude CodeやClaude APIでできることを増やしたいがためのオープンスタンダード化ということなのか、自作Agent
AWS LambdaでOSコマンドインジェクションを作り込んでAmazon Inspectorのコードスキャンで検知させてみた | DevelopersIO
こんにちは、臼田です。 みなさん、LambdaLambdaしてますか？(挨拶 先日サポートされたAWS Lambdaの脆弱性のあるコードを検知できるAmazon InspectorのLambdaコードスキャン機能を使って、Lambda PythonのOSコマンドインジェクションを検知させてみました。 概要 先日のre:Inforce 2023にてAmazon InspectorがLambdaのコードスキャンができるようになりました。詳細は以下をご確認ください。 以前からコードに含まれるパッケージの脆弱性は検出できていましたが、このアップデートによりコードで作り込んだ脆弱性、例えばSQLインジェクションとかXSSとかも検出できるようになりました。 というわけで、これを試すためにPythonでOSコマンドインジェクションをやってみよう、と思いついて試しました。 実装 まずはAmazon Ins
CDK with Pythonの自動テスト事情 〜TypeScriptなんて羨ましくなんかないぞ〜 - NRIネットコムBlog
こんにちは、0日後に育休に入る志水です。本当は100日前に投稿したかったです。 みなさん、IaCしてますか？AaCしてますか？してますよね。 じゃあテストもコードで書いてますか？ と聞くと、やってない人も出てくるのかなと思います。 やっている人だとawspec使ってAWSリソースのテストをしたり、CDKの単体テストをコードで書いている人は多いかと思いますが、それ以降のテスト（結合テストやE2Eテストなど）をコードで書いてる人は少なくなるかなと思います。 というのも、awspecやCDKの単体テストの記事はよく見ますが、それ以降のテストの記事が無いなと感じました。 またCDKの単体テストでは、よくTypeScriptを使ったJestの記事が多く（公式もそうだし）、Pythonの方法があまりありませんでした。 もちろん要件によって変わってくるので書きづらいというのもあるとは思いますが、他の人が
PythonとR言語のハーモニーな連携: データサイエンスの舞台裏 - ITエンジニアが仕事に対して思うこと
プログラミングの舞台裏には、異なるプログラミング言語を組み合わせて使用することで、プロジェクトに深みをもたらす魔法が広がっています。今回の記事では、PythonとR言語の連携に焦点を当て、データサイエンスの分野でこれらの言語を連携させることで得られる恩恵について詳しく探ってみましょう。 PythonとR言語: データサイエンスのダイナミックデュオ Pythonは豊富なライブラリやシンプルな構文を持ち、データ処理や機械学習分野で強力な存在です。一方で、R言語は統計解析や可視化に特化しており、データサイエンスの分野で広く使用されています。これらの異なる強みを連携させることで、データサイエンスのダイナミックデュオが誕生します。 連携の鍵: PythonからRスクリプトを呼び出す PythonからRスクリプトを呼び出すためには、subprocessモジュールを使用します。以下は基本的な例です。 i
プログラミングの世界では、PythonとRubyといった異なる言語を組み合わせて使用することがあります。これらの言語はそれぞれの特徴を持ち、異なる用途に適しています。本記事では、PythonとRubyの連携に焦点を当て、どのようにしてこれらの言語を組み合わせてプロジェクトを強化できるかについて探ります。 ファンダメンタルな相性 PythonとRubyはどちらも高水準のスクリプト言語であり、読みやすさと柔軟性に焦点を当てています。この相性の良さから、両言語を同じプロジェクト内で使用することで、開発者はより効果的かつ生産的になることが期待されます。 PythonとRubyのコードの統合 PythonとRubyのコードを統合する方法はいくつかありますが、その中でも特にお勧めなのが、Pythonのsubprocessモジュールを使用して外部のRubyスクリプトを呼び出す方法です。以下はその基本的な
目的 このドキュメントではPythonの非同期処理の実験を行います。 Pythonの非同期自体初めての場合は以下のページを参照してください。 A Conceptual Overview of asyncio 公式のドキュメントで概要を掴むには適切 import asyncio: Learn Python's 上記のページでおすすめされている動画 Pythonのバージョンは3.8くらいのようなのでTaskGroupなどは紹介されていない 解説中のサンプルが一部動作しないがこの辺を参考にすれば動かせはする Python Concurrency with asyncio asyncioの書籍 Pythonのバージョンは3.8くらいのようなのでTaskGroupなどは紹介されていない 3.11からの話は、ココを参照。 もし、そもそもコルーチンとは何か、Pythonでの非同期処理の導入の経緯を知りた
ChatGPT Containers can now run bash, pip/npm install packages, and download files
Sponsored by: Teleport — Secure, Govern, and Operate AI at Engineering Scale. Learn more ChatGPT Containers can now run bash, pip/npm install packages, and download files 26th January 2026 One of my favourite features of ChatGPT is its ability to write and execute code in a container. This feature launched as ChatGPT Code Interpreter nearly three years ago, was half-heartedly rebranded to “Advance
【GROMACS】Umbrella samplingによるMD simulation 【In silico創薬】【SMD】 - LabCode
Umbrella Samplingの概要と目的Umbrella Samplingは、分子がめったに起こさないような状態変化（たとえば、タンパク質同士が離れるなど）を詳しく調べるための計算手法です。通常の分子動力学（MD）では、エネルギー的に安定な状態にとどまりやすく、重要な変化が起こる確率が低いため、十分な情報が得られません。 たとえば、タンパク質AとBがくっついている状態から、少しずつ離れていく様子を観察したいとき、まずAとBを少しずつ引き離すSteered Molecular Dynamics（SMD）などのシミュレーションで、さまざまな距離の構造を取得します。その中から、0.5nm、0.7nm、0.9nmなど、特定の距離ごとに「窓（window）」を設定し、それぞれの距離でバネのような力をかけてMDシミュレーションを行います。これにより、その距離での分子の振る舞いをしっかり観察できま
--- name: skill-creator description: Guide for creating effective skills. This skill should be used when users want to create a new skill (or update an existing skill) that extends Claude's capabilities with specialized knowledge, workflows, or tool integrations. license: Complete terms in LICENSE.txt --- # Skill Creator This skill provides guidance for creating effective skills. ## About Skills S
Introduction Some part of me has always been fascinated with coercing code to run in weird places. I scratch this itch a lot with my security research projects. These often lead me to writing shellcode to run in kernels or embedded hardware, sometimes with the only way being through an existing bug. For those not familiar, shellcode is honestly hard to describe. I don’t know if there’s a very form
LLM推論を支える抽象化転送ライブラリ NVIDIA Inference Xfer Library (NIXL) について - NTT docomo Business Engineers' Blog
こんにちは、イノベーションセンターの鈴ヶ嶺です。 本記事では、NVIDIA Dynamo や vLLM などの LLM 推論フレームワーク向けに設計された高速・低遅延の抽象化転送ライブラリである NVIDIA Inference Xfer Library (NIXL) について解説します。 また、NVIDIA Dynamo に関してはこちらで解説していますので参考にしていただけると幸いです。 engineers.ntt.com まず、LLM 推論高速化(KV Cache)におけるメモリ転送の背景と課題をご紹介し、それを解決する NIXL の概要を説明します。 NIXL は Plugin により任意の転送方式を実装可能なアーキテクチャとなっています。実際に Custom Plugin を実装する方法についても紹介します。 背景と課題 NVIDIA Inference Xfer Library
Pythonにおける外部Pythonプログラムの実行と引数の受け渡し - ITエンジニアが仕事に対して思うこと
# Pythonにおける外部Pythonプログラムの実行と引数の受け渡し Pythonプログラミングにおいて、他のPythonプログラムを呼び出して実行することは、様々なシナリオで必要とされます。subprocessモジュールを使用すると、外部のPythonスクリプトを効果的に実行できます。この記事では、subprocessモジュールを用いて他のPythonプログラムを実行し、かつ５つの引数を受け渡す方法に焦点を当てます。実際のコード例と実行結果を通じて、手順を詳細に解説していきます。 1. subprocessモジュールの概要 subprocessモジュールは、外部プロセスを作成、実行、および制御するためのPythonの標準ライブラリです。これを使用することで、他のPythonスクリプトや外部プログラムを呼び出すことができます。具体的には、subprocess.run()関数を使って外部
Fake GitHub projects distribute stealers in GitVenom campaign
In our modern world, it’s difficult to underestimate the impact that open-source code has on software development. Over the years, the global community has managed to publish a tremendous number of projects with freely accessible code that can be viewed and enhanced by anyone on the planet. Very frequently, code published on the Internet serves as a source of inspiration for software developers –
Python と JavaScript の連携: 強力なフルスタック開発の可能性 - ITエンジニアが仕事に対して思うこと
# 近年、ウェブ開発やフルスタック開発において、PythonとJavaScriptの組み合わせが広く利用されています。Pythonの柔軟性とデータ処理能力、JavaScriptのブラウザ上での動的な操作が相互補完し合い、効率的でパワフルなアプリケーション開発が可能になります。本記事では、PythonとJavaScriptの連携に焦点を当て、具体的なコーディング例を交えながら、そのメリットや技術的な側面について詳しく解説します。 Python と JavaScript の連携の背景 PythonとJavaScriptは、それぞれ異なる用途に特化しており、その特性をうまく組み合わせることで、より広範な開発課題に対応できます。Pythonはデータ処理や機械学習などで得意とし、JavaScriptはウェブブラウザ上での動的な操作やクライアントサイドの開発において強力です。この組み合わせにより、効果
ChatGPT時代に必要かも!? Pythonで実行するファイルパース（PowerPoint編） | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は話題のChatGPTにコンテキストを与える際に必要となるファイルパース処理について見ていきたいと思います。 PowerPointに焦点を絞ってみていきます。既存のライブラリ内の実装も確認していきます。 先行事例の実装 先行事例の実装として、よく話題となる以下のライブラリを見ていきます。 （LlamaIndexとLlamaHubはほぼ同じですが、parserとしては片方にしかないものもあるため） LlamaIndex https://github.com/jerryjliu/llama_index https://gpt-index.readthedocs.io/en/latest/index.html LlamaHub https://github.com/emptycrown/llama-
import os import sys import time import threading import subprocess from pdf2image import convert_from_path import tkinter as tk from tkinter import ttk from tkinter import messagebox from tkinter import filedialog from tkinter import scrolledtext class Application(tk.Frame): def __init__(self, master=None): super().__init__(master) self.master.geometry('500x330') self.master.title('PDF OCR') self
![[Python] PDFをOCR処理して、テキスト埋め込みPDFを作成する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7900f8466f4f9d36616a13a2d76a35896492585c/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnMzLWFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkZxaWl0YS1pbWFnZS1zdG9yZSUyRjAlMkYzMDc5NDgxJTJGYjUyYzFhNzI3YTljZmZlNDMyNTQ1OWNlZjY2YmNiODI5NjliM2JjYSUyRnhfbGFyZ2UucG5nJTNGMTY3MzU5MzE5OD9peGxpYj1yYi00LjAuMCZhcj0xJTNBMSZmaXQ9Y3JvcCZtYXNrPWVsbGlwc2UmYmc9RkZGRkZGJmZtPXBuZzMyJnM9Mjk5ZDE2NzBiZWNjYzQ5NjdlOWM2N2FkNDRiZTdiY2M%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D73bcc1ca8b69d7ba3d5062d498a93072%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwUERGJUUzJTgyJTkyT0NSJUU1JTg3JUE2JUU3JTkwJTg2JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgwJTgxJUUzJTgzJTg2JUUzJTgyJUFEJUUzJTgyJUI5JUUzJTgzJTg4JUU1JTlGJThCJUUzJTgyJTgxJUU4JUJFJUJDJUUzJTgxJUJGUERGJUUzJTgyJTkyJUU0JUJEJTlDJUU2JTg4JTkwJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9NWZhYjllZjkzMTUxN2NlZTVmYmUyYzgyNmI5NDViNTk%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB0YWthZmkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz1hZjQ5OGUzOTZmNmUxOTdhMzQ0OTVlOGJkOTY1MzI2Yg%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D4e9bd197384dea222b118ed928774f03)
This isn’t another AI-generated blog post about generic security practices. It contains detailed instructions on protecting Node.js applications from supply-chain attacks and describes best practices for security in any programming language. According to the GitHub report, The state of open source and rise of AI in 2023, JavaScript and TypeScript are the #1 and #3 most popular languages hosted on
Gitのコミットログから開発属人性を定量化する方法と品質向上への活用事例 - KAKEHASHI Tech Blog
AI在庫管理の開発チームのバックエンドエンジニアのもっち(@mottyzzz)です。今回は、AI在庫管理の開発において、Gitのコミットログから開発属人性を可視化して品質向上を実施していく箇所の優先順位をつけた事例を紹介します。 この記事は秋の技術特集 2024の 16 記事目です。 背景 優先順位をつけて無理なくコツコツ取り組めるアプローチ Gitのコミットログに着目 Gitのコミットログで開発者の偏りを可視化してみました 結果の解釈と活用 Gitのコミットログを取得し可視化するまでの流れ 前提条件 Gitのコミットログの取得 コミットログのクレンジングと分析対象の決定 コミットログの集計 結果の可視化 結果の解釈における注意点 このあと実施したアクション まとめ 背景 AI在庫管理のプロダクトは、医薬品の在庫を効率的に管理するためのサービスです。 このシステムは3年前にリリースされ、そ
Windowsコマンドプロンプトもどきプログラム（まとも版） 前回（その３）で予告した、Text Widgetのみでコマンドプロンプトもどきを実現（より近づく）できたので、その記録をここに記す。 作成したもの ここでは、「> 」がプロンプトである。 コマンドを入力すると実行された結果が表示される。スクロールもあり。 ソースコード # -*- coding: utf-8 -*- import subprocess import sys import tkinter as tk def func(event): current = result.get('1.0', tk.END) lastline = current.rsplit('\n')[-2] laststr = lastline.split(' ', 1)[1] # removal of prompt('> ') cmd_arg =
こんにちは。ディマージシェアの技術担当です。今回はAWS LambdaでLibreOfficeを実行する環境を整備したいと思います。 背景 要望としては、データをPDF帳票にしたい、の一言です。PDF帳票の実装を好むエンジニアは少ないと思います。PDFを作るライブラリ、HTML、CSSをPDFに変換するライブラリ、その他、どれも癖があり独特のテクニックを強いられます。今回はExcelで作ったテンプレートをLibreOfficeでPDF化する、というアプローチを採用することにしました。 しかし、LibreOfficeをコマンドラインで実行する際、結構なRAMを消費することがわかりました。サーバに載せるには結構スペックを盛らないとアクセス集中したときに簡単にコケてしまいます。更に、帳票の類は往々にして月初月末と生成されるタイミングは集中するものです。それなら使っただけ課金のLambdaにしよう
はじめに Pythonを使ってOffice文書をPDF変換してみました。 ※ [LibreOfficeのsofficeコマンドでOffice文書をPDF変換してみた]も合わせてご参照ください。 やりたいこと Pythonを使って、Office文書をPDFに変換したい。 解決方法 Pythonのsubprocessモジュールを用いて、sofficeコマンドを実行する。 前提知識: LibreOfficeのユーザプロファイル ユーザーに関連するすべてのデータを格納するフォルダ 拡張機能やカスタム辞書、テンプレートなど LibreOfficeをアンインストールやアップデートしても削除されない カスタマイズした内容は保存される デフォルトの格納場所 Windows: %APPDATA%\libreoffice\4\user Linux: /home/<ユーザー名>/.config/libreoff
Python 3で外部コマンドを呼ぶにはsubprocessモジュールで提供されているrun()を使うことが推奨されるのですが、毎回使い方を調べてしまっているので自分用にまとめます。順を追っていかないと引数の意味を理解しづらいところがあるので、冗長ですが簡単な例から書いていきます。なお、run()が導入されたのはPython 3.5なので、それより前のバージョンでは使えません。CygwinのPython 3.8.3で動作確認しています。 基本 呼び出される側のスクリプトとして、以下のようなhello.pyを用意します。これは標準出力に「こんにちは」、標準エラー出力に「こんばんは」と出力するだけのトイプログラムです。 import sys print("こんにちは", file=sys.stdout) print("こんばんは", file=sys.stderr) さっそくhello.pyを
の類ですね。出現頻度も高く、postfixに負荷がかかるし、第一気持ち悪いので、自動的にblockする方法を考えました。 これは、Linuxサーバーで不正なパケットを検知し、自動的にブロックするPythonスクリプトです。syslogのログファイルを監視し、指定された正規表現パターンにマッチする不正なパケットをブロックするために、iptablesを使用します。また、特定のIPアドレスがブロックされている期間を追跡するために、sqlite3を使用します。 このスクリプトを使用することで、不正なパケットを自動的にブロックし、サーバーの負荷を軽減できます。また、手動でIPアドレスをブロックする必要がなく、セキュリティの向上に役立ちます。 fail2banという類似するシステムがあります。ipblock.pyはfail2banのように複数のlogを監視しません。何回か、その攻撃があったら、処断する
Node.js
Notable Changes Experimental command-line argument parser API Adds util.parseArgs helper for higher level command-line argument parsing. Contributed by Benjamin Coe, John Gee, Darcy Clarke, Joe Sepi, Kevin Gibbons, Aaron Casanova, Jessica Nahulan, and Jordan Harband - #42675 Experimental ESM Loader Hooks API Node.js ESM Loader hooks now support multiple custom loaders, and composition is achieved
ちょっとしたツールのためにPythonからGitやDockerなどのコマンドを実行してゴニョゴニョする、ということはよくあるかと思います。 OSコマンドを手軽に実行するPython標準ライブラリ subprocess で頻用する機能について使い方を整理します。 docs.python.org 環境 $ python --version Python 3.6.8 subprocess Python上から他のプログラム (コマンド) を別のプロセスで実行することができる標準ライブラリです。 使い方はシンプルで subprocess.run(["実行したいコマンド", "オプションなど", ...]) でOKです。 結果はデフォルトでは標準出力に表示されます (= printを実行したときと同じ) import subprocess subprocess.run(["touch", "hoge.
背景 AVCHD 内の.MTS ファイルを mp4 に一括変換したかったのですが、フリーソフトにろくなもんがないため、chatGPT に教えてもらいながら python でそれを実行できるコードを書きました ffmpeg(v6)を使用しているので、ffmpeg が対応してるコーデックならなんでも変換できるはず(未検証) 簡単な機能説明 ・指定ディレクトリ内の.MTS ファイルを.mp4 に変換して別の指定ディレクトリに置く ・その際ファイル名は動画ファイルの撮影日時を使用(2023-07-25-14-32.mp4 みたいな) ・コマンドラインで簡単めに実行できるといい 前提 Mac で動くことを確認してます(一応 windows でも動くはず) python のバージョンは3.11.4です セットアップ 任意の場所にmp4-converter.pyを作成する 下記のコードを貼り付け後保存
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Model Context Protocol（MCP）とは？生成 AI の可能性を広げる新しい標準
MCPでやる必要のない業務をSkillsに置き換えてトークンと時間の消費を爆減してみた
ラズパイ使って赤ちゃん快適室温設定システム構築してみた | ラズパイラボラトリー
Auth0からCognitoへのユーザー移行 - ROBOT PAYMENT TECH-BLOG
PythonとRubyの連携: パワフルなデュアル言語の舞台裏 - ITエンジニアが仕事に対して思うこと
Python非同期処理の道具箱：httpxやSQLAlchemyからユニットテストまで
prompts.chat - AI Prompts Community
Rust on MIPS64 Windows NT 4.0
[Python] PDFをOCR処理して、テキスト埋め込みPDFを作成する - Qiita
Secure Node.js Applications from Supply Chain Attacks
ろうとるがPythonを扱う、、（その４：まとも版コマンドプロンプトもどき） - Qiita
AWS LambdaでLibreOfficeを実行する｜ディマージシェア/採用ブログ
Pythonを使ってOffice文書をPDF変換してみた - Qiita
Python 3のsubprocess.run()の使い方 - minus9d's diary
ipblock - 超小型fail2ban - Qiita
Python: subprocessでOSコマンドを実行する - け日記
複数の.MTSファイルを.MOVや.MP4に一括で変換する - Qiita