シェルスクリプトとの対比で理解するPythonのsubprocess - 朝日ネット 技術者ブログ
はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、 rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ
はじめに 対象イベント 読み方、使い方 Remote Code Execution(RCE) 親ディレクトリ指定によるopen_basedirのバイパス PHP-FPMのTCPソケット接続によるopen_basedirとdisable_functionsのバイパス JavaのRuntime.execでシェルを実行 Cross-Site Scripting(XSS) nginx環境でHTTPステータスコードが操作できる場合にCSPヘッダーを無効化 GoogleのClosureLibraryサニタイザーのXSS脆弱性 WebのProxy機能を介したService Workerの登録 括弧を使わないXSS /記号を使用せずに遷移先URLを指定 SOME(Same Origin Method Execution)を利用してdocument.writeを順次実行 SQL Injection MySQ
こんにちは。ダイの大冒険エンジョイ勢のbun913と申します。私はSDET(Software Development Engineer in Test)として、QAチームにいる何でも屋さんとして、私より優秀なみなさんが本質的なことに時間を使えるように日夜改善を考えています。 私は弊QAチームでのMCP活用として以下のような記事を書いておりました。 今回は最近話題の Agent Skills とあらかじめ作っておいたCLIツールを組み合わせて、QAチームが本質的ではない作業にかける時間とトークン消費量を大幅に削減する試みを紹介します。 内容自体はQAチームの取り組みですが、考え方やツールの使い方は他のことに流用できるのではないかと考えています。 先に背景とやったことをざっくり説明 背景: 前回までの取り組み 弊チームでは自動テストに力をいれつつも、手動テストの威力も大事にしています。実際探索
Last week, I built a tiny Linux system from scratch, and booted it on my laptop! Here’s what it looked like: Let me tell you how I got there. I wanted to learn more about how the Linux kernel works, and what’s involved in booting it. So I set myself the goal to cobble together the bare neccessities required to boot into a working shell. In the end, I had a tiny Linux system with a size of 2.5 MB,
コンテナの仕組みを勉強したかったため、Goでコンテナランタイムを自作した。雑実装だし未実装の機能もたくさんあるが、ある程度形になってきたため現状をまとめる。 リポジトリ github.com kombu/dashi - 自作コンテナランタイム kombu/nimono - eBPFを利用したシステムコールロガー kombu/yaminabe - dashiとnimonoを利用したマルウェアサンドボックス プロジェクト名から和の雰囲気を感じるが、これはリポジトリ名をkombu（昆布）にしたかったため、せっかくなら今回は和風で固めようと思ったから。趣があっていいんじゃないでしょうか。 dashiが自作コンテナランタイムだが、nimonoとyaminabeは実験的な要素で、セキュキャン2023でコンテナを使ったマルウェアサンドボックスを実装した経験があり、今回はその再実装を自作コンテナランタイム
ローカルLLMの検索ツールとして「Gemini 2.5 Flash-Lite」を試してみたのでまとめました。 1. ローカルLLMに検索能力を与えてみる「日本語ローカルLLM」の性能は、ここ最近で一気に上がりました。しかし、パラメータサイズが10B以下だと、持ってる知識が限られるため、検索能力がほしくなります。 ローカルLLMに検索能力を与えるMCPは、次のとおりです。 ・Brave Search MCP 公式MCPが提供されている。 月間約1,000リクエストまで無料 ・Google Custom Search MCP 公式APIで信頼性高い。 1日100リクエストまで無料 ・Tavily MCP LLM向けに設計された検索API エージェント用途に相性が良い ・DuckDuckGo MCP 導入は簡単 ただし非公式実装が多く、長期安定性はやや不安 ・SearXNG MCP 自己ホスト可
はじめに 可能な限り避けたいのですが、稀に大量のExcelやExcel VBAを管理しなくてはならないときってありませんか？ App Scriptであれば、まだ管理する方法は幾つかあります。 しかし、ExcelやExcel VBAだと管理する方法が無く、どこかクラウド上のドライブで保管する。に行き着くことが多いです。 なにか良い管理方法はないかと色々と考えた結果、やはりGitで管理するのが良さそうだと思ったので、記事にしました。 Excel、Excel VBAをGitで管理する Excel、Excel VBAをGitで管理すると、結局バイナリ管理になります。 これらを解決するための手段として、Chart GPT から、Git XLをオススメされましたが、更新が停滞しており、使用に不安を感じました。 やはり、Excel自体はバイナリ管理するしかなさそう。。。というのが結論でした。 VBAの方
NETGEAR社製ルーターにおける認証不要の任意コード実行の技術的解説(PSV-2022-0044) - GMO Flatt Security Blog
※本記事は先立って公開された英語版記事を翻訳し、日本語圏の読者向けに一部改変したものです。 画像出典: https://www.netgear.com/business/wifi/access-points/wac124/ はじめに こんにちは、株式会社Flatt Securityのstypr(@stereotype32)です。 一昨年、日本のOSS製品で発見された0day脆弱性に関する技術解説をブログに書きました。 それ以来、私は様々な製品に多くの脆弱性を発見してきました。残念ながら私が見つけたバグのほとんどはすぐに修正されなかったので、今日まで私が見つけた、技術的に興味深い脆弱性の情報を共有する機会がありませんでした。 本記事では、NETGEAR社のWAC124(AC2000)ルーターにおいて、様々な脆弱性を発見し、いくつかの脆弱性を連鎖させて、前提条件なしに未認証ユーザーの立場からコ
Bugs in Hello World
Hello World might be the most frequently written computer program. For decades, it's been the first program many people write, when getting started in a new programming language. Surely, this humble starting-point program should be bug free, right? After all, hello world programs only do one thing. How could there be a bug? Hello world in C There are a lot of different ways to write hello world in
缶つぶし機とソフトウェア移行技術 - Refactoring to Rust の読書感想文 - じゃあ、おうちで学べる
はじめに ——あるいは、「知っている」と「理解している」の間 Rustのことは、知っていた。学習もしていた。実務でも使っていた。 でも、それは知っているつもりだった。 知ってるつもり 無知の科学 (ハヤカワ文庫NF) 作者:スティーブン スローマン,フィリップ ファーンバック早川書房Amazon 日々Rustで開発し、BoxとRcとArcを使い分け、tokio::spawnでタスクを生成し、?演算子を当たり前のように書いている。FFI？PyO3使えばいいでしょ。WebAssembly？wasm-bindgenがあるじゃない。技術的には、確かに「使える」レベルにはあった。 でも、心のどこかで感じていた違和感があった。 オートバイのエンジンを分解できる人と、エンジンが動く原理を理解している人は違う。コードが動くことと、なぜそう書くべきかを理解することも違う。私は前者だった。メカニックではあった
Weird Lexical Syntax
I just learned 42 programming languages this month to build a new syntax highlighter for llamafile. I feel like I'm up to my eyeballs in programming languages right now. Now that it's halloween, I thought I'd share some of the spookiest most surprising syntax I've seen. The languages I decided to support are Ada, Assembly, BASIC, C, C#, C++, COBOL, CSS, D, FORTH, FORTRAN, Go, Haskell, HTML, Java,
Harden-Runner detection: tj-actions/changed-files action is compromised - StepSecurity
IntroductionWe have concluded our investigation into the critical security incident involving the `tj-actions/changed-files` GitHub Action. The issue has been reported to GitHub, and an official CVE — CVE-2025-30066 — has been published to track the incident. You can find more details in GitHub Issue #2463. Based on our findings, the Action was compromised and posed a significant risk by exposing
🆕 2025-05-31 追記: 本記事のスクリプトのモデルをQwen2.5-vlに刷新し、 動画 (mp4 / mov / webm …) も自動リネームできるようになりました。 こんにちは。今回はMacにローカル Vision Language Model (VLM) 環境を整えて、スクリーンショットが撮られるたびに自動で “適切っぽい” ファイル名を付けてくれる仕組みを作ってみました。 タイトルは言わずもがな某書籍をオマージュパクらさせていただきました。 いやー、Mac標準だと「スクリーンショット 2025-01-01…」みたいなファイルが無限に増えてどれがどれだかわかんなくなるじゃないですか。ぼくも未来のAI時代を先取りするなら、ちょっとカッコいい名前が自動でつくとウキウキするんじゃね？と思いまして。 ここではMacローカルで動かせる mlx-vlm パッケージ経由で Qwen2
中間層をリピートするだけでLLM性能が向上する!? 4090x2でリーダーボードトップになった手法Repeat Your Self｜shi3z
この手法は、「LLM神経解剖学」と銘打ち、LLMのレイヤーが実際には何をやっているのか類推しようとする。 Ngによれば、LLMは入力層に近いところでは入力された言語から、LLMが使用する中間表現に変換され、出力層に近いところでは、中間表現から出力表現に変換される。 実際の「思考」は、中間層で行われているというのがNgの主張の中心である。 そこでNgは、グリッドサーチを行って、中間層をどのようにリピートすれば一番性能が上がるかというポイントを探った。これがRYS-XLargeというモデルだ。 RYS-XLargeは、LLMリーダーボードで並いるモデルを追い抜き、一位になった。重要なのは、RYS-XLargeは一切の再学習や事後学習を行っていないという点だ。 LLMリーダーボードでQwen2-72Bを抜いてトップにそして、このリーダーボードの闇の部分になるのだが、Ng自身はリーダーボードでトッ
I often come across developers who know the mechanics of Python error handling well, yet when I review their code I find it to be far from good. Exceptions in Python is one of those areas that have a surface layer that most people know, and a deeper, almost secret one that a lot of developers don't even know exists. If you want to test yourself on this topic, see if you can answer the following qu
GitHub - pydantic/monty: A minimal, secure Python interpreter written in Rust for use by AI
Experimental - This project is still in development, and not ready for the prime time. A minimal, secure Python interpreter written in Rust for use by AI. Monty avoids the cost, latency, complexity and general faff of using a full container based sandbox for running LLM generated code. Instead, it lets you safely run Python code written by an LLM embedded in your agent, with startup times measured
Here’s a niche terminal problem that has bothered me for years but that I never really understood until a few weeks ago. Let’s say you’re running this command to watch for some specific output in a log file: tail -f /some/log/file | grep thing1 | grep thing2 If log lines are being added to the file relatively slowly, the result I’d see is… nothing! It doesn’t matter if there were matches in the lo
はじめての自然言語処理 Hugging Face Transformers で T5 を使ってみる | オブジェクトの広場
前回が分量的にやたらと重かったので、今回はその反省(反動?)を踏まえて軽い感じでいってみます。第7回で紹介した T5 ですが Hugging Face の Transformers でもサポートされてますので、その使用方法をご紹介したいと思います。 1. はじめに 今回は久しぶりに T5 の話です。T5 に関しては第7回、第8回で一度紹介しているので、未読の方は記事に目を通してから戻ってきて頂けると、より理解がしやすいと思います。 さて、 T5 ですが Google のオリジナルコード(以下 “t5"と記述)1は敷居が高いと感じる方もいらっしゃるのではないでしょうか。 Estimator API ベースのコードや gin による設定など慣れていないと、とっつきにくいのではないかと思います。 そこで今回は Hugging Face の Transformers 2を使って T5 を動かす方法
Tier 4 Support § Support for these targets is entirely experimental. If this target is provided by LLVM, LLVM may have the target as an experimental target, which means that you need to use Zig-provided binaries for the target to be available, or build LLVM from source with special configure flags. zig targets will display the target if it is available. This target may be considered deprecated by
3分プロトタイピング: RAGを使ってAIチャットアプリケーションに知識を与える - ROUTE06 Tech Blog
連載「3分プロトタイピング」 Streamlitを用いたAIチャットアプリ RAGを使ってAIチャットアプリケーションに知識を与える(この記事です) ベクトルデータベース超入門 前回の投稿でStreamlitを使ったAIとチャットするアプリケーションの雛形を作成しました。 tech.route06.co.jp あのアプリケーションにくまモンについて聞いてみるとこんな回答が返ってきます。 くまモンについて教えてください それっぽいけど違いますね。今回は、このように特定のキャラクターや事象について正しい情報をAIに返してもらう方法を紹介します。説明が長くなるので3分を超えてしまいますが、コードは3分で書けるようになっていますので、早速やってみましょう。 AIに知識を教える3つの方法 まず、AIにキャラクターなどの「知識」教える3つの方法について紹介します。 プロンプトエンジニアリング Retr
Introducing the new Wasmer JS SDKToday we are incredibly excited to present `@wasmer/sdk`, a new library that allows running WASI(X) applications easily on the browser Dive into a world where running any WASI and WASIX package in your browser is a breeze. Whether it's Python, Bash, FFmpeg, or any package published in the registry, Wasmer Javascript SDK makes it all seamlessly possible. We think th
【GROMACS】Umbrella samplingによるMD simulation 【In silico創薬】【SMD】 - LabCode
Umbrella Samplingの概要と目的Umbrella Samplingは、分子がめったに起こさないような状態変化（たとえば、タンパク質同士が離れるなど）を詳しく調べるための計算手法です。通常の分子動力学（MD）では、エネルギー的に安定な状態にとどまりやすく、重要な変化が起こる確率が低いため、十分な情報が得られません。 たとえば、タンパク質AとBがくっついている状態から、少しずつ離れていく様子を観察したいとき、まずAとBを少しずつ引き離すSteered Molecular Dynamics（SMD）などのシミュレーションで、さまざまな距離の構造を取得します。その中から、0.5nm、0.7nm、0.9nmなど、特定の距離ごとに「窓（window）」を設定し、それぞれの距離でバネのような力をかけてMDシミュレーションを行います。これにより、その距離での分子の振る舞いをしっかり観察できま
--- name: skill-creator description: Guide for creating effective skills. This skill should be used when users want to create a new skill (or update an existing skill) that extends Claude's capabilities with specialized knowledge, workflows, or tool integrations. license: Complete terms in LICENSE.txt --- # Skill Creator This skill provides guidance for creating effective skills. ## About Skills S
LLM推論を支える抽象化転送ライブラリ NVIDIA Inference Xfer Library (NIXL) について - NTT docomo Business Engineers' Blog
こんにちは、イノベーションセンターの鈴ヶ嶺です。 本記事では、NVIDIA Dynamo や vLLM などの LLM 推論フレームワーク向けに設計された高速・低遅延の抽象化転送ライブラリである NVIDIA Inference Xfer Library (NIXL) について解説します。 また、NVIDIA Dynamo に関してはこちらで解説していますので参考にしていただけると幸いです。 engineers.ntt.com まず、LLM 推論高速化(KV Cache)におけるメモリ転送の背景と課題をご紹介し、それを解決する NIXL の概要を説明します。 NIXL は Plugin により任意の転送方式を実装可能なアーキテクチャとなっています。実際に Custom Plugin を実装する方法についても紹介します。 背景と課題 NVIDIA Inference Xfer Library
EC2インスタンスのユーザーデータ内のdnfコマンドやyumコマンドが失敗する場合の緩和策を考えてみた | DevelopersIO
ユーザーデータでパッケージのインストールをしようとすると失敗するんだが こんにちは、のんピ(@non____97)です。 皆さんはEC2インスタンスのユーザーデータでdnfコマンドやyumコマンドが失敗したことはありますか? 私はあります。 具体的にはユーザーデータでdnf upgradeやdnf install パッケージ名を実行すると、以下のようにRPM: error: can't create transaction lock on /var/lib/rpm/.rpm.lock (Resource temporarily unavailable)とログが出力されます。 $ dnf upgrade -y --releasever=latest Amazon Linux 2023 repository 30 MB/s | 23 MB 00:00 Amazon Linux 2023 Ker
はじめに これまでPythonとGoでプロセス管理システムを実装してきましたが、今回Rustでも実装してみました。各言語にはそれぞれ得意不得意があり、プロジェクトの要件によって最適な選択は変わります。変なとこがあれば教えてください。 この記事では、Rustでプロセス管理システムを実装した経験を共有します。標準ライブラリのstd::processだけでは不十分な要件があったため、より高度な制御が可能な実装を行いました。 doc.rust-lang.org サンプルコードはこちらに配置しておきます。 github.com Python、Go、Rustでの実装経験から見えた違い 3つの言語でプロセス管理を実装してきた経験から、それぞれの特徴をまとめます。 Pythonでの実装 subprocessモジュールは高レベルで使いやすい asyncioとの組み合わせで非同期処理も可能 GILの影響で真の
Whisperを使ってYouTube字幕ファイルの作成がこれほど簡単だったなんて！ - uepon日々の備忘録
少し前のエントリでYouTubeから音声データをダウンロードするといった内容のことをやっていたのですが、それならその音声データをWhisperに入力し、生成された音声解析のテキストデータをYouTubeの字幕ファイルに変えてみたらどうなるかなと思っていました。Whisperのログ出力はほぼそのままでも字幕ファイルフォーマットであるSRTファイルに近い出力フォーマットになっているからです。 uepon.hatenadiary.com ただ、そのまま取り出した文字データはタイムコードのないモノになるので、後で処理を行うと面倒なことになります。今回はWhisperを使用し、ログファイルとして出力されたデータをファイル化してYouTubeでも使用可能な字幕データにしてやろうという試みです。 Whisperとは？ Whisperは```OpenAI社のは音声認識と機械翻訳のサービスになります。詳細は
Large Text Compression Benchmark Matt Mahoney Last update: Mar. 25, 2026. history This competition ranks lossless data compression programs by the compressed size (including the size of the decompression program) of the first 109 bytes of the XML text dump of the English version of Wikipedia on Mar. 3, 2006. About the test data. The goal of this benchmark is not to find the best overall compress
Flipping Pages: An analysis of a new Linux vulnerability in nf_tables and hardened exploitation techniques
This blogpost is the next instalment of my series of hands-on no-boilerplate vulnerability research blogposts, intended for time-travellers in the future who want to do Linux kernel vulnerability research. Specifically, I hope beginners will learn from my VR workflow and the seasoned researchers will learn from my techniques. In this blogpost, I'm discussing a bug I found in nf_tables in the Linux
Trivy Under Attack Again: Widespread GitHub Actions Tag Comp...
Trivy Under Attack Again: Widespread GitHub Actions Tag Compromise Exposes CI/CD Secrets Attackers compromised Trivy GitHub Actions by force-updating tags to deliver malware, exposing CI/CD secrets across affected pipelines. Update — March 22, 2026: Additional compromised Trivy artifacts have been identified in Docker Hub. New image tags (0.69.5 and 0.69.6), along with the previously identified 0.
文字起こしAI Whisperモデルの更なる活用形 ～ 「負の遺産」とならないために | IIJ Engineers Blog
フロントエンド部分はPHP、バックエンドはPythonで構成していますが、これとは別にジョブスケジューリングにはSlurm Workload Managerを活用しています。 SlurmはGPU排他制御で必要になってくるもので、これによりそれぞれ実行された履歴はジョブとして管理することができる点がうれしいポイントです。 内部で動作するモデルはOpenAI/Whisperです。Whisperがリリースされたときは大変な盛り上がりを見せてたなぁというのをいまだ覚えてまして、このモデルに私もかじりついて一生懸命内部構造を調べてたりしたなーと。 今やすっかりクローズなイメージが固定してしまったOpenAIですが、当時はその境目の時代ということもあり、DALL-E2で使われてたCLIPや書き起こしモデルWhisperはオープンモデルとして、かの有名なGPT-3や画像生成モデル本体であるDALL-E2
「Ollama」で「NVIDIA Nemotron 2 Nano 9B Japanese」を試したのでまとめました。 1. NVIDIA Nemotron 2 Nano 9B Japanese「NVIDIA Nemotron-Nano-9B-v2-Japanese」 は、9BパラメータのSLMです。「Nemotron-Nano-9B-v2」という高効率な基盤モデルを元に、日本語処理能力を 大幅に強化して作られたモデルです。日本語の自然言語処理を重視したバージョンで、チャット、QA、ツール呼び出し、指示追従など幅広いタスクに対応できるよう設計されています。 「Nemotron-Nano-9B-v2」は、以下のような特徴を持っています。 ・高い推論速度 ・高効率アーキテクチャ ・ハイブリッド Transformer／Mamba 設計 また、商用利用可能なライセンスで公開されているため、社内や企
今回は教師なしの文章ベクトル化手法である MixCSE の検証です。教師なし学習ですから教師ありの手法よりは精度的に不利でしょうが、局面によっては役に立つケースもあるのでは？と試してみることに。公開されているコードは transformers ベースなのですが、今回は Colab の TPU で動かしてみたので、その方法も紹介しますね。 1. はじめに 今回は教師なしの文章ベクトル化手法である MixCSE1 の検証をしてみました。 本連載では文章ベクトル化のモデルとして、 Sentence BERT を取り上げたこと(第9回, 第18回)がありますが、品質の良いベクトルを生成する為には大量かつ良質の教師データが必要でした。 法律や特許のような特定領域に特化した文章を扱う局面では、対象領域の文書で学習したモデルを使いたいところですが、特定領域限定の都合良いデータはなかなか手に入りません。そ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2020年】CTF Web問題の攻撃手法まとめ - こんとろーるしーこんとろーるぶい
MCPでやる必要のない業務をSkillsに置き換えてトークンと時間の消費を爆減してみた
Building a tiny Linux from scratch
コンテナランタイムを自作した - zebian.log
ローカルLLMの検索ツールとして Gemini 2.5 Flash-Lite を試す｜npaka
Excel、Excel VBA をGitで管理する - Qiita
面倒なスクショ命名はローカルvlmにやらせよう on Mac
The Ultimate Guide to Error Handling in Python
Why pipes sometimes get "stuck": buffering
0.10.0 Release Notes ⚡ The Zig Programming Language
Introducing the new Wasmer JS SDK · Blog · Wasmer
prompts.chat - AI Prompts Community
RustでLinuxプロセス管理をしてみた - じゃあ、おうちで学べる
Large Text Compression Benchmark
Ollama で NVIDIA Nemotron 2 Nano 9B Japanese を試す｜npaka
はじめての自然言語処理 MixCSE による教師なし文章ベクトル生成 | オブジェクトの広場