はじめに 対象イベント 読み方、使い方 Remote Code Execution(RCE) 親ディレクトリ指定によるopen_basedirのバイパス PHP-FPMのTCPソケット接続によるopen_basedirとdisable_functionsのバイパス JavaのRuntime.execでシェルを実行 Cross-Site Scripting(XSS) nginx環境でHTTPステータスコードが操作できる場合にCSPヘッダーを無効化 GoogleのClosureLibraryサニタイザーのXSS脆弱性 WebのProxy機能を介したService Workerの登録 括弧を使わないXSS /記号を使用せずに遷移先URLを指定 SOME(Same Origin Method Execution)を利用してdocument.writeを順次実行 SQL Injection MySQ
【50歳からのAI学習】50歳からのAI開発スキル習得｜Gemini CLIのWindows導入記 - uepon日々の備忘録
Google様がまた新しいAIツール出してきたじゃないですか。正直いうと、また覚えることが増えるのかという感想😅Claude CodeがProプランで使えるようになったと思ったら、今度はGemini CLIですよ...もう追いつけない💦でもやらないと時代に取り残される...😫という話となります。 Gemini CLIって何？ ターミナル上で動くGoogleのAIコーディングアシスタントです。「〜を作って」「〜を修正して」とプロンプトに依頼することで開発ができます。Claude Codeと似てるけど、GoogleのGeminiを使ってるのが特徴。個人的にはGeminiの最近の追い上げも見過ごせません。 特徴 Gemini 2.5 Proの100万トークンという巨大なコンテキストウィンドウ マルチモーダル機能（PDFやスケッチからアプリ生成） Google検索との連携でリアルタイム情報取
こんにちは。ダイの大冒険エンジョイ勢のbun913と申します。私はSDET(Software Development Engineer in Test)として、QAチームにいる何でも屋さんとして、私より優秀なみなさんが本質的なことに時間を使えるように日夜改善を考えています。 私は弊QAチームでのMCP活用として以下のような記事を書いておりました。 今回は最近話題の Agent Skills とあらかじめ作っておいたCLIツールを組み合わせて、QAチームが本質的ではない作業にかける時間とトークン消費量を大幅に削減する試みを紹介します。 内容自体はQAチームの取り組みですが、考え方やツールの使い方は他のことに流用できるのではないかと考えています。 先に背景とやったことをざっくり説明 背景: 前回までの取り組み 弊チームでは自動テストに力をいれつつも、手動テストの威力も大事にしています。実際探索
【Python】プログラムでフーリエ変換を理解しよう！【FFT, 標本化定理, ナイキスト周波数】 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 pythonnumpyfftdftmatplotlibフーリエ変換高速フーリエ変換ナイキスト周波数標本化定理 こんにちは。早く業務に慣れたい開発チーム入社１年目の髙垣です。 急ですが皆さん。ふと、音をフーリエ変換したい時ってありませんか？ ありますよね。 でも、「フーリエ変換って学校で計算式で習ったけど、結局は何をしているんだ？」となることありませんか？ そこで今回は計算式なんてほっといて、Pythonを使ってフーリエ変換が何をやっているのか体験してみましょう！ 環境構築 下記リポジトリをクローンしてください https://github.com/takaT6/fft-tutorial クローンができたら下記のライブラリをインストールしてください↓ pip
![【Python】プログラムでフーリエ変換を理解しよう！【FFT, 標本化定理, ナイキスト周波数】 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/f9555cd0395b136f9745f96b71793fd58383a527/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2023%2F11%2Fman-5572871_1280.jpg)
大河ドラマ「豊臣兄弟！」を楽しむ 【グラフDB×グラフRAG×マップアニメーション】｜朝日新聞社 メディア研究開発センター
はじめにこんにちは、ニュースメディア開発部の杉野です。4月にメディア研究開発センター（M研）から異動となり、新しい環境で奮闘しているところです。 最近、NHK大河ドラマ「豊臣兄弟！」にハマっています。毎週、豊臣秀吉と弟の秀長が知恵と義理で戦国の世を渡っていく様子をワクワクしながら見ています。 しかしいかんせん日本史の知識が乏しく、歴史上の有名人が登場するたびに「この人は何者？」「この人は敵？味方？」「この後どれだけの城を攻略するの？」と史実が気になってきました。 そこでふと考えたのが 「この複雑な人間関係、グラフデータベース（DB）で整理したら理解しやすそう」 「天下統一の道のりを日本地図でアニメーションにしたら、物語の流れも追いやすそう」 ということです。 というわけで本記事では、Wikipediaから取得したオープンな歴史テキストを題材に「グラフDB構築 → 可視化 → グラフRAG
GPT-5 の新パラメータとツール｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・GPT-5 New Params and Tools - OpenAI Cookbook 1. verbosity1-1. 概要「verbosity」は、出力トークン数を調節できます。 ・low : 簡潔なUX、簡潔な文章 ・medium (デフォルト) : バランスの取れた詳細 ・high : 詳細な情報。監査、教育、引き継ぎに最適 1-2. verbosityの効果の確認プロンプトを一定に保ったまま、「verbosity」を変更することで、効果を確認できます。 response = client.responses.create( model="gpt-5", input="人生、宇宙、そして万物に関する究極の問いに対する答えは何でしょうか?", text={ "verbosity": "low" } ) print(response
DMARCレポートの可視化ダッシュボードを作りました - LIVESENSE ENGINEER BLOG
はじめに そもそもDMARCって何？ Googleの発表によってDMARC対応が必要に SaaSの検討 OSSの検討・選定 構成 動作 GmailからGoogle Driveへ格納する XMLをパースしてOpenSearchに格納する Google Driveからコンテナ内にダウンロードする パースと格納 可視化 苦労した点 Gmailの仕様とparsedmarcの相性が悪い OpenSearch突然データが全部消えた 作ってみてよかったこと 今後の運用 はじめに インフラGの鈴木です。ガールズケイリンアニメことリンカイ！の放映が近くなってきましたね。 最近小倉にギャンブル旅行にいったのですが、北九州競輪には等身大パネルがありました。本気(マジ)度が伝わってきます。アニメの放映日が楽しみです。 ところで、今回はDMARCの可視化基盤を作った話をします。なかなか大変1でしたので、共有したいと
CIの時間を(できるだけ楽して)半分にしてみた - Nealle Developer's Blog
こんにちは、ニーリーの佐古です。 現在開発速度や開発者体験の向上のため、取り組みの諸々を遂行しています。 開発者体験とCI 天井の雨漏りが4か月ほど止まらないので私の開発者体験は酷いことになっています。 さて、皆さんCIの待ち時間はお好きですか？私は大嫌いです。 弊社バックエンドリポジトリのPR時CIはプロダクトの成長に合わせて実行時間が順調に伸びており、 開発速度と開発者体験の双方に悪影響をもたらしていました。 実は別チームで改善のための試みがなされたことはあったのですが、 そこで行き当たった問題をある程度解決してどうにかエピソードになる程度の成果を得られたので 簡単に記しておこうと思います。 前提 プロダクトはDjangoで、リポジトリはGitHubで管理されています。 AS-WAS ついこないだまでのPR時CI。 こちらがもともとのGitHub CIのグラフです。 正直経験上そこまで
2022/10/16 以下ご指摘をもとに内容を修正および追記 https://zenn.dev/link/comments/463223a4de9ec2 はじめに Linux上でコマンドを実行したときのコマンドライン引数についてつらつら書きたくなったので書きます。 プロセスのコマンドライン引数とは、たとえばfoo bar bazというコマンドを実行したら、通常はコマンドライン引数はfoo、bar、およびbazになります。直観的には引数は”bar”と"baz"だけのようにおもえるかもしれませんが、とにかくこういう定義です。 コマンドライン引数はプログラムの中からはCやC++ではmain関数のargv配列引数から参照できます。上述の例であればargv[0]には実行ファイル名が入ります。それ以降の"bar"はargv[1]に、"baz"はargv[2]に入っています。argvに相当する変数はシェ
A few months ago, I set myself the challenge of writing a C compiler in 500 lines of Python1, after writing my SDF donut post. How hard could it be? The answer was, pretty hard, even when dropping quite a few features. But it was also pretty interesting, and the result is surprisingly functional and not too hard to understand! There's too much code for me to comprehensively cover in a single blog
はじまり Agent Skillsに対応したAIエージェントMagicaが完成したので、スキルで使用するスクリプトを作成するうえで気をつけたことを書いていきたいと思います。 スクリプトをBashで書いてはならない Agent Skillsの仕様には以下のように書かれています。 エージェントが実行できる実行可能コードが含まれています。スクリプトは以下を行う必要があります。 自己完結型であるか、依存関係を明確に文書化する 役立つエラーメッセージを含める エッジケースを適切に処理する サポートされる言語は、エージェントの実装によって異なります。一般的なオプションには、Python、Bash、JavaScriptなどがあります。 nani.now: AIが高速に解説付きで翻訳 サポートされる言語にBashが掲載されていますが、Bashでスクリプトを書くのは以下の問題が存在するため、推奨されません。
「進化的モデルマージにより日本語数学LLMとして構築したEvoLLM-JPは、数学のみならず、日本語の全般的な能力に長けている」らしいEvoLLM-JPを試してみます。 追記（2024/3/22） 10Bのモデルですが、torch_dtypeを"auto"からtorch.bfloat16に変更すると、推論のスピードが改善しました。 モデルEvoLLM-JPは、3種提供されています。今回は３つとも試します。 - 大規模言語モデル SakanaAI/EvoLLM-JP-v1-10B : MICROSOFT RESEARCH LICENSE TERMS SakanaAI/EvoLLM-JP-v1-7B : MICROSOFT RESEARCH LICENSE TERMS SakanaAI/EvoLLM-JP-A-v1-7B : Apache License, Version 2.0 ※画像言語
こんにちは、NTTドコモR&D戦略部の門間です。 この記事では、vLLMのコードを追いつつその中身の動きに迫りたいと思います。 最近、業務やプライベートでLLM関連のいろいろを触っていますが、 OSSのコードリーディングを通じてLLMの推論処理への理解を深めたいというモチベーションです。 🤖 vLLMって? 📚 前提知識 Attention Is All You Need Paged Attention Continuous Batching 📦 vLLMの開発用インストール (Pythonコード開発のみ) Wheelのインストール リポジトリのクローン 起動確認 Pythonコードの改変 デバッガを使ったOSSのコードリーディングのススメ 🧩 vLLMのソフトウェアアーキテクチャ オンライン推論 : FastAPIサーバの立ち上げとEngineClientの生成 1. Engin
こんにちは。CX事業本部Delivery部のakkyです。 少々旧聞となりますが、今年9月にMojo言語がローカルで実行できるようにリリースされました。 MojoはSwiftの開発者が立ち上げたModular社が開発している新しいプログラミング言語で、Pythonの文法とRustのメモリ安全性を兼ね備えたコンパイラ型プログラミング言語です。 AI開発に使用することが想定されていて、SIMDのファーストクラスサポートなども特徴的です。実際にllama2.mojoというLlama2の実行環境の実装も行われています。 現在はPythonとの完全な互換性はありませんが、Pythonインタプリタを呼び出すことでPythonコード/ライブラリを呼び出すことができ、将来的にはMojo自体がPythonのスーパーセットとなることを目指しているそうです。 10月19日にはMacのApple silicon(
初めまして、株式会社Berryの齋藤です。 みなさまLambdaはやっておりますでしょうか。 Berryでも3Dデータの自動処理を行う上で数多くのLambda関数を作成、運用しています。 その中で3Dデータのプレビュー生成が必要になったため、blenderによるプレビュー生成を行うことにしました。 通常であればEC2を使い、レンダリングサーバーを立てることが一般的かと思いますが、費用面・運用面を考慮し、Lambdaによるサーバーレスなレンダリングサーバーを作成することにしました。 非常にニッチなユースケースですが、ざっと検索したところ日本語の情報が少なかったので、今回はblenderをLambda上で動かす方法を紹介したいと思います。 サンプルリポジトリ 前提条件 AWS CLIとAWSアカウントが設定済み Dockerインストール済み (x64のCPUで検証しています。armの場合はダウ
I thought it would be fun to go outside of my comfort zone of web development topics and write about something completely different and new, something I have never written about before. So today, I'm going to show you how to implement a programming language! The project will parse and execute programs written in a simple language I called my (I know it's a lame name, but hey, it is "my" language).
あれあれ？ CPU 増やしたのに速くならないぞ？ - Link and Motivation Developers' Blog
はじめに こんにちは！リンクアンドモチベーションで SRE をしてます川津と申します！ Web アプリケーションを開発している皆さん！ 日夜性能問題に悩まされていると思います😅 本記事では性能問題における 「CPU 使用率の見方」 に焦点をおいて話そうかと思います！ CPU あるある CPU にまつわる謎？ は大体次の２ケースかな〜、と思います。 Amazon RDS (MySQL DB) の例で挙げてみます。 ① クエリ応答が遅いからスケールアップ！ → あれ？変わらないぞ？ Web アプリ開発していると、API 応答が遅い → 原因は重いクエリ (SQL) というケースはよくあるかと思います。当然速度改善したいです。お金で簡単に解決できるならそうしたい。 例えば RDS のインスタンスタイプ db.r5.xlarge を今使っているとしましょう。 vCPU 数は 4 です。これを ２
この記事で考える問題 以下の問題について、色々と考察していきます。 [問題] あみだくじ変換 順列$X$を順列$Y$に変換する「あみだくじ」を、 あみだくじ変換 と定義します。 順列$X$に対して あみだくじ変換 を繰り返し適用することで、いずれ元の順列$X$に戻ることが知られています。 順列の要素数が$N$の場合に、最も多く繰り返して元の順列に戻る あみだくじ変換 を選ぶと、何回の あみだくじ変換で元の順列に戻るでしょうか。 経緯 元ネタ 先日Xで次のようなポストを目にしました。 数学の先生が教えてくれた「小学2年生の算数」がマジで難しくてビックリだったんですけれど… これ皆さんわかりますか…？ 一応簡単に解ける方法もあるみたいなのですが… pic.twitter.com/QqZpT3wHtg — 地理おた部 ～高校地理お助け部～ (@geographybu) May 28, 2024
Bucket full of secrets – Terraform exfiltration | Mercari Engineering
Background At Mercari, we utilize many microservices developed across multiple different teams. Each team has ownership over not only their code, but also the infrastructure necessary to run their services. To allow developers to take ownership of their infrastructure we use HashiCorp Terraform to define the infrastructure as code. Developers can use Terraform native resources or custom modules pr
はじめにこんにちは。TIGの藤田です。 Python連載 の8日目として、PySparkを使用したGlueジョブ開発のお話をします。 ETLツールとして使用されるAWS Glueですが、業務バッチで行うような複雑な処理も実行できます。また、処理はGlueジョブとして、Apache Spark分散・並列処理のジョブフローに簡単に乗せることができます！ 特に複雑な処理は、やや割高な開発エンドポイントは使用せず、ローカル端末で、しっかり開発・テストを行いたいですよね。そのためのローカル開発Tipsをご紹介します。 内容 Glueジョブの開発と実行概要 Tip1: ローカル環境構築 Tip2: PySpark, SparkSQL開発 Tip3: 単体テスト(pytest) Tip4: データカタログどうする問題 Glueジョブの開発と実行概要ローカル開発の前に、AWS Glueでのジョブ実行方法を
【GROMACS】Umbrella samplingによるMD simulation 【In silico創薬】【SMD】 - LabCode
Umbrella Samplingの概要と目的Umbrella Samplingは、分子がめったに起こさないような状態変化（たとえば、タンパク質同士が離れるなど）を詳しく調べるための計算手法です。通常の分子動力学（MD）では、エネルギー的に安定な状態にとどまりやすく、重要な変化が起こる確率が低いため、十分な情報が得られません。 たとえば、タンパク質AとBがくっついている状態から、少しずつ離れていく様子を観察したいとき、まずAとBを少しずつ引き離すSteered Molecular Dynamics（SMD）などのシミュレーションで、さまざまな距離の構造を取得します。その中から、0.5nm、0.7nm、0.9nmなど、特定の距離ごとに「窓（window）」を設定し、それぞれの距離でバネのような力をかけてMDシミュレーションを行います。これにより、その距離での分子の振る舞いをしっかり観察できま
--- name: skill-creator description: Guide for creating effective skills. This skill should be used when users want to create a new skill (or update an existing skill) that extends Claude's capabilities with specialized knowledge, workflows, or tool integrations. license: Complete terms in LICENSE.txt --- # Skill Creator This skill provides guidance for creating effective skills. ## About Skills S
Structured Outputsを使うとかしこい文章校正ツールを手軽につくることができる - laiso
Structured Outputsは、Chat Completions APIから得られる返答のデータの構造と型を強制するための機能で、最近OpenAIのSDKにも追加されました。 https://platform.openai.com/docs/guides/structured-outputs/ui-generation この機能を利用することで、簡単な文章校正ツールを作ることができます。 仕組み 文章データをOpenAIのAPIに送信する際に、各行に番号を付与します。これにより、GPTは各文がどの行にあるかを特定できるようになります。 文章に対する指示をプロンプトに添えます。例えば、「前提情報が足りない部分を指摘して」といった指示を加えます。 返答をStructured Outputsで制限することで、「何行目に対するコメント」という形式の結果を得ることができます。 この方法は「L
LLM推論を支える抽象化転送ライブラリ NVIDIA Inference Xfer Library (NIXL) について - NTT docomo Business Engineers' Blog
こんにちは、イノベーションセンターの鈴ヶ嶺です。 本記事では、NVIDIA Dynamo や vLLM などの LLM 推論フレームワーク向けに設計された高速・低遅延の抽象化転送ライブラリである NVIDIA Inference Xfer Library (NIXL) について解説します。 また、NVIDIA Dynamo に関してはこちらで解説していますので参考にしていただけると幸いです。 engineers.ntt.com まず、LLM 推論高速化(KV Cache)におけるメモリ転送の背景と課題をご紹介し、それを解決する NIXL の概要を説明します。 NIXL は Plugin により任意の転送方式を実装可能なアーキテクチャとなっています。実際に Custom Plugin を実装する方法についても紹介します。 背景と課題 NVIDIA Inference Xfer Library
はじめに 処理の流れ スクレイピングのコード スクレイピングプログラムが動作している様子 取得したcsvファイルの可視化 最後に はじめに この記事ではPythonによるスクレイピングを使って、メルカリでの特定の商品の取引相場を調べるツールを作成する方法を書いていきます。 メルカリで出品されている商品の価格帯を知りたいときは、メルカリのページの検索ボックスにキーワードを入れて検索しますよね。 試しに「iphone se simフリー」で検索してみます。 するとこんな感じで商品の画像と値段が表示されてきます。 この検索結果を見ていって大体の値段相場を把握する感じが通常だと思います。 ここでは既に売り切れたものにしぼって商品価格を調べる想定とします。 販売状況のところで「売り切れ」にチェックが入っている状態ですね。 手作業で簡単に実施できるとはいえ、出品されている数が多い商品だったりすると検索
最適化モデリング入門＠新人研修
はじめに 2023年10月にシニアリサーチャーとして入社したアドバンスドテクノロジーラボ（ATL）の梅谷俊治です。 2023年9月まで、大阪大学大学院情報科学研究科にて数理最適化寄附講座教授を務めていました。 本記事では、データ推進室に配属される新人を対象とした「最適化モデリング入門」をご紹介します。 データ推進室の新人は、部署に配属される前に「BootCamp」と呼ばれる研修を受けます。 この研修は約3ヶ月にわたり、エンジニアリング技術の向上だけでなく、ヒューマンスキルの育成や事業理解を深めるための幅広いプログラムが用意されています。 具体的には、データサイエンスの基礎、プログラミング、データベース管理の分野で徹底的なトレーニングが行われます。 例えば、PythonやRを使用したデータ解析の手法を学び、SQLを用いたデータベースの操作方法を習得します。 また、実際のデータ分析の問題を解決
【スクリプト配布】YouTube のチャットファイル(.live_chat.json)をニコニコのコメントのxml形式に変換するスクリプト【Python】 – 忘却まとめ
説明 チャットファイルは、youtube-dlやyt-dlpなどでダウンロードした形式を対象としています。 YouTube のチャットファイルプレイヤーが見つからなかったので、似た機能であるニコニコ動画プレイヤーでチャットを再生できるように変換する関数です。 ニコニコ動画コメントプレイヤーには commeon などを利用してください。 ダウンロード convert_chat_to_xml_ver1-0-3.zip 使い方 このスクリプトは元ファイルをいじるような処理はしませんが、万一データが消えても責任は取れませんので、実行前にバックアップは取っておいてください。 上のファイルをダウンロードして展開する。convert_chat_to_xml.py というPythonファイルが1つ入っている。コマンドプロンプトを開く。下記のように、スクリプトの.pyファイルのパスと、対象の".live_c
生成AIにETLジョブ作らせてみた。-Amazon Q data integration in AWS Glue- - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. はじめに ※この記事は、慎重な検証を行った結果に基づくものではなく、参考情報として提供されています。そのため、内容を鵜呑みにせず、自身で確認や検証を行っていただくことをお勧めします。ご理解のほど、よろしくお願いいたします。 Amazon Q data integration in AWS Glueがプレビューされました(2024/01/30)。 Amazon Q とAWS Glueが統合されたことによって、ETLジョブ作成に関する学習時間や労力の削減が期待できます。具体的な機能としては以下の二つです。 i．生成AIに自然言語で質問
概要 MELSEC_MCプロトコルを使用してPLC（Programmable Logic Controller）と通信するためのPythonコードを説明してます。 MCプロトコルとは？？ MCプロトコル（Melsec Communication Protocol） は、三菱電機が開発したPLC（Programmable Logic Controller）と周辺機器を接続するための通信プロトコルです。三菱電機のPLC（キーエンス製やオムロン製も？）が搭載されている多くの機器で使用されており、データの送受信やプログラムの転送などに利用されます。 こちらで詳しく解説されています。 MCプロトコルのチートシート - Qiita なぜラズパイとつなげるか？ ラズベリーパイをMCプロトコルに対応したインタフェースボードを介してPLCに接続することで、ラズベリーパイからPLCに信号を送信し、PLCに接続
こんにちは、メディアサービス開発部サービス分析課の佐藤です。推しTRPGはD&D5版です。今年4月に入社し、事業横断データ基盤を構築しています。 今回はブックウォーカー社内でデータ基盤を構築するにあたって身につけたAWS関連の知識、主にRDSのexport snapshot to S3、Glue Job、AWS Serverless Application Model （以下SAMと略します）周りについて書いていきます。 背景 手法1. 定期的なデータ抽出 手法2. 外部接続 手法3. Change Data Capture システム構成の詳細 Export Snapshot to S3 AWS Glue Job Step FunctionsとEvent Bridge SAMとCI/CD 最終成果物とシステム運用 課題 parquetのデータ型 データの更新頻度 最後に 背景 株式会社ブッ
はじめに データアナリティクス事業本部ビッグデータチームのyosh-kです。 最近、私はよく単体試験のエビデンスとして画面キャプチャを貼り付けています。 大体同じエビデンス構成でありますが、毎回画像サイズの調整だとか画像を貼るセル位置の調整だとかを行っているので、 これをどうにか自動化できないか考えるようになりました。そんな時に、ExcelをPythonで操作できるライブラリopenpyxlがあることを知ったので、それを用いた自動化を行ってみたいと思います。 前提条件 test_evidence.xlsxというExcelファイルを事前に作成し、そのファイルに新たにシートを作成、自動で画像を貼り付ける実装を行います。 試験項目は今回の検証用に簡易的なサンプルとして作成したものを活用します。 試験項目No.1というシートを作成し、1_前提条件、2_実行結果という項目に沿って画像を貼り付けます。
A while back, I worked on a RISC-V-based userspace simulator for fun. In doing so, taught myself a lot more than I wanted to know about what happens in-between when the Kernel is asked to run a program, and when the first line of our program’s main function is actually executed. Here’s a summary of that rabbit hole. In the beginning… First question: When is the OS kernel actually asked to run any
背景 以前、Pythonを使ってWinMergeの比較結果を一発でExcelにまとめる、という記事を書かせていただいた者です。 相変わらず普段、WinMergeのお世話になっています。 あれからしばらく経ちましたが、その後も少しずつメンテを行い改良を重ねてきました。ある程度キリがいいところまで来たので、今回はその進捗をメモしておこうと思います。 やったこと まず最初に、今回やった前回からの改善点を挙げます。 差分ファイルのシートに行番号を必ず入れる 文字列の差分箇所を必ず赤色で強調する 異なるフォルダにある同名ファイルの差分出力に対応する 差分ファイルに表を追記する処理を高速化する できたもの 次に、今回できたものは前回同様にコマンドライン上で実行するスクリプトになります。 以下のようにスクリプト(winmerge_xlsx.py)を実行すると、フォルダ同士の比較結果をまとめたExcelフ
[AWS IoT Core] MQTT v5 を使用してメッセージ及び、セッション有効期限とクリーンスタートを実装して見ました | DevelopersIO
1 はじめに CX 事業本部のデリバリー部の平内（SIN）です。 AWS re:Invent 2022 で発表された、AWS IoT Core での MQTT v5 対応に反応して、色々入門しています。 今回は、メッセージ及び、セッション有効期限とクリーンスタートについての実装を試して見ました。 初めに、作成したサンプルが動作している様子を紹介させてください。 左のコンソールが Publisher、右のコンソールが Subscriber です。 Publisher は、パラメータに有効期間(秒)を指定してメッセージを送信します。 メッセージブローカーは、有効期間（秒）だけ、メッセージを保持するので、 期間内に Subscriber が立ち上がってくれば、そのメッセージを取得できます。 1 回目は、有効期間 3 秒で Publish し、3 秒以上経過してから Subscriber が上がっ
![[AWS IoT Core] MQTT v5 を使用してメッセージ及び、セッション有効期限とクリーンスタートを実装して見ました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f59fe9f599f9521fc9d617ca2ba0ae8f3c94f439/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-iot-core.png)
Metashapeで全天球画像をキューブマップに変換
Metashapeは全天球画像(エクイレクタングラー)の処理に対応していますが、アライメント結果を他のSfM系ソフトで利用する場合は、全天球画像のままでは渡すことが出来ません。 postshot、RealityCapture、Inria 3D Gaussian Splatting等は全天球画像には対応していないためです。 しかし先日smert999氏が「Agisoft_metashape_convert_to_cubemap」を公開されました！ Metashapeでアライメントした全天球画像を、そのアライメント結果を維持したままキューブマップに変換できるというものです。 Theta, Insta360等で360度動画/全天球画像撮影 → Metashapeでアライメント → キューブマップ変換 → RealityCaptureで活用・postshotで3DGS生成 といったワークフローが可
標準入力を1行ずつ処理する
Ruby の while line = gets puts line end は、コマンドライン引数で与えられたファイルを一つずつ開いて1行ずつ読み込み、出力するループである。コマンドライン引数でファイルを指定しなければ、標準入力から1行ずつ読み込む。 これと同じことをするための仕組みが Python の標準ライブラリの fileinput モジュールで提供されている： import fileinput for line in fileinput.input(): print(line, end="") # または print(line.rstrip()) fileinput.input() に引数でファイル名（のリスト）を与えれば、それが優先される。 Ruby の gets と違い、ループの中で余分に行を読み込むことはできない。 標準入力だけ読めばよいなら、次のようにできる： impor
Pythonの基本例入力、条件meow (ニャー)get_positive_intマリオオーバーフロー、非精度リスト、文字列コマンドライン引数、終了コードアルゴリズムファイルその他のライブラリ Pythonの基本 今日は、Pythonという新しいプログラミング言語について学びます。C言語よりも新しい言語であるため、単純さだけでなく機能も追加されており、その人気につながっています。PythonのソースコードはCよりもずっと簡単に見えます。実際、「hello, world」を出力するには、以下のように書くだけです。 print("hello, world") C言語とは異なり、print 関数で改行を指定したり、セミコロンを使用して行を終了する必要はありません。このプログラムを作成して実行するには、CS50 IDEを使用し、新しいファイルを上記の行を記入しhello.pyとして保存し、コマンド
検証レポート.：Athenaにおけるファイルサイズが性能に与える影響 | NRIネットコムのクラウドソリューション
※ 検証データは、およそ10GBのCSVファイルを元に作成している。そのファイルを、1GB、100MBなど目的のサイズになるように行ごとに分割した。 そのため、合計のレコード数はどのバリエーションでも同じものとなる。 またファイルサイズはCSV形式のものであり、GZIP・Snappyで圧縮されたものは、それより小さくなっている。 ※ 測定結果については、データの内容や集計方法によって大きく変わるものであり、常に同様の結果になるとは限らないことに留意すること。 検証環境および内容検証内容および時期 ファイルをS3に配置したデータに対して、EC2上のPythonスクリプトからAthenaのクエリを実行する。パターンごとにそれぞれ10回づつクエリを実行し、平均タイムを結果として採用した。 なお実施時期は2023年9月下旬であり、今後のAthenaのエンジンの改良により、性能傾向が変わる可能性があ
文字起こしAI Whisperモデルの更なる活用形 ～ 「負の遺産」とならないために | IIJ Engineers Blog
フロントエンド部分はPHP、バックエンドはPythonで構成していますが、これとは別にジョブスケジューリングにはSlurm Workload Managerを活用しています。 SlurmはGPU排他制御で必要になってくるもので、これによりそれぞれ実行された履歴はジョブとして管理することができる点がうれしいポイントです。 内部で動作するモデルはOpenAI/Whisperです。Whisperがリリースされたときは大変な盛り上がりを見せてたなぁというのをいまだ覚えてまして、このモデルに私もかじりついて一生懸命内部構造を調べてたりしたなーと。 今やすっかりクローズなイメージが固定してしまったOpenAIですが、当時はその境目の時代ということもあり、DALL-E2で使われてたCLIPや書き起こしモデルWhisperはオープンモデルとして、かの有名なGPT-3や画像生成モデル本体であるDALL-E2
いろいろと分析したいので、マネーフォワードでエクスポートできるCSVファイルをSparkを使ってParquetに変換したメモ。 マネーフォワード 特に今更説明する必要もないが、マネーフォワードはオンラインで動作する家計簿サービス。カードと連携したり、勝手に科目を付けてくれたりするのでとても便利だ。自分はプレミアム会員でエンジョイしている。 自分はSBIネット銀行なので、それ専用のマネーフォワードを使っている。 ssnb.x.moneyforward.com プレミアム会員になると、マネーフォワードは特定の月の家計簿をCSV/Excel形式でエクスポートできる。これを使って、あとでGrafanaとかKibanaで眺めてみようというのが最終的な目標。今回はParquetに変換するだけ。 CSVは以下のようなフォーマットになっている: "計算対象","日付","内容","金額（円）","保有金融
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2020年】CTF Web問題の攻撃手法まとめ - こんとろーるしーこんとろーるぶい
MCPでやる必要のない業務をSkillsに置き換えてトークンと時間の消費を爆減してみた
Linuxのプロセスのコマンドライン引数についていろいろ
Writing a C compiler in 500 lines of Python
Agent Skills Scriptsアンチパターン その1
WSL2でSakana AIを試してみる｜noguchi-shoji
📖 vLLMのコードを読んでみよう - ENGINEERING BLOG ドコモ開発者ブログ
新しいPython風プログラミング言語Mojoを試してみた | DevelopersIO
AWS Lambdaにblenderを載せてサーバーレスなレンダリングサーバーを作る
Building a Toy Programming Language in Python
もっとも効率の悪い「あみだくじ変換」を考えてみよう - Qiita
AWS Glueで複雑な処理を開発するときのTips | フューチャー技術ブログ
prompts.chat - AI Prompts Community
Pythonのスクレイピングでメルカリの価格相場を調べる方法 - 77Lifeworkベータ版
ラズパイ・MCプロトコルで工場のPLCをIoT化させる - Qiita
いくつものDBからデータをかき集めるには - BOOK☆WALKER inside
【Python】Excelへの画像挿入とサイズ調整の自動化 | DevelopersIO
The Journey Before main() | Amit's Blog
WinMergeでフォルダ差分を出してExcelにまとめるまでをPythonで自動化・改 - Qiita
Notes – CS50 for Japanese: コンピュータサイエンスの入門
マネーフォワードのCSVをParquetに変換する - Lambdaカクテル