Percona Playback で 本番 MySQLに流れているクエリを試験環境でリプレイする - mita2 database life
データベースのバージョンアップの際、アプリケーションの網羅的なテストが可能であれば良いのですが、どうしても難しいケースがあります。 そのような場合、リプレイツールで本番環境に流れているクエリを、試験環境でリプレイ（再現）し、動作確認を取る方法もあります。 リプレイツールを探す MySQL の クエリ リプレイができるツールを探してみました。 Percona Tookit に pt-log-player というツールが含まれていたのですが、いつのまにか、なくなってました。。。 2013年にリリースされた、percona tookit 2.2 で削除されてしまったようです。 We removed pt-query-advisor, pt-tcp-model, pt-trend, and pt-log-player. Granted, no tool is ever really gone: i
Perlでモジュールを自動でインポートするためのツールを作った - ぴょこぴょこブログ
普段仕事で Perl を書いている。 Perl はモジュールを利用するために use 文を書く必要がある。 モジュールを足すごとに use 文を忘れずに書くのは意外と大変で「use漏れ」というコミットをこれまでたくさん積み重ねてきた。 この作業を自動化するために、過去には VSCode で自動でインポートする拡張機能を作った。 marketplace.visualstudio.com しかし、以下の課題があった。 普段使っているのが IntelliJ (作った当時はVSCodeに移行を試みていた)でメンテナンスする気分になれない TypeScript で頑張ってパースしているが Perl の自由度に敗北している エクスポートされているシンボルを静的解析するのに限界がある このように動的に作られたりするとどうしようもない そこで、それぞれの課題に対処する新たな自動インポートツールを作ろうと考
開発に使える脆弱性スキャンツール - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2022 7日目の記事です。 はじめに こんにちは、イノベーションセンター所属の志村と申します。 「Metemcyber」プロジェクトで脅威インテリジェンスに関する内製開発や、「NA4Sec」プロジェクトで攻撃インフラの解明・撲滅に関する技術開発を担当しています。 今回は「開発に使える脆弱性スキャンツール」をテーマに、GitHub Dependabot, Trivy, Grypeといったツールの紹介をさせていただきます。 脆弱性の原因とSCAによるスキャン 現在のソフトウェア開発は、多くのOSSを含む外部のソフトウェアに依存しています。Python、Go、npm など多くの言語は、様々なソフトウェアをパッケージとして利用できるエコシステムを提供しており、この仕組みを利用してOSSなどのコンポーネントをソフト
k6を使いこなしてみよう - 生涯未熟
この記事は MIXI DEVELOPERS Advent Calendar 2022 6 日目の記事です。 負荷試験を行う機会が年に何度かあるのですが、以前まではvegetaを使っていましたがちょっと高めの負荷をかけた時の挙動がよろしくなく、k6を試してみたところ不満が無かったので最近はk6を常用しています。 そんなk6をもうちょっと使いこなすために色々とまとめてみようかと思います。 k6とは？ Grafana Labsが開発した負荷ツール。 github.com ツール自体はGo製で、負荷シナリオをJavaScriptで書きます。 負荷シナリオはk6 Browser RecorderというChrome拡張を使えばブラウジングしているだけで作成可能で、k6 Cloudを使ったWeb上でのシナリオ作成・管理・実行が可能です。 わざわざGitHub上でシナリオを管理しなくてもいいというのは個人
cachectld〜無駄なページキャッシュの削除を自動化〜 | メルカリエンジニアリング
原稿の執筆が一段落して心に余裕が出てきた@cubicdaiyaです。 今回はサーバを運用しているとありがちなページキャッシュに関する問題とメルカリのアプローチについて解説します。 Fluentdによるログ転送 話は変わりますが、メルカリの各サーバ上ではプログラムが吐いたログデータをKibanaやNorikraといった各種コンポーネントに転送するためにFluentdが稼働しています。各ログデータは原則単一のファイルに追記されてFluentdのtailプラグインによって各所に転送されていきます。 ログデータのサイズはまちまちで、1日で数GB程度のログデータもあれば数十GB以上のログデータもあります。 ページキャッシュと巨大なログファイル 各サーバに吐かれるログデータのサイズはサーバに搭載されているメモリのサイズと比べると1日分だけでもかなりの量になります。そして、このように絶えず書き込まれる巨
手軽に負荷テストができるツール「Taurus」がスゴい
modules: jmeter: version: 5.4.1 # ここに書いてあるバージョンを勝手にダウンロードしてくれる properties: log_level.JMeter: WARN log_level.JMeter.threads: WARN system-properties: org.apache.commons.logging.simplelog.log.org.apache.http: WARN 既存ツールのラッパーとして動作 デフォルトでは内部的にJmeterが実行されますが、以下のようなツールで作成されたスクリプトを流用することが可能です。 JMeter Gatling Locust Selenium Vegeta つまり、さきほどはYAMLでシナリオが記述可能とは言いましたが、もちろん既存のスクリプトを流用できるってことです。 いままで作り上げてきたスクリプトや
Chrome 97のDevToolsに新機能、Webブラウザ上の操作を記録、再実行、編集、保存。Puppeteerスクリプトへのエクスポートも
Chrome 97のDevToolsに新機能、Webブラウザ上の操作を記録、再実行、編集、保存。Puppeteerスクリプトへのエクスポートも Googleは、来年1月に登場予定のChrome 97で、DevToolsにWebブラウザ上での操作内容を記録し、再実行や編集、保存などを可能にする新機能を搭載することを明らかにしました。 Introducing the new Recorder panel You can now record, replay and measure user interactions with @ChromeDevTools. See it in action - ordering coffee. Learn more about this preview feature (available in Chrome Canary now): https://t.c
多くの NoSQL に対応したベンチマークツール YCSB を試した - kakakakakku blog
YCSB とは？ YCSB (Yahoo! Cloud System Benchmark) は，NoSQL / KVS に特化したベンチマークツールで，とにかく多くのデータストア（計40種類程度）をサポートしている．例えば以下など．最近 Memcached のベンチマーク目的で使うことがあったため，まとめておく． Aerospike Cassandra DynamoDB Elasticsearch Memcached MongoDB Redis Riak github.com YCSB 概要 コマンドタイプ YCSB には2種類のコマンドタイプがある．load はロード系のベンチマークで，run は参照系のベンチマークになる． $ ./bin/ycsb.sh load $ ./bin/ycsb.sh run ワークロードテンプレート YCSB にはデフォルトで6種類のワークロードテンプレー
純正よりも高機能なWindows11互換性確認アプリ『WhyNotWin11』が登場！ | ニッチなPCゲーマーの環境構築Z
Microsoftにより公開されたWindows11互換性確認アプリ『Windows PC 正常性チェック』は正直に言って不親切な設計です。いったいどの部分が要件に引っかかっているのか表示されません。アップデートにより一部要件が表示されるようになったとされていますが、環境によっては正常に動作しません。 そんなMicrosoft純正よりも高機能でわかりやすいWndows11互換性確認アプリがGitHubユーザーのRobert C. Maehl氏により作成されました。 アプリケーション名は『WhyNotWin11』。このチェックツールを使用すれば、 WhyNotWin11を実行した様子 どの部分がシステム要件に引っかかっているか一目でわかります。各項目の詳細は以下。 Architecture (CPU + OS): 64bit CPU / 64bit OSを使用していればOK。32bitはNG
MySQL Parameters
MySQL Parameters Version: Difference only Include plugins
gron (Make JSON greppable!) - @kyanny's blog
github.com JSON のキーを連結したものに対して grep できるツール。言われてみれば、こういうことしたいと思いつつ jq で整形したものを頑張って見ていたことが何度もあったなあ、と思った。 ❯ curl -s https://api.github.com/ | gron | grep user json.current_user_authorizations_html_url = "https://github.com/settings/connections/applications{/client_id}"; json.current_user_repositories_url = "https://api.github.com/user/repos{?type,page,per_page,sort}"; json.current_user_url = "https:/
ドキュメントの文章校正には、textlintが便利 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは！ 開発部 テクニカルコミュニケーションチーム（以下、TCチーム）の原嶋です。 さてさて。 みなさん、ドキュメントの文章校正（以下、校正）ってどんな風にやっていますか？ 目視チェックでバッチリだぜ！という方も もちろんいると思うのですが、チェックポイントが多いと指摘が漏れてしまいがちですよね。そして、会社の公式文書となれば、チェックポイントはあれもこれもと山のようになります。 TCチームでも長年 校正に頭をかかえていましたが、textlint と＋αのツール を使って、校正の悩みを解決しました。 今回はその経緯をお話させてください。 校正って確認する項目がたくさん TCチームでは、サイボウズ製品のユーザーサポートコンテンツ（ヘルプやリリースノートなど）を作成しているのですが、 それらのコンテンツは会社の公式文書なので、毎回の校正でチェックする項目が多々あるんです。 校正おわったー
spack package managerを使って最新のgccをインストール | 株式会社ナベインターナショナル
CentOS7にデフォルトでインストールされるgccはバージョンが4.8.5ですが、ここ数年のgccはかなり高頻度にバージョンを上げていて、現在はなんと8.1にまでバージョンが上がっています。gcc 4.8.5でも問題が無いケースは多いのですが、バイオインフォマティクス系の新しいアプリケーションを入れる際にライブラリが古くて入らないといったことは時折起こることですし、またSkylake世代のCPUから新しく搭載されたAVX512の命令セットを使いたい場合にはそもそも4.8.5では対応していません。もちろん、gccをソースからコンパイルすることは可能ですが、gccのコンパイルはrequirementsのライブラリなどが多く手間がかかりがちです。そんなケースではspackというパッケージ管理ツールを使うと比較的容易に新しいバージョンのgccを導入できます。 (注 : １つ前の記事のApache
dbdeployer
Skip to the content. The end of dbdeployer dbdeployer DBdeployer is a tool that deploys MySQL database servers easily. This is a port of MySQL-Sandbox, originally written in Perl, and re-designed from the ground up in Go. See the features comparison for more detail. Documentation updated for version 1.66.0 (26-Jul-2022 10:30 UTC) Installation Manual installation Installation via script Prerequisit
gRPC の CUI のクライアントツールを調べてまとめてみた | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは、松浦です。 最近業務にて gRPC を使ったアプリケーションの開発をしています。開発をしていて少し困るのは、動作確認を行うのにどうやって gRPC サーバの RPC メソッドを呼び出すか、という点です。REST のエンドポイントの場合、curl やブラウザや Postman のようなアプリケーションでリクエストを送れましたが、gRPC の場合は、新たなツールを導入する（あるいは、クライアント側のテスト用コードを書く）ことになります。そこで、業務の効率化も兼ねて、お手軽に動作確認を行うのにどのようなクライアントツールがあるのか、調べて、触って、まとめてみることにしました。 前提 本記事では CUI のツールのみを取り上げます（GUI ツールもいくつかありますが、記事の分量と余力の問題で今回は取り上げません……）。 動作確認を行った環境は Mac (OS X 10.14.4) です
オープンソースのWebアプリケーション分析ツール「Cube.js」
「Cube.js」は、npmやyarnでインストールできるオープンソースのWebアプリケーション用分析ツールです。RDBだけでなく、AWS AthenaやGoogle BigQueryなどのサーバーレスクエリエンジンと連携するように設計されています。機能が非常に豊富なので、今回は初期セットアップに的を絞ってご紹介します。 ◆ オープンソースのWebアプリケーション分析ツール「Cube.js」 https://cube.dev/ 紹介 「Cube.js」は、GUIも完備した高機能なWebアプリケーション分析ツールです。 インストール $ npm install -g cubejs-cli # or $ yarn global add cubejs-cli npmまたはyarnでインストールします。 $ cubejs create <プロジェクト名> -d <データベースタイプ> （データベー
ProduKey - Recover lost product key (CD-Key) of Windows/MS-Office/SQL Server
ProduKey v1.97 - Recover lost Windows product key (CD-Key) and Office 2003/2007 product key. Copyright (c) 2005 - 2021 Nir Sofer Related Links Recover lost CD keys for Windows and 10000+ major programs - including products of Adobe, Symantec, Autodesk, and more... NK2Edit - Edit, merge and fix the AutoComplete files (.NK2) of Microsoft Outlook. FileTypesMan - Alternative to 'File Types' manager of
CSVの処理で使えそうなコマンドラインツール（column, textql, csvkit, xsv, visidata, csvtotable, daff, tabview） - もた日記
column textql csvkit xsv visidata csvtotable daff tabview CSV（またはTSV）を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは下記ページで作成した。 Mockaroo - Random Data Generator and API Mocking Tool | JSON / CSV / SQL / Excel column以外はGitHubのスター順で紹介している。 column stackoverflow.com columnはLinuxコマンドだが検索で結構ひっかかったので紹介。 以下のように見やすいように揃えて出力してくれる。 $ head -n5 test.csv id,fi
dry - ターミナル上で動くDocker管理
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Dockerは便利なシステムで一旦慣れてしまうと何でもコンテナとして管理したくなります。その結果、コンテナが乱立したり、イメージの管理も煩雑になっていきます。そうすると欲しくなるのが管理UIになります。 GUIでもいくつかありますが、手軽に運用できるのはターミナル上で動くものになるでしょう。今回はその一つ、dryを紹介します。 dryの使い方 一覧で現在動いているコンテナが確認できます。 アクティブでないものも含めた一覧です。 詳細を見たり、ログを確認する、コンテナを再起動や終了させるといった操作もできます。 ログです。 プロセスやメモリの状態。 dryはデフォルトのDockerコマンドで収集できる情報を扱いますが、それでも操作がキーボードで選択していくだけなのでとても楽になります
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Diagrams · Diagram as Code
