Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に
これはなに ども、レバテック開発部のもりたです。 今回はMySQLでのスロークエリログについて調査してまとめました。 スロークエリログといえば古くからパフォーマンスチューニングの力強い味方といったふうに語られることも多いですが、最近はクラウドで使える便利なツールも生まれています。この記事ではスロークエリログの一般的な使い方を紹介するとともに、他のツールとの比較や、どんな場面でスロークエリログが役に立つのか、また役に立たない場合はどんなツールを利用することができるのかについてまとめました。 足りないところなどあればおおいにマサカリ投げていただけると幸いです。 記事の流れ 記事の流れ この記事はそこそこ長いので、初めに記事の流れを解説します。適宜読み飛ばしてください。 なぜスロークエリログなのか ここではそもそもスロークエリログをなぜ確認したいのかみたいなところを説明します スロークエリログの
こんにちは。LINEヤフー株式会社でデータベースエンジニアをしている、松浦、中園、大塚、曽根、笠井です。 データベースはLINEヤフーのさまざまなサービスを支える重要なソフトウエアですが、その安定的な運用やトラブルシューティングには、データベースに関する専門的な知識が必要です。 一方で、データベース部門に配属される新卒のエンジニアは、全員が学生時代にデータベースを専門的に勉強しているわけではありません。このような新卒エンジニアは、データベース部門へ配属後、OJTや実際のデータベースの運用業務に携わりながら、データベースに関する専門知識を深めていきます。 今回のブログ記事では、データベースエンジニアとしての専門性を高めるために、部門内で実施している専門書の輪読会、そして、MySQLを題材としたデータベースカーネルのモブプログラミング（以下、モブプロ）の取り組みについてご紹介します。 1. 輪
2024/09/11 New Relic User Group Vol.11 ただのLT大会『より快適なエラーログ監視を目指して』 レバテックでの Datadog から NewRelic への移行に際し、エラーログの Slack 通知を改善し、より快適なエラーログ監視を実現したお話です。
侵入型ランサムウェア攻撃の被害発生時の初動対応で難しいのは、侵入経路の特定です。昨今のセキュリティインシデントの傾向からVPN機器の脆弱性が悪用される可能性が高いことはご存じのとおりかと思いますが、被害発生時に想定される侵入経路は複数あることが多いため、調査に時間を費やしてしまうことが多々あります。そのため、被害端末に残っている暗号化されたファイルの拡張子や脅迫文が書かれたランサムノート等をもとに攻撃グループを推定し、その攻撃グループが過去に使用していた侵入経路を把握した上で、侵入経路の調査にあたることが、スムーズな初動対応を進める上で重要です。ただ、これまでのJPCERT/CCの経験では暗号化されたファイルの拡張子やランサムノートだけでは攻撃グループを特定できなかったことも複数あります。 今回は、そのような攻撃グループ特定のサポートとしてWindowsイベントログの情報が使用できる可能性
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Parquetフォーマット概観 - 発明のための再発明
スロークエリログをどう使えばいいのかって疑問、全て解決
データベースエンジニアのスキルアップ 専門書輪読会とMySQLモブプロの取り組み
より快適なエラーログ監視を目指して
侵入型ランサムウェア攻撃発生時に残るWindowsイベントログの調査 - JPCERT/CC Eyes