セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか：セキュリティログ分析基盤活用入門（2）（1/2 ページ） セキュリティ業務における「ログ」と、その分析基盤の活用について解説する連載。今回は、ログ分析基盤の設計ポイントを、アーキテクチャの観点から紹介します。 セキュリティ業務における「ログ」と、その分析基盤の活用について解説する本連載「セキュリティログ分析基盤活用入門」。前回は、ログを活用するセキュリティ業務やログの果たす役割を紹介しました。 リクルートは、インシデントハンドリング、フォレンジックや脆弱（ぜいじゃく）性検査、マルウェア解析といった、多くの企業ではセキュリティ専業ベンダーにアウトソーシングする専門性の高いセキュリティ業務を内製化しています。2015年以降は「Recruit-CSIRT（Computer Security Incident Response
[アップデート] VPC フローログに AWS サービス名および通信経路が表示されるようになりました！ | DevelopersIO
本日のアップデートで VPC フローログに通信元、通信先の AWS サービス名や通信経路の表示可能になりました。 Amazon VPC Flow Logs now reflects AWS Service name, Traffic Path and Flow Direction さっそく見てみる 以下のログでは後 4 つのフィールドが今回追加されたものになります。 追加されたフィールド 今回追加されたのは以下の 4 フィールドです。 pkt-src-aws-service ソース IP アドレスをもとに AWS サービス名を表示します。表示される値は以下のとおりです。 AMAZON AMAZON_APPFLOW AMAZON_CONNECT API_GATEWAY CHIME_MEETINGS CHIME_VOICECONNECTOR CLOUD9 CLOUDFRONT CODEBUIL
![[アップデート] VPC フローログに AWS サービス名および通信経路が表示されるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/282e5d89940d22b7b6e85de812014aa1e9e593f2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-vpc.png)
[速報]AWSのセキュリティログをオープンフォーマットで集約して分析のアクセスを提供するAmazon Security Lakeが発表されました #reinvent | DevelopersIO
こんにちは、臼田です。 みなさん、セキュリティログ管理してますか？(挨拶 今回はre:Invent 2022で発表されたセキュリティログ管理のサービスであるAmazon Security Lakeを紹介します。 Amazon Security Lakeとは Amazon Security Lakeは一言でいうと、AWSを含めたあらゆるセキュリティログを集約・管理し、分析や利用のアクセスを提供するデータレイクサービスです。現在previewです。 収集するログは以下の通り AWS CloudTrail Amazon VPC Amazon Route 53 Amazon S3 AWS Lambda AWSのAWS Security Hubを介したログ Firewall Manager Amazon GuardDuty AWS Health Dashboard AWS IAM Access An
![[速報]AWSのセキュリティログをオープンフォーマットで集約して分析のアクセスを提供するAmazon Security Lakeが発表されました #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/586d9b4fe7efa4796ddc260c3d2bd46f248b0518/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F11%2F000_amazon_security_lake.png)
[アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました！ #AWSreInvent | DevelopersIO
[アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました！ #AWSreInvent はじめに CX事業本部の佐藤智樹です。 今回はCloudWatch Logsに異常検出とパターン分析のための機能が3つ追加されたため、それぞれを紹介いたします。CloudWatch Logsを見る際は基本開発中に正常動作しているかの確認や本番稼働中に不審な動作が起きているか確認する際の2パターンが多いかと思います。今回の機能は後者の通常とは異なるパターンが出た際に、障害箇所の特定や原因調査のために役立つ機能になるかと思います。 結論 今回のアップデートではCloudWatch Logs Insightsに1,2の機能が、CloudWatch Logsに3の機能が追加されたことだけ認識すれば大丈夫です。開発中や障害対応の訓練や発生時などに試してみて下さい。 パターンビ
![[アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました！ #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
本記事はエムスリー Advent Calendar 2019 - Qiitaの24日目の記事です。 こんにちは。エムスリーエンジニアリンググループの木村です。 業務ではBIRというチームでアンケートシステムの開発をやっています。 今回は個人的に構築しているk8sハニーポットシステムとそこで生じたログ出力の問題について話をしようと思います。 ハニーポット まずハニーポットとは何かですが、一言でいうとインターネットからの攻撃を敢えて受けるサーバです。 通常通用されるサーバでは、ファイアーウォールやアンチマルウェアソフトウェアを利用して攻撃を防御し、サービスを安定して運用することが求められますが、ハニーポットはその逆です。 敢えて攻撃を受け、それを記録することによりネットワーク上でどのような攻撃が流行しているのか、その手口などを観測・分析することが目的になります。 ネットワーク構成 現在の私の自
IAMのポリシー設定画面 IAMユーザの作成方法の詳細は、IAM公式ドキュメント、または他の参考資料をご確認ください。 IAMユーザを作成する時に、「アクセスキー」と「シークレットアクセスキー」が作成時のみ画面に表示されます。これらのキーは後ほどログを取得する際に利用しますので、大切に保管してください。 AWSプロファイルを手元のPCに設定する方法もありますが、今回はプロファイルを生成せずに環境変数でコードに渡す方法で説明します。AWSプロファイルの設定を行いたい場合は、AWS公式ドキュメント（Configure the AWS CLI） を確認してください。 環境変数への登録と確認 「アクセスキー」と「シークレットアクセスキー」を環境変数に設定します。 $ export AWS_ACCESS_KEY=****************JUMP # 作成したアクセスキー $ export
AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する - mazyu36の日記
Amazon AthenaにPartition Projection（パーティション射影）という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、特にログの調査に活用しています。 ログ調査対象のサービスの内、大体どのプロジェクトでも使っているものがいくつかあります（ALB、VPCフローログ、CloudTrail....）。 これまではPartition Projectionの設定を行うCREATE文を毎回実行していたのですが、少し面倒なのでAWS CDKで実装し使いまわせるようにしました。 今回の実装の全体像は以下です。 1. 概要 対象のログ 実装方法 2. 実装詳細 プロジェクト構成 実装の流れ 入力のインタフェース Glue データベースを
こんにちは。エンジニアの佐々木です。 「北欧、暮らしの道具店」を運営しているクラシコムでは、AWS(Amazon Web Services)をメインのクラウドとして使用しています。 今回は、AWS全体のセキュリティ・ガバナンスを強化させたいと考え、AWS Control Tower導入やSecurity Hub、GuardDutyなどの整備を行ったのでその取り組みに関して紹介します。 ボリュームが大きいため、ブログ2本立てでお送りします。この記事ではAWS Control Tower導入時に行ったことを中心にご紹介します。 背景3年ほど前からAWSでマルチアカウント運用を行っていますが、サービスの成長やエンジニアの増加に伴いAWS Organizations単位でのセキュリティ・ガバナンスの重要性が増してきていました。 具体的なリスクとしては、新しく追加したAWSアカウントにて脅威検知サー
A Complete Guide to Pino Logging in Node.js | Better Stack Community
Pino is a powerful logging framework for Node.js that boasts exceptional speed and comprehensive features. In fact, its impressive performance earned it a default spot in the open-source Fastify web server for logging output. Pino's versatility also extends to its ease of integration with other Node.js web frameworks, making it a top choice for developers looking for a reliable and flexible loggin
Kotlin Multiplatform Projectを使ってAndroidとiOSのログ送信部分を共通化した - エムスリーテックブログ
エムスリーエンジニアリンググループ マルチデバイスチーム所属の荒谷(@_a_akira)です。 弊社では、昨年の12月に医師向けの新規アプリをAndroid, iOS向けにネイティブ実装しリリースしました。 今回は、その際Kotlin Multiplatform Projectを用いてユーザの行動ログ送信部分を共通化した話をしたいと思います。 Kotlin Multiplatform Projectとは Kotlin Multiplatform Project(以後MPP)とは、 Kotlinで書かれた単一のコードを Kotlin/JVM,(Android, Server等) Kotlin/Native(iOS, Windows, Linux等) Kotlin/JS の各プラットフォーム向けにトランスパイル可能なプロジェクトのことです もっと詳しく知りたい方は 公式ドキュメントだったり、私
行動ログ収集 API サーバの Fastly Compute 移行〜高スケーラビリティ、高信頼性、高メンテナンス性を目指して 〜
Fastly 基幹イベント Yamagoya 2023 の登壇資料です。 https://www.fastly.com/jp/press/press-releases/yamagoya-2023
Amazon OpenSearch Serverless による手軽なログ分析 | Amazon Web Services
Amazon Web Services ブログ Amazon OpenSearch Serverless による手軽なログ分析 この記事は、Log analytics the easy way with Amazon OpenSearch Serverless を翻訳したものです。 先日、Amazon OpenSearch Service の新しいサーバーレスオプションである Amazon OpenSearch Serverless が発表されましたが、これにより OpenSearch クラスターを構成、管理、スケールする手間なく大規模な検索および分析ワークロードを容易に実行することができます。非常に要求が厳しく予測不可能なワークロードに対しても高速なデータ取り込みとクエリ応答を実現するために、基盤となるリソースを自動的にプロビジョニングし、スケールします。 OpenSearch Serv
CloudWatch Logs の大量のログに対して『check-aws-cloudwatch-logs-insights』プラグインによる監視を入れる - 継続は力なり
タダです. システムの中で CloudWatch Logs に Apache のログを保存しているのですが,大量のログとなっています.このログの中から HTTP ステータスコードが4XX 系を抽出してエラー発生数をモニタリングしたい時に,「check-aws-cloudwatch-logs-insights」の Mackerel プラグインを使って検証してみたのでその内容をこの記事でまとめます. check-aws-cloudwatch-logs-insights とは プラグインの導入 監視の設定の実施 IAM ロールの設定 mackerel-agent のコンフィグ定義 アラートの設定確認 設定のよもやま話 まとめ 関連記事 check-aws-cloudwatch-logs-insights とは Mackerel の「check-aws-cloudwatch-logs-insigh
WindowsにFluentdをインストールしてS3にデータ転送して、管理用の設定も追加 - YOMON8.NET
WindowsにFluentdを入れる機会があったのでまとめておきます。 td-agent(Fluentd)インストール td-agentダウンロード td-agentインストール プラグインのインストール ディレクトリ 設定例 設定ファイルの退避 設定ファイル Append用 Update用 Monitor用 AWSクレデンシャル 起動してテスト テストデータ準備 append(ファイル追記)の方のテスト。 update(ファイル更新)の方のテスト サービス化 管理用RPC API モニタリング 参考URL td-agent(Fluentd)インストール td-agentダウンロード 以下からmsiファイルをダウンロードしてWindowsに配置します。 本手順では td-agent-3.3.0-1-x64.msi を利用します。 https://td-agent-package-brow
300GB/day出力されるログ基盤をFluent Bit + Fargate + NLBで再構築したら、エンジニアの作業効率が上がった - クラウドワークス エンジニアブログ
これは クラウドワークス アドベントカレンダー 24日目の記事です。前日は 畑中 さんの制作会社出身のデザイナーが事業会社に入って感じた５つの悩み事でした。事業会社とデザイン制作会社の違いから生まれる悩みをどう解決したかが伝わる記事でした。 クラウドワークスSREチームの @kangaechu です。最近はM1 Macを購入しました。M1 Macはアプリケーションの対応状況がまだまだなので、Goをソースからクロスコンパイルするなど、今までやったことがないことができてちょっと楽しいです。でももう少しネイティブのアプリが揃うと嬉しいな。 アドベントカレンダーはSREチームに入ってからの2年間にチームでやってきたことに続き、2つめのエントリとなります。前回の記事で、Docker化したシステムの一つとしてfluentd（ログ基盤）を挙げました。ここではそのログ基盤についての詳細を書いていきます。
株式会社ヘンリーでSREをやっているTODA（@Kengo_TODA）です。弊社ではGoogle Cloud Platform（GCP）を活用してサービスを構築しており、またサーバサイドにはKotlinを利用しています。Cloud Runで動くJVMサービスの監視にログベースの指標が便利だったので紹介します。 何をもってJVMで駆動するサービスを「メモリが足りていない」と判断するか Cloud Runのメモリ監視で最も利用しやすいのは、Cloud Monitoringでメモリ利用率などを見ることでしょう。次に示す図のように、サービスごとのデータを取ってグラフ化できます。 図１ メモリ利用率をプロットしてみた ではこのグラフから何がわかるのでしょうか？例えば下側に紫色で示されたCloud Runサービスはメモリにずいぶんと余裕がありそうです。常時この状態であれば、メモリ割当量を減らしても良さ
CREがエンジニアリングで業務効率化をおこなった話 〜Datadogから異常に重いリクエスト数を自動集計〜 - ANDPAD Tech Blog
こんにちは。CREの山本です。 今回はCREがエンジニアリングで業務効率化をおこなった話について書こうと思います！ 私は誰か 今回初めてブログを書きますので簡単に自己紹介させてください！ 2022年にアンドパッドへ入社し約1年半の間、ANDPAD施工管理を担当しています。 前職では自社開発のデータベースの監査アプリケーションやデータベース移行補助ツールなどのテクニカルサポートをおこなっていました。 常日頃「プロダクトと顧客」の間に立つものとして、課題に対して技術的に向き合っています。 大工一筋の父親のもとで育ちましたので、私なりに建築・建設業界の役に立ちたいとアンドパッドで充実した日々と共に業務に励んでいます！ 前提 アンドパッドのCREは、外形監視として利用しているDatadogを活用して異常に重いリクエストの確認、集計を行なっています。 そして検知回数、遭遇ユーザー数、全体のログ数など
この記事はBASE Advent Calendar 2023の2日目の記事です。 こんにちは！BASE株式会社でエンジニアをしている大津(@cocoeyes02)です。 今回は自分たちが運営しているプロダクトにおいて障害対応をする中で、インシデント発生が観測されてから暫定対応をするまでの初動にあたるフェーズの動きについて書いていきます。 インシデント対応全体に関わる話は別の記事にありますので、そちらも併せてご覧ください！ devblog.thebase.in インシデント発生が観測されてからいかに早く対応に参加できるか インシデント対応の初動フェーズにおいて、いかに早く対応に参加できるかというのは非常に重要なポイントとなります。その理由はいくつかあります。 今開発している機能を将来使うかもしれないユーザが減ってしまうリスクがあるから インシデント発生時は、今現在困っているユーザ（BASEの
本記事について Lokiについてまったく知識のない状態の人にとって、1からキャッチアップしていくのは とても大変なことです。 特にLokiはマイクロサービスで構成されているため、何を知るべきなのかの全体像が見えにくいと思っています。 そのため、Lokiをまったく知らない状態から実際に運用検証を開始するために必要なインプットを体系的にまとめました。 具体的には下記の項目で整理します。 Lokiの機能 Lokiを構成するアーキテクチャ Lokiを構成するプロセス Lokiのモニタリング Lokiでのログのリテンション管理 Lokiのデプロイ Lokiでのデータキャッシュ Lokiのベストプラクティス ※前提として、Prometheusについての基本的な知識があれば本記事についてもすぐに理解できるかと思います。 1. Lokiの機能 Grafana Lokiとは？ Lokiは3大監視項目である、
皆さんは、日々の運用の中で発生するログについてどのように管理していますでしょうか。 ログを周期的に圧縮してサーバ内に保存し、かつ一番古いログを削除（ログローテーション）する ログを定期的にクラウド内の外部ストレージに転送して管理する（CloudWatchエージェント / Fluentd / etc.....） など、考えれば考えるほど様々な案が上がります。 今回はログ転送において、私が実際に業務の中でぶつかった問題について紹介します。 本記事の概要としては、下記になります。 AWS Network Load Balancer + syslogを用いた負荷分散を構成する際には、意図した負荷分散が正しく行えているか確認するべきである。 送信元サーバで定期的にAWS Network Load Balancerへ再接続する設定を加えることで、送信先サーバの偏りの緩和や、耐障害性の向上ができる。 今
cloudwatch-logs-aggregator で Amazon CloudWatch Logs のログのメトリック化を実践する - Mackerel お知らせ #mackerelio
こんにちは、Mackerel 開発チームアプリケーションエンジニアの id:susisu です。 この記事では cloudwatch-logs-aggregator を使って、Amazon CloudWatch Logs に出力されたアプリケーションのログを集計して Mackerel にメトリックとして投稿し、監視・可視化を行えるようになるまでの過程を、実際の使用例と共に紹介します。 以下のようなアプリケーションのログからメトリックが生成され、Mackerel に投稿されている状態がゴールです。 { "level": "info", "msg": "query complete", "bytes_scanned": 51828, "records_scanned": 246, "records_matched": 120, ... } cloudwatch-logs-aggregator
Logging practices I follow
No matter what kind of software you’re developing, you most definitely leverage logging to some extent, probably every single day. You write a lot of logs, you read tons of them too, it is the most basic observability tool we have. Not all logs are equal / Should you even log it?There are many pitfall that can lead to useless, wasteful and confusing logs. Therefore I follow a specific set of pract
追跡しやすいログ出力を実現する - Qiita
サービス運用をしていくうえで、ログはとても重要です。 どういった操作がされているのか、どういったことが起こっているのか。運用しているサービスを調べる方法として、「実際のデータを確認すること」と「ログを確認すること」しかできません。 「データを確認する」ことは、問題があった時に原因が分からず、どうにかして確認するための最終手段となります（個人情報を含むようなサービスであれば、そう簡単には見ることができないでしょう…）。 ということは、サービス運用の視点も踏まえたログ出力を心掛ける必要があります。 では、実際にログを取得しないといけない状態になったと仮定しましょう。どういったことができると 楽ができる(早く見つけられる) でしょうか。 追跡しやすいログ出力にする意味 ログを確認する時、多くの場合は下記の流れになると思います。 「何かが発生した時間」で絞り込み その出力内容と同じ処理であるログ出
I love writing CLI scripts using JavaScript (mostly with deno, zx, or plain node.js). Here's something I add to almost all my scripts: a tiny copy-pasteable way to color the output of success and failure messages without adding external libraries. With a green ✔ and a red ｘ character: console.success = (...args) => console.log("\x1b[32m✔\x1b[0m", ...args); console.failure = (...args) => console.er
三行で FireLens を使うことで ECS で稼働するアプリケーションのログ転送を簡単に実装できる しかし、ドキュメントに記載されている設定例をそのまま利用しただけでは実はログの取りこぼしがあった ログの取りこぼしを防ぐためにコンテナ間の依存関係とHealthcheckの設定を行った FireLens とは FireLens を簡単に言うと、「ECS のタスク定義の記述だけで Fluent Bit / Fluentd を使ったログ転送用のサイドカーコンテナが利用できる機能」でしょうか。 FireLens という個別のサービスやソフトウェアが存在するわけでは無いようです。 詳細は以下を参照ください。 症状 私が関わったとあるサービスでは ECS を使ってアプリケーションを稼働させていて、アプリケーションのログは FireLens により Fluent Bit を使ってログ転送を行っていま
GCP の Cloud Run で Node のサーバを稼働させ、Cloud Logging にログを出力して、更にエラーが発生したときは Error Report で通知を受けるというような構成を組む際に、 どのようなケースで「重要度」が正しくマークされるのか どのような形式でログを吐けば Error Report が自動生成されるのか ドキュメントを読んでも、これらのことがいまいちわからなかったので実験してみました。 また、標準の console だけではなく、Node の主要なロガーライブラリーのうち、どれが一番 Cloud Logging と Error Report との相性が良いのかも実験から導き出しました。 前提 ロギング方法 Cloud Run で express サーバを用意し、下記のように文字列と Error をロガーで標準出力および標準エラーに出力 app.get("
takachan on Twitter: "このまとめいいぞ #jawsdays2022_c #jawsdays #jawsug https://t.co/LpG3FoLMY1"
このまとめいいぞ #jawsdays2022_c #jawsdays #jawsug https://t.co/LpG3FoLMY1
GitHub - roma-glushko/tango: Tango is a command-line tool for analyzing access logs 💃
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
[レポート]ソニーミュージックグループのセキュリティの取り組み ～300 を超える AWS アカウントのセキュリティ確保～ – AWS Security Forum Japan 2023 #aws #awssecurity | DevelopersIO
[レポート]ソニーミュージックグループのセキュリティの取り組み ～300 を超える AWS アカウントのセキュリティ確保～ – AWS Security Forum Japan 2023 #aws #awssecurity AWS Security Forum Japan 2023で行われた「ソニーミュージックグループのセキュリティの取り組み ～300 を超える AWS アカウントのセキュリティ確保～」のセッションレポートです。 こんにちは、臼田です。 みなさん、AWSのセキュリティ対策してますか？(挨拶 今回は2023年10月12日にオフラインで行われたAWS 国内最大のセキュリティイベントであるAWS Security Forum Japan 2023の下記セッションのレポートです。 ソニーミュージックグループのセキュリティの取り組み ～300 を超える AWS アカウントのセキュリテ
![[レポート]ソニーミュージックグループのセキュリティの取り組み ～300 を超える AWS アカウントのセキュリティ確保～ – AWS Security Forum Japan 2023 #aws #awssecurity | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f782a3ba21d9875a7314797f8aa3548dc54a098b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F10%2FAWS_Security_Forum_Japan_2023_logo.png){kind=logo}
【AWS Data Lake】ニアリアルタイムデータ分析環境・スピードレイヤを構築してみた（ハンズオン1） | DevelopersIO
こんにちは。DA事業本部の春田です。 管理のしやすさや拡張性の高さで注目を集めている、次世代のデータ分析基盤Data Lakeについて、ハンズオンにトライしてみました。 Datalake Handson 本記事では、Lab1~Lab3のニアリアルタイムデータ分析環境（スピードレイヤ）を構築していきます。 Lab1: はじめの準備 Lab1: はじめの準備 はじめにハンズオン共通で使用するVPC、EC2、IAM Roleを設定していきます。まずEC2で使用するキーペアを作成します。 上で作成したキーペア datalake-handson-haruta を用いて、CloudFormationからEC2インスタンスを作成します。 EC2の構築が完了したら、 datalake-handson-haruta の公開鍵でSSHログインし、 /root/es-demo/testapp.log にログが吐
ISUCON12予選参加記 Rustで予選突破した
2022年7月23日(土) に開催された ISUCON 12 に Rust で参加して20位で予選突破しました。 チーム チームO omu: https://omuric.github.io/posts/isucon12-qualify/ dice801: https://zenn.dev/dice801/articles/760f8fc6af5a08 daiju (自分) 事前準備 基本的には前年までに用意したツールを活用する cargo-make で3台の EC2 への deploy や再起動やログの集計をコマンド一発で実行可能にする isuconf で現地と手元の設定ファイルの同期 omu の自作コマンド どちらも年に1回しか登場しないので、事前の練習でコマンドを手に馴染ませておく。 Rust のためのトレースツールの整備 https://github.com/hinohi/rust
BigQuery や Google Workspace のログを使って分析環境を管理する｜Mercari Analytics Blog
BI Product チームの野本です。 メルカリでは Google BigQuery 監査ログと Google Workspace ログイベントを BigQuery にエクスポートして、データ分析環境の管理に活用しています。アクセス履歴を詳細に調べられる BigQuery 監査ログは、分析環境のコスト最適化やテーブルの変更時の影響範囲調査などの管理業務にとても便利です。 BigQuery の利用が増えてくると、過剰に高頻度なクエリジョブや、使われずに放置されたテーブルなどにかかる無駄なコストも増大していきます。これらの使われていないジョブやテーブルを抽出し削減することで、BigQuery の計算やデータの保管にかかるコストを削減することができます。 メルカリでは、BigQuery 監査ログ、Google Workspace ログイベントを活用して、分析環境の管理業務に役立てていますので、
私はとある企業で Incident Response サービスを提供しています。その中で、安全宣言発出のサポートを行うため、お客様が導入している EDR 製品のログを使って分析を行うことがあります。複数の EDR 製品のログを分析してきた経験から得た、 私が考える Incdient Response における網羅的調査のあるべき論を紹介します。 EDR はビジネス的思惑が強く働いており、過大評価されている側面があり、 EDR の有用性について本音で語られていないのではないでしょうか。そういったビジネス的側面を排除しフラットに語るため、個人ブログに記したいと思います。あくまで個人的見解であり、所属企業とは無関係ですし、特定のセキュリティ企業や製品を批判する意図はまったくありません。純粋に、世の中をより良くしたい、日本の産業を守りたいという想いのみで書いています。間違っている、議論の余地がある
はじめに エンジニアの @eiryu と申します。 突然ですが、皆さんは Groovy というプログラミング言語はご存じでしょうか？JVM言語の1つであり、Javaの豊富なライブラリが使え、動的言語でもあるためちょっとしたスクリプトやツールを作るには便利です。 この記事では、実際に私が業務で作ったGroovyスクリプトについて紹介していきたいと思います。 環境情報 この記事の内容は以下の環境にて確認しています。 $ groovy -v Groovy Version: 2.5.0 JVM: 1.8.0_181 Vendor: Azul Systems, Inc. OS: Mac OS X $ awslogs --version awslogs 0.10.0 業務で実際に使った例 awslogsを使ってCloudWatch Logsから並列でログを取得する @GrabConfig(system
[アップデート]AWS Toolkit for VS CodeでCloudWatch Logsの直近ログデータを表示できるようになりました！ | DevelopersIO
AWS Toolkit for VS Codeに、CloudWatch Logsの直近ログデータを表示できる機能が追加されました！ Amazon CloudWatch Logs features now available in the AWS Toolkit for Visual Studio Code VSCodeでLambdaのプログラムを書きつつ、Lambdaをデプロイして実行。CloudWatch Logsで実行結果を確認。なんて、場面で便利に使えるんじゃないかと思います。 こんな感じでVSCodeの画面でCloudWatch Logsのログを表示できます。さっそく試してみました！ 環境 VERSION Visual Studio Code: 1.48.1 AWS Toolkit for VS Code: 1.13.0 前提 本ブログではAWS Toolkitのインストール、AW
![[アップデート]AWS Toolkit for VS CodeでCloudWatch Logsの直近ログデータを表示できるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/611914e4c074abe947efa5c820fc1646e6c60a0a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F06%2Fvscode-2020-eyecatch-1200x630-1.png)
この記事はFIXER Advent Calendar 2022 技術編 23日目の記事です こんにちは、毛利です。この記事では、最近趣味で自作し始めてしまったコンテナオーケストレーションシステム（+分散Key Value Store）の話をします。つまるところKubernetesのようなものを自作し始めた話です。 背景 要約：素のKubernetesは料金が高くなりそうだったので、趣味用に安く済むKubernetes環境が欲しかった。あと自作対象として興味がちょうどよかった。 みなさんは趣味用のサーバー等ありますでしょうか？ 自分は学生時代からConoHa VPS（コンビニ支払いできるのが学生にやさしい）、最近はAzureも使っています。管理方法ですが、最初のころはサービスをホストに直置き、途中からdocker-composeを使うようになり、しばらくそれで管理していました。最近は業務でK
Mackerel cloudwatch logs aggregatorを使ってログの監視をする｜Kurashicom Tech Blog
こんにちは、テクノロジーグループの矢田です。 我が家には猫が一匹おりまして、毎日のように窓から外を眺めて鳥が飛んでいるのを監視しています。今日も捗ってるな〜と思いながらそんな猫を眺めて仕事しているのですが、今日は監視の話をしたいと思います。 クラシコムでは「北欧、暮らしの道具店」の監視を行うためにMackerelを利用しています。 MackerelではサーバーのCPU・メモリなどのメトリック監視や外形監視、サービスメトリックを送っての監視など多方からサービスの状態を監視することができます。 今回は先日α版が公開されたMackerelのcloudwatch logs aggregatorについて紹介したいと思います。 このモジュールではアプリケーションからAWS CloudWatch Logsに吐き出したログをメトリック化しMackerelに送ることでアプリケーションログをメトリックとして監
お疲れさまです！FE（フロントエンド）チームリーダー 兼 JIRA職人 兼 残業警察の辻です。 チームでjQuery→React/TypeScriptのリプレースプロジェクトを進めています。技術的なチャレンジはもちろん、大規模かつ長期プロジェクトゆえの不安と日々戦っています。 ・このプロジェクトはちゃんと進んでるの？このまま進めていいの？ ・成果が出るまでに時間がかかり、チーム外からは何もやってないように見えてない？ ・残業すれば初期計画スケジュールに間に合うけど、どれくらい頑張ったらいいの？ ・初めてのパターンだけど書き方これであってる？今後もこれに合わせる？ ・リプレース中にもどんどん技術が変わっていってキャッチアップが大変 ・チーム外から突然の依頼があったけど、優先度どうしよう...これらの不安と戦うため、いつでもプロジェクトの状態がわかる状態、いつでもチームに相談できる状態、個人依
エッジコンピューティングでアクセス集中、パーソナライズ、プライバシー保護の課題を解決 - エニグモ開発者ブログ
エンジニアの木村です。最近は負荷対策のためのリファクタリングやリアーキテクティングのリードや、データ基盤・ML・検索基盤を担当するチームのマネージャーとしてデータ関連の案件に携わっております。 先週、webinar 形式で行われた Akamai TechWeek 2021 Japan にて、6/16 に「EdgeWorkersの導入について」というテーマで、昨年末にバイマに導入したEdgeWorkersというAkamaiのサービスについて講演しました。本ブログでもその内容を共有したいと思います。 スライドはこちらになります。 EdgeWorkers の導入について - Akamai TechWeek 2021 Japan Customer Session エッジコンピューティング導入の背景 導入背景としては、アクセス集中下でもサービス自身のドメインを通じて自らユーザーを追跡し、ファーストパ
Google Cloud Tasksのあれこれ
このエントリーは一休.com Advent Calendar 2023の18日目の記事になります。 一休のいくつかのプロダクトで便利に活用されているGoogle Cloud TasksのHttpタスクあれこれについてまとめます。Httpタスクを使えば、パブリック IP アドレスを持つ任意のHTTP エンドポイントに、キューを経由して、タスクを処理させることができます。 再試行関係のパラメータを動かしながら確認してみる 公式ドキュメントは、https://cloud.google.com/tasks/docs/configuring-queues?hl=ja#retry Google Cloud Consoleから設定できるパラメータは、以下の通り。 最大試行回数 ... 公式ドキュメントのMAX_ATTEMPTS 最小バックオフ ... 公式ドキュメントのMIN_INTERVAL 最大バッ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか
k8sハニーポットとログ出力の話 - エムスリーテックブログ
AWS CloudWatchのログをpandasで解析し、エラーの状況を可視化する | gihyo.jp
AWS Control Tower導入時に行ったこと｜Kurashicom Tech Blog
Cloud Runで動くJVMの監視にログベースの指標が便利 - 株式会社ヘンリー エンジニアブログ
インシデント対応入門 〜初動フェーズ編〜 - BASEプロダクトチームブログ
最短で理解して運用するGrafana Loki - Enjoy Architecting
AWS Network Load Balancer + syslog転送における注意点
Simple colored logging for your JavaScript CLI output
FireLensでログ転送するときは依存関係とHealthcheckを設定しないとログを取りこぼすことがある
NodeでのCloud LoggingとError Reportの最適な使用方法を実験で導き出す
Incident Response において実施すべき調査（EDR vs FSA）
退屈なことはGroovyにやらせよう | Recruit Tech Blog
100台くらいスケールする“Kubernetesもどき”を自作してみた！
不安に強い食べログFEチームの働き方｜食べログ フロントエンドエンジニアブログ