ログ基盤のFluentdをFluent Bitに移行して監視ツールを実装した話 - Mirrativ Tech Blog
はじめまして、Azuma（@azuma_alvin）です。現在大学院の1年生で、2024年2月から4ヶ月間ミラティブのインフラチームにインターンとして参加しました。普段はインフラやMLOpsといった領域に興味があり、最近はVim環境の整備がマイブームです。 本記事では、ログ基盤をFluentdからFluent Bitへ部分移行した経緯とその2種類の監視ツールの実装についてお話しします。 記事の最後に、インターンから見たインフラチームの特徴と私が4ヶ月間で学んだことを紹介しています。興味がある方は末尾までスクロールしてぜひご覧ください。 1. 背景と目的 2. ミラティブのログ基盤について 3. ログ欠損の原因調査 Fluentdのバッファリングの仕組み fsnotifyを用いたバッファリングの観察 負荷試験 日付時刻フォーマットとワイルドカードによるログ欠損 ログ保存とサーバータイムスタン
tldr; これの詳しい話. また, オンラインでも変換できることを示す. 検証結果: XFS全体フラグのbigtimeを立てても, 古いinode内のフラグはbigtime=0でタイムスタンプのバイナリもそのまま. 新しいinodeはbigtime=1で新しいフォーマットになる. 次に古いinodeをtouchしたらbigtime=1になって, フォーマットも変わる. https://t.co/QPSsKcfisD— イーロン・マスクツイッターやめろ (@naota344) 2024年10月16日 XFSのbigtimeとは? XFSのタイムスタンプは現状では, signed 32bitがUNIXエポックタイム(1970年1月1日 00:00:00 UTC)からの秒数で, 32bitがナノ秒部分となっています. これだと2038年以後の日時を表現できなくなります. そこで, その2つのフ
ObsidianのDataviewプラグインを使えば、同時並行して進められている大量のタスクを簡単かつフレキシブルに、しかもその背景情報と紐づいた形で管理することができます。その詳細について、私のやり方を提示する形で説明していきたいと思います。 まず: Obsidianとは？ それで: Dataviewとは？ 導入方法 使用例 ではでは: Dataviewによるタスク管理 メタデータによる箇条書きリストからの検索 さらに: Outliner 結語 まず: Obsidianとは？ Obsidianとは、メモアプリであり、Markdownエディタであり、あなたの第二の脳になりうる、極めて強力なデータベース形成ツールです。 Markdownが使えるので、こういう記法を全部使ってメモが取れる Obsidianの機能には色々ありますが、そのうちで最も中核的かつ強力な機能が内部リンクです。Everno
バケット名を変更したいだけなのに、大量データ移行でDataSyncを使った話 - LIVESENSE ENGINEER BLOG
これは Livesense Advent Calendar 2024 DAY 5 の記事です。 バケット名を変更したいけど無理 大量データ移行 Terraformで構築する場合 IAMロール CloudWatch Logs ロケーション タスク ハマりポイント 課金に気をつけよう バケットの設定は引き継がれない 大量にファイルがある場合2500万ファイルまで 2500万ファイルを超える場合はfilterを使う 使ってみた感想 バケット名を変更したいけど無理 Q. S3のバケット名を変更する方法はないでしょうか？ A. ありません、新しいバケットを作成してデータを移行してください。 データ移行、AWS CLIでやる場合は以下のような感じですね。簡単に書きましたが、実際ファイルが大量にあるときはレートリミットなど考えることがたくさんありそうです。 今回は以下のようなコマンドを使わずにできるデー
August 2024 (version 1.93) Update 1.93.1: The update addresses these issues. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the August 2024 release of Visual Studio Code. There are many updates in this version that we hope you'll like, some of the key highlights include: Profiles editor - Switch and manage your profiles from a single place
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
XFSの2038年問題にオンラインでも勝利したい - Gentoo metalog
Obsidian/Dataviewによるタスク管理【2024-05-29】 - 二千三百五十五年
Visual Studio Code August 2024