dedupの検索結果1 - 3 件 / 3件

• あとで読む

  [アップデート] Amazon CloudWatch Logs Insights で重複排除を行う dedup がサポートされました | DevelopersIO

  • 4 users
  • dev.classmethod.jp
  • テクノロジー
  • 2023/06/21

  [アップデート] Amazon CloudWatch Logs Insights で重複排除を行う dedup がサポートされました いわさです。 Amazon CloudWatch Logs Insighs では専用のクエリ構文を使うことで CloudWatch ロググループのログをクエリすることが出来ます。 クエリにちょっと癖がありますが、複雑なクエリを実施することが出来るためログの分析や簡易的に統計を取ったり、トラブルシューティングを行う際に重宝します。 大量のログが出力されるため、ある程度グルーピングや不要な情報の除外を行いたいところですが、これまでは stats コマンドでグルーピングを駆使することで頑張って重複を排除する方法がありました。 今回のアップデートで重複排除のコマンドとして dedup コマンドが使えるようになりました。 dedup コマンド 公式ドキュメントのリファ

  
• あとで読む

  Amazon CloudWatch Logs announces new Log Insights dedup command

  • 3 users
  • aws.amazon.com
  • テクノロジー
  • 2023/06/21

  Amazon CloudWatch Logs is excited to announce a new Logs Insights command, dedup, which enables customers to eliminate duplicate results when analyzing logs. Customers frequently want to query their logs and view only unique results based on one or more fields. You can now use the new dedup command in your Amazon CloudWatch Logs Insights queries to view unique results based on one or more fields.

  
• あとで読む

  メモリ16GBは人権の今、ZFSの重複排除(dedup)を解禁する

  • 3 users
  • nofu.jp
  • 学び
  • 2020/01/01

  （2020-12-15 追記） dedup有効状態で10ヵ月弱使ってみたけど、やっぱりまだ解禁しない方がよさげ。メモリ的には余裕だが、ファイル削除に時間がかかるようになったり微妙に怪しげな挙動をすることがある（何となくレコード毎に重複チェックが走り本当に削除するかどうかを決定しているような感じ。ファイルサイズと削除所用時間は比例する。要検証）。データの破損や消失は起きてないので、そういった意味での危険性はないが、有効にするなら何が起きても自己責任ってことで！ ZFSは2010年頃のPool Version 21で重複排除機能(dedup)を備えたが、本機能の使用は長らく禁忌とされてきた。というのも、Chr〇meも真っ青のレベルでメモリを馬鹿食いするからだ。ZFSの他の機能同様、dedupも有効にした後の書き込みから機能するため、当初は問題なく動いてるように見える。が、徐々にメモリが使われて