タグ

filterとgrepに関するmanabouのブックマーク (3)

  • Fluentdのfilter_grepの設定で少しはまった。 - ふり返る暇なんて無いね

    fluentd 0.12.15 の話です。 結論から言うとFluentdのfilter_grepが、keyの後にスペース1個しか許容してくれません。 なので、下記のようにそろえるために、スペースを余分に入れると、意図しない正規表現になってしまいます。 <filter fluent.info> type grep exclude1 message (?:^out_forest plants new output|adding rewrite_tag_filter rule) </filter> 正しくはこう。 <filter fluent.info> type grep exclude1 message (?:^out_forest plants new output|adding rewrite_tag_filter rule) </filter> ソース的にはこのあたりで、スペース一個で

    Fluentdのfilter_grepの設定で少しはまった。 - ふり返る暇なんて無いね
  • fluentdで不要なログを取り除くfilterプラグインを作った - Qiita

    概要 Fluentd v0.12から利用できるFilterの機能を利用して、ログから正規表現でマッチしたものを取り除くfluent-plugin-ignore-filterを作りました。 grep-filterと何が違うのか Fluentd v0.12以降には grep Filter Plugin という @sonots さんの fluent-plugin-grep を取り込んだフィルタが組み込まれています。 こちらはログから正規表現で「マッチしたものを抽出する」プラグインです。 grepフィルタにはexcludeオプションがあるため、こちらを利用することで不要なログを取り除くことは一応可能です。 しかし、こちらのプラグインは「マッチしたログを通す」ためのフィルタのため、 マッチしたものを除外する目的で利用しようとすると、パース済みのログに対しand条件で除外できないという問題がありました

    fluentdで不要なログを取り除くfilterプラグインを作った - Qiita
  • パイプとフィルタ ~ソフトウェア工学における有用なアーキテクチャ~ | POSTD

    パイプライン は、最近のソフトウェアエンジニアリングにおいて、非常に便利な(そして驚くほど活用されていない)アーキテクチャパターンです。ソフトウェアでデータの流れを制御するためにパイプとフィルタを用いる考え方は、最初のUNIXシェルが作られた1970年代からあります。もしターミナルエミュレータでパイプ” | ”を使ったことがあるなら、”パイプとフィルタ”を活用できていることになります。以下の例を見てみましょう。 cat /usr/share/dict/words | # Read in the system's dictionary. grep purple | # Find words containing 'purple' awk '{print length($1), $1}' | # Count the letters in each word sort -n | # Sort l

    パイプとフィルタ ~ソフトウェア工学における有用なアーキテクチャ~ | POSTD
  • 1