Amazon ECSを安定運用するためにやっていること コンテナインスタンス、ログ、モニタリングにおける工夫
2018年11月28日、クックパッド株式会社が主催するイベント「Cookpad Tech Kitchen」が開催されました。第20回となる今回のテーマは「クックパッドのマイクロサービスプラットフォーム現状」。クックパッドが開発を行っているマイクロサービスプラットフォームの今と、その仕組みについて解説します。プレゼンテーション「Amazon ECS の安定運用のために」に登壇したのは、鈴木康平氏。クックパッドにおけるAmazon ECSの運用事例と工夫していることについて解説します。講演資料はこちら Amazon ECSの安定運用 鈴木康平氏：「Amazon ECSの安定運用」というタイトルで発表したいと思います。今回のアウトラインとしては、「ECSをどう使うか」みたいな話ではなくて、そのECSを運用していく上でこんなことやっていますよということを話していければなと思います。 内容としては、
オフィス・AWS環境をセキュリティ監視するためのログ収集 - クックパッド開発者ブログ
インフラストラクチャー部セキュリティグループの水谷 (@m_mizutani) です。 現在、クックパッドのセキュリティグループではセキュリティ監視を高度化に対して取り組んでいます。サービスに関連する部分の監視は以前からやってきたのですが、ここしばらくはそれ以外のインフラやオフィスで発生するセキュリティ侵害を検知することを目的とした監視基盤の構築に力を入れています。 昔は一般的にオフィス、インフラのセキュリティ監視と言えば、イントラネット内に閉じた環境でのログ収集から分析まで完結していたケースも少なくなったと考えられます。しかし現在だとインフラとしてクラウドサービスを多用したり、業務で使うツールをSaaSによって提供するという場面も増えているかと思います。このような状況だとセキュリティ監視のために見るべき箇所がばらけてしまうといったことが起こります。クックパッドでも積極的にSaaSやAWS
Fluentd v1.0 | Fluentd
We announced Fluentd v1.0 at CloudNativeCon + KubeCon NA 2017. See CNCF blog about detailed information: Fluentd v1.0 - Cloud Native Computing Foundation The important point is v1.0 is built on top of v0.14 stable version. No need changes for upgrading from v0.14 to v1.0. If you are interested in v1.0 features, see following slide: Fluentd v0.12 is maintenance phase We continue to update fluentd v
v1.0がリリースされたログ収集のFluentdが目指す「黒子のような存在」とは？
Fluentd 1.0のリリースに合わせてトレジャーデータのデベロッパーにインタビューを実施し、「黒子のような存在になりたい」という背景を訊いた。 CNCF（Cloud Native Computing Foundation）配下のログ収集のためのオープンソースソフトウェアであるFluentdは、2017年にバージョン1.0がリリースされた。記念すべき1.0というマイルストーンを達成したFluentdのデベロッパーにしてトレジャーデータ株式会社のシニアソフトウェアエンジニア、中川真宏氏にインタビューを行った。 まずリリース1.0の発表ということで1.0とそれ以前のバージョンの違いなどについて教えてください。 ツイッターなどでも誤解されている方を見かけますが、実は0.14と1.0で中身は何も変わっていないんですね。Fluentdは、0.12という最も広く使われているバージョンと最新の0.14
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
CloudNativeCon Europe 2017に行ってきた＆しゃべってきた - たごもりすメモ
うぎゃあ、これ今年の初エントリなのか。なんてこった。 で、FluentdがめでたくCNCF (Cloud Native Computing Foundation)に加わって初めてのCloudNativeConなので、Treasure DataのOSSチームで都合のつく人みんなで参加してきたというやつ。前夜祭的なところで同僚の Eduardo がKeynoteをやったり、Fluentd Salonという枠がつくられてFluentd関連の話をしたり。 自分はそれとは別にTalk proposalを出していて通っていたので、それを話しに行く、というのが個人的には最大の目的。 しゃべってきた セッションはカンファレンス2日目、全体でいちばん最後の時間枠。正直話すのが終わるまで気が抜けないからあんま好きじゃないんだけど、とりあえず、やるだけはやった。けっこう多い人が来てくれて席がぜんぶ埋まる(70人
ソーシャルゲームのカスタマーサポートを支える行動ログとredash - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2016の21日目の記事です。 こんにちは、ソーシャルゲーム事業部のぼくらの甲子園！ポケットのサーバサイド開発・運用を担当しておりますマコピーことid:mackee_wです。 ↑のヘッダ画像の人物はワタクシ、という噂があります。みなさま答えはあっていましたでしょうか。 ぼくらの甲子園！ポケットとは 2014年9月にリリースされた共闘スポーツRPGのスマートフォン向けゲーム 現在3年目でございます！！！ 甲子園をモチーフにしてプレイヤーとプレイヤーが協力して別のチーム(CPUではない)と対戦して甲子園の頂点を目指す チーム(高校)の部員がプレイヤー9人揃わなければ試合が始まらない縛りとかも特徴です そんな感じで運営しておりますので興味を持たれましたらこちらからダウンロードのほどよろしくお願いしますm( )m。 ちなみにこの記事は
Fluentd update 2016 - Qiita
毎年やっているので，2016年もFluentd周りで起きたあれこれをまとめておこうと思います．v0.14がリリースされたり，CNCF入りしたりと色々と大きく前進した年でした． Fluentd本体 以下が現在の各リリースの最新バージョンです． old stable: 0.10.62 Current stable: 0.12.31 Development: 0.14.10 0.10は2016年末でEOLなので(アナウンス)，これ以降新しいバージョンはリリースされないことに気をつけてください．0.10.0のリリースが2011年10月なので，約5年開発されていたことになります(実際はここ1年は開発してないので実質は4年ですが)． また，v0.14が開発版という位置づけではあるものの，それなりに機能が実装され，gemから普通にインストールして使うことが出来るようにもなりました．Docker環境とかで
高速ファイル/メッセージ転送 K2HFTFUSE の紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Technical Yahoo の中谷です。 今回は、Yahoo! JAPANからオープンソースとして公開した高速ファイル/メッセージ転送システムの K2HFTFUSE の紹介をします。 K2HFTFUSEは、確実で高速なファイル/メッセージ転送を低コストで実現するために開発されたシステムです。 K2HFTFUSE（K2Hash File Transaction by FUSE-based file system）とは、FUSE（Filesystem in Userspace）によるユーザースペースでのマウント機能を利用したファイル/メッセージ転送システムです。 K2HFTFUSEは、仮想ファイルシステムを提供し、マウ
fluent-plugins-nurseryのご紹介 - 2016-11-09 - ククログ
クリアコードではFluentdの開発に参加しています。 以前の記事でも紹介した通り多くのプラグインの開発にも参加しています。 Fluentd v0.14系がリリースされたので、最近はプラグインをFluentdのv0.14 APIに対応させるようなプルリクエストを送っています。 移行手順については公式のドキュメントに説明があり、ククログにもいくつか記事があります。なので、やろうと思えばすぐにFluentd v0.14 APIに移行することができます。 Fluentdには600以上のプラグインがありますが、中にはメンテナンスが活発でない1プラグインもあります。 今のところ足りないドキュメントがあったり、新APIに移行した事例が少なかったりして、新APIへの移行をためらっているプラグイン作者もいると思われます。 そこでFluentdのプラグインを安定してメンテナンスできる体制を構築し、Fluen
How Microsoft Contributes to the Open Source Fluentd Project
What news from AWS re:Invent last week will have the most impact on you?
fluentdのoutputプラグインのパラメータを眺める - nownab.log
はじめに なんかバージョンアップでいろいろ変わってるっぽいので、一通り眺めてみました。 お題はfluent-plugin-bigqueryです。(あんま関係ないけど) こちらの記事がとても参考になりました。 BufferedOutput pluginの代表的なoptionについて かなり適当なので、詳しくはソースコードを参照してください。 サンプル fluent-plugin-bigqueryのREADMEにのってるloadのサンプルはこんな感じ。 <match bigquery> @type bigquery method load buffer_type file buffer_path bigquery.*.buffer flush_interval 1800 flush_at_shutdown true try_flush_interval 1 utc auth_method js
v0.14 Outputプラグインの仕様解説 - 2016-10-20 - ククログ
はじめに クリアコードはFluentdというソフトウェアの開発に参加しています。Fluentdはログ収集や収集したデータの分配・集約などを行うソフトウェアです。 v0.14での新機能を使ったプラグインを作成する際にはこれまでの Fluent 以下のクラスではなく、Fluent::Plugin 以下のクラスを継承し、実装する必要が出てきました。 また、v0.14のOutputプラグインはv0.12とは異なり、Fluent::Plugin::Output クラスに様々な機能が入っています。これらの機能をプラグイン開発者向けに解説することを目指します。 この記事はv0.14.8以降が対象です。 まずは、Outputプラグインが必ず実装するべきメソッドについてのおさらいです。 non-buffered
fluent-plugin-line-notify作ってみた - Qiita
Plagger で更新情報を LINE で受け取る plugin を見ていて、以前の同僚を思い出しました。 NHKの次の番組情報を #fluentd 経由でidobataに流す ご家庭の #fluentd で使っているtumblr投稿・画像読み込み・画像保存の３種のプラグインをgem releaseしました fluentdはログ収集基盤のためのソフトウェアですが、サーバーのログとかではなく、彼は完全にPlaggerのような使い方をしていて、「それPla（略」と言いかけたものです。 そんなわけで、Plagger::Plugin::Notify::Lineがあるならfluent-plugin-line-notifyもあっていいだろうと思って作りました。 https://github.com/edvakf/fluent-plugin-line-notify https://rubygems.or
logback で出すログを強制的に１行にして収集しやすく・運用しやすくする - Qiita
Java のスタックトレースや、使うライブラリによっては改行つきでログ出力したりで、１つの意味をもつログが複数行に吐き出されることがありますが、それだと収集しづらいので、強制的に１行にしておくと、fluentd などのログ収集ツールで収集しやすく・運用しやすくなります。 開発時に参照するコンソールにはヒューマンリーダブルなログがよいですが、本番でファイルに出力するログは１行にしてしまい、運用時のログの参照はなんらかのツールを介して行う、というのがよいのではないかと思います。 最近の fluentd の in_tail は複数行のパースに対応しているが format multiline とし、開始行のパターンを正規表現で書いたりしてがんばって設定することで対応はできます。 が、ちょっと書きづらい。 そこで logback のフォーマット定義で対応してみる 例えば、 <appender ...
問題があったのでfluentdでsigdumpを使いstactraceしてmackerel-client-rubyにPRした話 · さよならインターネット
問題があったのでfluentdでsigdumpを使いstactraceしてmackerel-client-rubyにPRした話 July 8, 2016 みんなのネットワーク環境が安定しているのか.. 我々の世界線にノイズが混在してしまっているのか… それを調べるすべはないが、下記のような問題があった。 mackerelで突然グラフが表示されなくなる そのグラフを表示しているのはfluent-plugin-mackerelを利用してfluentd経由で作成している そのtd-agentは再起動しようとするとTimeout errorになる ということで怪奇現象を解決する為にやったことをメモ 愚直にtd-agentの再起動を試みてみる [watashi@example-host ~]$ [watashi@example-host ~]$ [watashi@example-host ~]$ s
Fighting API Compatibility On Fluentd Using "Black Magic"
The document discusses Fluentd's changes to its plugin API between versions 0.12 and 0.14. In 0.14, the API was overhauled to separate entry points from implementations and introduce a plugin base class to control data and control flow. A compatibility layer was added to allow most 0.12 plugins to work unmodified in 0.14 by handling calls to overridden methods. However, plugins that override certa
EmbulkとDigdagとデータ分析基盤と
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2017-01-18-japantaxi
フォロワー数は5700人、情報公開で腕を磨く
