IDCF テックブログ
こんにちは、クラウドエンジニアリング本部プラットフォーム開発部の山下です。 先日、東京有明で開催されたCloudNative Days Tokyo 2023（以下、CNDT2023）の様子とイベントを通じた感想をお話ししたいと思います。 CNDT2023について CNDT2023 決済システム内製化のその先に 〜 クラウドネイティブな開発を"スケール"させるために必要だったこと イオンがKubernetesを採用してどうなった？ 100万コンテナのKubernetesプラットフォームを５年間スケーラブルに運用するために乗り越えていること CloudNative環境におけるトラブルシューティングガイド アプリでコンテナを動かす環境は？ カンファレンスを通して 最後に 続きを読む こんにちは、藤城（@tafujish）です。 最近、生成AIをはじめAIとそれを動かすGPUの拡がりはすごいですね
Intel Galileoで集めたセンサーデータをFluentd + GrowthForecastでグラフ化する - hrdakinori's blog
Android Bazaar and Conference 2014 Spring http://www.android-group.jp/conference/abc2014s/に参加してきました Androidに関係のないGalileoを使った物を展示してました(^^;) まずセンサーデータはXBeeのメッシュネットワークを使用してGalileoに送ります。 ・温度センサー(LM60BIZ)は、XBeeのA/D変換を使って周期的に計測 ・温度,湿度センサー(AM2321)、気圧センサー(LPS331)は、LPC812にI2Cで接続して周期的に計測 LPC812のところをLPC810で出来ると良いなぁ GalileoではXBeeからのデータをまとめて、JSONにしてサーバー(ConoHa VPS)に送る。 データの処理にはFluentdを使います。 1. GalileoからFluentd
Postfix log centralize and analysis in realtime with fluentd tdagent elasticsearch and kibana | Tipstuff.org
PrefaceThis tutorial will walk you through how to build a Mail Log Centralized system with Postfix, Fluentd, Elasticsearch and Kibana. At the result, you will able to see log events happening in realtime, detail of an log record, do some analysis like Top Senders, Top Receivers, Top Status ... Some screenshots : Events happening in realtime. Detail of an log event. Term analytic as Top Senders, To
fluentdの効果的な活用例と安定運用のポイント
fluentdの効果的な活用例と安定運用のポイント：今さら聞けないfluentd～クラウド時代のログ管理入門（3）（1/3 ページ） 効率良く、意味のあるログ管理を実現するツールとして注目されている「fluentd」。最終回では、実際の利用シーンを想定し、より効果的なfluentdの利用法を紹介します。 第1回、第2回でfluentdを使って基本的なログ管理が実現できるようになったのではないでしょうか。fluentdはプラグインの組み合わせにより更に効果を発揮します。最終回では、実際の利用シーンを想定し、より効果的な利用法を紹介します。 fluentdの具体的な活用例 実際の利用シーンを想定した2つのfluentdの活用例を紹介します。 大量のログを分析し、「意味のある情報」として管理する タグデータを効果的に活用し、ログデータのフィルタリング管理を行う 1.大量のログを分析し、「意味のあ
Norikraでログ集計してアプリのエラーを素早く検知しようという話 - kawamuray's blog
背景 webアプリを書いていると，以下のようなロギングコードを至る所にちりばめる事になると思います． $c->log(error => "Chou Yabai ERROR!"); ただいくらログを吐いても，アプリのログからは片時も目を話さないよ！！みたいな真面目なエンジニアじゃない限り，せっかく吐かれたログに気づけないとかあるわけです． そこで特に重要なログについては別途ikachanとかでIRC等にpostするコードを入れといて，即応できるようにしてることと思います． でも，levelがerrorとかcriticalで吐かれてるログって全部重要だし全部すぐ知りたくね？それにいちいち別途ikachanするコードとか入れるのめんどくね？っていう需要があるわけです． そこでロガーメソッドにif ($level == 'error') { post_to_irc($message) }みたいなコ
Docker Log Management Using Fluentd ·
Blog Projects Jason Wilder's Blog Software developer and architect interested in scalability, performance and distributed systems. Docker Log Management Using Fluentd Mar 17, 2014 · 5 minute read · Comments logging fluentd docker Docker is an open-source project to easily create lighweight, portable and self-sufficient containers for applications. Docker allows you to run many isolated application
fluentdと定番プラグインのインストール
fluentdと定番プラグインのインストール：今さら聞けないfluentd～クラウド時代のログ管理入門（2）（1/2 ページ） 前回の記事「増えるログ、多様化するログをどう効率的に運用するか」では、fluentdの大まかなアーキテクチャについてご紹介しました。第2回では、fluentdがどういったものであるかをもう少し具体的に理解するために、実際の利用までの流れを紹介します。 fluentdの使い方 fluentdを利用するには、各サーバーにfluentdをインストールし、どのプラグインを使って処理を行うかについての設定が必要になります。 インストール手順 fluentdはさまざまな方法でインストールできます。例えば、 rpmパッケージによるインストール（CentOS、Red Hat Enterprise LinuxなどのOS向け） debパッケージによるインストール（Ubuntu、Deb
Install Elasticsearch, Kibana 4 , fluentd (Opensource splunk) with syslog clients -
So used splunk some times but it has its limit (money) so now Im testing 1. Java first install java on your server. Get java from here http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html yum localinstall jdk-8u25-linux-x64.rpm And install it on your server. 2. Elasticsearch Get it from here http://www.elasticsearch.org/download I installed the rpm and run https://do
Looking into monitoring and logging tools · More than seven
Writing about code. Occasional other topics. Made by @garethr. Looking into monitoring and logging tools Oct 13, 2013 · 3 minute read Originally published on Medium. We have a bunch of internal mailing lists at work, and on one of them someone asked: we’re looking into monitoring/logging tools… I ended up writing a bit of a long reply which a few people found useful, so I thought I’d repost it her
10 Free Network Analysis Tools | Network Computing
10 Free Network Analysis Tools Network management can be a tall task without the right statistics and data about traffic flows, device configurations and user activities. The following utilities offer visibility into various aspects of network activity without breaking the bank. Utilizing these free tools gives network managers a better foothold for improving performance, spotting potential proble
Fluentd for windowsなお話【その１ 初めに】 - ためになるか分からない与太話あれこれ
OSSの世界でホットな「Fluentd」をWindowsで動かそう Fluentd: Open Source Log Management について詳しくはGoogle先生に聞いてもらうとして、Fluentd自体はRubyで書かれています。 ここで、「Rubyで書かれているのならば、Windowsでもそのまま動くんじゃない？」と思って試した人は、すんなりと動かなくてあきらめてしまった人が多いかもしれません。 現在、GitHub上のFluentdのリポジトリにWindowsブランチがあります。 このブランチ上ではmasterに対してWindows環境で動かすための修正を行っています。 大まかな変更点 Windows環境では動かないもの(他のOSと挙動が異なるもの含む) 対応していないシグナル fork ファイルのI/Oとステータス周り その他もろもろ Windows環境特有のもの Windo
GlusterFSのログをfluentdで集約する | DevelopersIO
はじめに 先日「GlusterFSで高可用性メールサーバを構築する | Developers.IO」という記事で、Amazon LinuxでGlusterFSを使ってファイルを分散する構成を作りました。 GlusterFSは分散ファイルシステムなのでノード同士が深い関連性を持っているのですが、この状態だとそれぞれのノードが個別にログを集積してしまい、ログからノード間の因果関係(例えば「あるノードで異常を検知した時に他のノードの状態はどうだったのか」とか)が分かりづらくなってしまいます。 こんな時はどうしたら良いのでしょう...そう、もちろんfluentdです。 今回はfluent-plugin-glusterfsというプラグインを使って、GlusterFSのログを集約したいと思います！ 構成 GlusterFSのクラスタノードが2台あり、それぞれ別のAZに配置されています。それらのログを集
ansibleのログをfluentdに流す — そこはかとなく書くよん。 ドキュメント
ansibleのログをfluentdに流す¶ Chef のログを Fluentd に流す という記事を読みました。Ansibleにもそのための機能があるにも関わらず、あ まり情報がないのでまとめてみました。 callback plugin¶ Ansibleにはmoduleとは別にpluginという機構があります。例えば "{{lookup('file', '/etc/foo.txt') }}" というように使うlookup pluginがあり ます。他にもconnectionやvarsのpluginがありますが、そのうちの一つに、 callback pluginがあります。 callback pluginはその名の通り、いろいろなイベントが発生した時に自動的に 呼び出されるcallbackを登録するためのpluginです。イベントの例としては、 playbookの開始時 taskの開始時
Chef のログを Fluentd に流す - blog.ryotarai.info
Developers Summit 2014 での発表（スライド）後、Chef のログを Fluentd に投げてる部分についてツイートをいただいたので、すこしまとめておきます。 GREEさんが昨日発表した，ChefのハンドラからFluentdに投げてMongoDBでデプロイか何かの情報収集してるの，どこかに記事とかあるのかな？ユースケース的には便利なのだけども #fluentd— Mr. Fiber (@repeatedly) 2014, 2月 14 Report (Exception) Handler Chef の Report(Exception) Handler という仕組みを使って、ログを投げています。 Report Handler: Chef の実行が成功した場合に実行されるハンドラ Exception Handler: Chef の実行が失敗した場合に実行されるハンドラ 詳し
OSSで世界に挑む 在学中に起業し渡米 DWHクラウドを提供
ビッグデータに挑む世界中の企業が注目する日本製OSS（オープンソースソフトウエア）が、大量のログデータを高速で集める「fluentd（フルーエントディー）」だ。開発者の古橋貞之氏は、米国でトレジャーデータを共同起業。「DWH（データウエアハウス）クラウド」の開発を主導する。 米国ではプレゼン資料共有サービスのスライドシェアや、オンライン広告最適化技術を開発するコンテキストロジックが、分析用データの収集にfluentdを使い始めました。グリーやNHN Japanといった日本企業のほか、シンガポールの動画配信サービス「Viki」や中国のオンラインTV「PPTV」もfluentdのユーザーです。 fluentdは、様々なシステムが蓄えたログデータを「JSON」という分析に適した形式に変換したうえで、高速に集めるツールです。既存システムの多くは、分析に向かないテキスト形式でログデータを保存していま
fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 Rubyfluentdtd-agentlog はじめまして。開発チームの yuzuki です。 7/1に弊社の 決済サービスPaid（ペイド） のサーバー群へ ログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。 ログ集約を改善する動機 弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バッチでWebサーバー上のログファイルをファイルサーバーへ転送することで一応の集約をさせてきました。 （集約というよりはバックアップといった意味合いの方が強いかもしれません） サーバー台数が少なかった頃はこの仕組みでも特に大きな問題はなかったと思いますが、 サービスの成長にあわせて、サーバー台数が増え
![fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/13cbb956f277bb369e639692ef1987a2efa4d0df/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2018%2F04%2Ff0e4ac3a.png)
増えるログ、多様化するログをどう効率的に運用するか
増えるログ、多様化するログをどう効率的に運用するか：今さら聞けないfluentd～クラウド時代のログ管理入門（1）（1/2 ページ） 仮想化やクラウド化、モバイル化の進展に伴い、管理すべきログが多様化・肥大化しています。そんな中でも効率よく、意味のあるログ管理を実現するツールとして注目されている「fluentd」を、これから始めたい方のために一から解説します。 システムを安定して効率良く運用していくために、ログ管理は欠かせない要素の1つです。仮想化やクラウド化、モバイル化の進展につれてシステムはますます大規模化し、それに伴い管理すべきログが多様化・肥大化する傾向にあります。 fluentdはこういった中でも、効率よく、意味のあるログ管理を実現するために非常に有用なツールです。本連載では、fluentdの基本と具体的な活用方法を紹介します。 ログ管理の現状と課題 環境の仮想化・クラウド化、さ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
raspberrypithai.com
Hoshi-mi | A Heroku friendly visualization tool
Fluentd Loves Riak: Robust Log Collection with a Robust NoSQL Backend