Heroku アプリのログを fluentd で ElasticSearch に突っ込んで Kibana で監視する方法 - hakobera's blog
目的 Kibana で Heroku アプリのログを可視化したい。ただし、レスポンスタイムとかは New Relic でも見れるので、ここではアプリが出力したらログを可視化する方法を紹介する。 また、今回、アプリからの出力を可能な限りに簡単にするために、アプリからは Heroku の STDOUT に出力するだけで、ログを Kibana サーバに送信できるようにしてみた。 具体的にはこう。（Ruby の場合） 出力の形式は、Treasure Data addon の方法 を真似ている。 puts "@[tag.name] #{{'uid'=>123}.to_json}" これで、tag.name が fluentd の tag 名に、それに続く JSON 文字列が送信するデータとして処理される。 環境 Amazon EC2 上に Kibana サーバを構築 OS は Ubuntu 13.1
Treasure Data | Heroku Dev Center
Treasure Data Add-On lets Heroku users collect, store and analyze large amounts of data without sinking a lot of time learning about Hadoop, MPP databases and other powerful but time-consuming technologies. With Treasure Data, you can start analyzing your data today, not weeks and months later. We are proven to scale. We store more than 2 trillion data records for our customers, adding hundreds of
世界最速でFluentdを立ち上げる on Heroku - Qiita
Treasure Agentをさらに使いやすく ご存知の方も多いかと思いますが、トレジャーデータ社では、out_tdプラグインを使うことで、Fluentdから簡単にデータを流し込めるようになっています。これはHeroku上でも動くようになっており、heroku-td-agentとして公開されています。 ただこれ、意外と面倒くさいです。具体的には Treasure Dataのアカウントを持っていることが前提。 そしてAPIキーをメモ。 GitHubのHerokuアプリをクローンしてきて bundle install... あああああああああああああああああああ、やってられるかボケえぇぇぇ!!!! これではいかん。せっかくHerokuという、ソフトウェアのデプロイを抹殺してくれたプラットフォームにいるんだ。その恩恵を100％受けてやろうじゃないか。 出ましたTreasure Agent Her
Using Vault with Consul Template
Sign up for freeGet started in minutes with our cloud products TerraformInfrastructure as code provisioning
Mackerelを支える時系列データベース技術 - ゆううきブログ
【追記 2018/01/06】現在Mackerelは、時系列データベースという概念をクラウドの技で再構築する - ゆううきブログの時系列データベース実装へ移行しています。 サーバモニタリングサービス Mackerel で採用している時系列データベース Graphite を用いたシステムの構築と運用事情を紹介します。Graphiteについては、プロビジョニングやアプリケーションからの使い方、Graphite自体のモニタリングなど様々なトピックがありますが、特に大規模ならではのトピックとして、Graphiteの内部アーキテクチャ、パフォーマンスチューニングおよびクラスタ構成についての知見を書きます。 背景 Graphiteシステム概観 データ構造とアーキテクチャ whisperのデータ構造 carbon-cacheのアーキテクチャ パフォーマンス特性 パフォーマンスチューニング ミドルウェアレ
アニメ視聴に主眼を置いた VOD サービスの比較と解説 - 鳩舎
2015-04-30 版。俺が使ってるあのサービスがねえぞどうなってんだという方はコメントでサービス名を書いていただけますと僕が金を払いに行きますのでよろしくお願いします。 TL;DR コスト及び物量重視なら d アニメストア。コメント見たかったらニコニコ。いろんなデバイスで見たかったら Hulu いいけどそんなに数ないよ。 VOD サービス 自分がお金払って契約した(している)ものは以下 Hulu 長いこと契約してる 異常としかいいようがないくらいいろんなデバイスのクライアントある Panasonic だと TV にアプリ入ってたりするし謎の開発力 PS4 / PS3 にもアプリがあるし、ログインも簡単 PS4 でパスワード打たなくてもログインできるのめちゃ便利 U-NEXT UQ-WiMAX 契約したあとに朝から『U-NEXT 契約しませんか』って電話かかってきて『あぁうん、どうぞ、お
StormとKafkaによるリアルタイムデータ処理
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、鈴木カズです。 社内向けの監視システム構築のため、StormやKafkaを利用して開発を行っていました。 そのときの経験をもとに、まずStormによる実際のシステムがどんなものかということを紹介し、KafkaSpoutの処理内容、カスタマイズ方法、Stormのメッセージ処理などを説明したいと思います。 読者としては、StormやKafkaについて興味があり記事を読んだりしたことがあるがもう少し具体的な話を知りたい方、これから開発予定があるような方を想定しています。 StormとKafka Stormは簡単に言うと、リアルタイムに流れてくる大量のデータを処理するための分散システムです。Twitterのメッセージの分析など
新言語KotlinでAndroidプログラミング #DroidKaigi
DroidKaigiでの発表で使用したスライドです。
kkの意味とは ー okayと打つのが面倒くさい人必見です - 英語 with Luke
英語でチャットやメールなどをしている時、「okay」をタイプするのが面倒だなと思ったことがある人はいませんか？「okay」はたった４文字ですが、英語を使う人でそのように思う人は多いらしく、インターネット上では「ok」だけではなく、「kk」や「k」、などの略語をよく見かけます。 元々、「kk」はオンラインゲーム上で使われるようになった略語でした。オンラインゲームでは軍隊を指揮したり、戦闘機を操縦したりするので、文字をタイプする時間を少しでも省略したかったのかもしれませんね。 戦闘機のゲームをしている時： Crap. I’m running out of fuel! See you back at base. kk. ヤバい、 燃料がなくなってる！基地で会おう。 了解。 では、「k」と「kk」はどのように使い分けるのでしょうか。 実は、「kk」は「okay cool」の略なので、ただの「k」よ
LINEの100億超/日メッセージを支える Redis・HBaseのスケールアウト・アップ戦略 #linedevday - Togetterまとめ
リンク linedevday.linecorp.com LINE DEVELOPER DAY_2015 Tokyo LINE DEVELOPER DAY_2015 Tokyo is a technical conference in which our teams of engineers share their various experiences and also address open issues. Shunsuke.N A-5 HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ HALL A 13:30 - 14:10 "LINEのメッセージングストレージとしての難しい要求に対して、RedisとHBaseを利用してどのように問題を解決してきたかについて紹介します。 最初にLINEでのストレージのユースケースを共有した上で、ストレージの可用性を
HashiCorp Vault
PackerBuild and manage images as code
Vault参考訳 | Pocketstudio.jp log3
HashiCorp から新しいツール Vault がリリースされました。credentialや機密情報的なものを管理するためのツール。例によって参考訳です。変なところありましたら、ご指摘いただけると助かります。 Vault – HashiCorp https://hashicorp.com/blog/vault.html ※今回も一応書いておきますと、本blogでの投稿は私個人の意志によるものであり、所属する組織の意見を代表するものでもなく、仕事でもなく、誰からの指示をうけているわけでもなく、すべて興味本位であり、ぶっちゃけ好き勝手に書いています。これまでも、これからも。 ■ Vault 機密情報を管理するツール 今日私達は Vault という安全な機密情報の管理と暗号化データ転送を行うツールを発表します。credential や API 鍵の保管から、ユーザ・サインアップ用のパスワードの
HashiCorp社が出したVaultとはどういうものなのか - 理系学生日記
HashiCorp 社から、新たなソフトウェアである Vault by HashiCorp がリリースされました。 - HashiCorp Blog: Vault この Vault について、Getting Started を一通り実施した後に Docs の一部を確認してみたので、簡単にその内容をまとめてみます。 Vault とは何なのか Vault を一言で言うと、機密情報(Secret) を管理するツールです。 これだけ IT が広がっている現在、機密情報の範囲も広がり続けており、データベースにアクセスするためのユーザ/パスワードや、連携するシステムの API キー等、多岐に渡ります。こういった情報、おまえのところのシステムではどう管理してた？XML に生で書いてる、あるよねそういうの。jdbc.properties に直書き、うんうんわかるわかる。ちょっとがんばったら crypt で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL入門 -テーブル設計について-｜オンライン動画授業・講座のSchoo（スクー）
Fluentd
［速報］マイクロソフト、コードを書くのに最適化したツール「Visual Studio Code」発表。Windows、MacOS、Linuxに対応、無料提供。Build 2015
［速報］無限のデータ容量で大量データを保存「Azure Data Lake service」発表。HDFS APIでHadoop用分析ツールが利用可能
［速報］マイクロソフト、クラウドのデータ分析基盤「SQL Data Warehouse」発表。Amazon Redshiftに対抗。Build 2015
Visual Studio Code