fluent-plugin-bigquery v0.3.x で遭遇したエラーについて - ymyzk’s blog
fluent-plugin-bigquery を v0.2.x から v0.3.x にアップデートしたところ, insert errors insert_errors="[#<Google::Apis::BigqueryV2::InsertAllTableDataResponse::InsertError のようなエラーが出て, BigQuery に insert 出来なくなってしまったエラーについてのまとめです. 問題 fluent-plugin-bigquery を v0.3.x にアップデートしたところ, fluentd が次のようなエラーを発生するようになりました. 2016-11-12 17:19:45 +0000 [warn]: insert errors insert_errors="[#<Google::Apis::BigqueryV2::InsertAllTableDat
fluent-plugin-bigqueryを使ってログをbigqueryに流してみる - tjinjin's blog
About ログをfluentdを通してbigqueryに投げるところを試してみました。今回は適当なログで試してますが、nginxのログとかをやってみたいところです！ 事前準備 gcpのアカウントを作成 projectを作成する サービスアカウントを発行する（今回はjson） datasetを作成する（データベースのようなもの） 設定 fluentdの設定 前提として下記のpluginが必要です。 tagomoris/fluent-plugin-forest kaizenplatform/fluent-plugin-bigquery · GitHub chefを使っており、templateになっています。/etc/td-agent/conf.d以下に配置します。 <source> @type tail format none path /var/log/messages tag os.me
DMMゲームのログ解析~ログ収集と解析の概要~ - DMM.comラボエンジニアブログ
現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基本KPI機能とゲーム独自のKPI機能を実装するためのフレームワークを開発しましたのでその事例をもとにご紹介します。 ログ収集、解析の概要 まず、オンラインゲームのログ収集の全体像をご紹介します。 オンラインゲームのログ収集ではApacheやnginx、PHPのログをfluentdで収集しています。 fluentdに集めたログをHadoopの分散処理システムに保存し、HiveやImpalaで解析をする流れになっています。 ご存知の方も多いと思いますが、HiveとはHD
Norikra: Stream processing with SQL for everybody
Schema-less Stream Processing with SQL Norikra is a open source server software provides "Stream Processing" with SQL, written in JRuby, runs on JVM, licensed under GPLv2. Schema-less event streams (called as 'target') Input/Output event streams as JSON objects, which can contain any fields with a target name. SQL processing Norikra's query is SQL with window specifier support (It's actually Esper
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
