fluent-plugin-bigquery の認証に JSON key を使う - Qiita
結論 fluent-plugin-bigquery を GCE 以外で使う場合、認証情報が必要だが、 p12キーファイルはディスコンなので、JSON key の利用を推奨する JSON key 形式なら、fluentd の設定ファイルに秘密鍵を埋め込めて便利 設定サンプル <match dummy> type bigquery auth_method json_key json_key { "private_key": "-----BEGIN PRIVATE KEY-----\n...", "client_email": "xxx@developer.gserviceaccount.com" } </match> 解説 先日、fluent-plugin-bigquery に以下の Pull Request を出してマージしてもらった。 Support JSON key file and a
Fluentd + BigQuery による Tweet データ収集 - Qiita
はじめに 今回は、Twitter Streaming API で得られる全ツイート中の 1% の 日本語 Tweet のデータをログとして収集し、 Fluentd を用いて、BigQuery に格納するシステムを構築する。 以下に BigQuery と Fluentd を説明を記載する。 BigQuery とは Google BigQuery とは、クラウド上で動作するデータウェアハウス。 以下の様な特徴を持っている。 テラバイト級のデータに対しても、高速に集計が可能。 ストレージ料金が安い (容量あたりの保存単価だとAWS S3 よりも安価) データのインポートが容易 (バルクアップロード / ストリーム)。 細かい話は次のリンクを参照。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja ありとあらゆるログデータを格納する先とし
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。 プロジ
VMware基盤のパブリッククラウドならニフクラ
高負荷のゲーム基盤として安定性を評価。北米でも国内同様の安定運用を実現し、国産ゲームのグローバル展開を支える。 株式会社エイチームは、同社のスマートフォン向けリアルタイムRPGアプリ「ユニゾンリーグ」の運用基盤として利用していたクラウドサービスのサーバー障害に悩まされていた。頻発するサーバー障害によりゲームの運用に支障をきたすだけでなく、障害対応に関わる工数も大きくなってきたため、安定性と可用性が高く大規模なゲーム基盤の利用事例を多く持っていたニフクラ（旧：ニフティクラウド）にサーバー基盤を移行することにした。その結果、サーバーの障害はほとんどなくなり対応コストが激減、安定した運用基盤を構築することができた。 北米におけるサービス展開に関しても、事前に実施したβ版のテスト運用で国内と変わらない安定性と操作性を発揮したことからニフクラ（旧：ニフティクラウド）を採用した。 _1.htm" da
オフィス環境を変えたら残業が減った--総務省が取り組んだワークスタイル変革とは
日本マイクロソフト主催イベント「FEST2015」で、パネリストに総務省の加藤彰浩氏、豊島区役所の高橋邦夫氏の2名、モデレーターに日本テレワーク協会の富樫美加氏を招き、「公務員の働き方のこれから」を語りました。「残業が多い」「紙文化」などのイメージが根強い公務員という職務ですが、ワークスタイルを変革するためのさまざまな方法や逸話について紹介。果たして取り組みにあたっては、どんな苦労や秘訣があったのでしょうか。 古き良き公務員のワークスタイルを変革する 富樫美加氏（以下、富樫）：本日はこれほど多くの皆さまにお集まりいただきまして、誠にありがとうございます。これより、「公務員のワークスタイル変革～地域に根差し日本を変革する行政サービス実現のために～」を開始いたします。 本日のパネリストは、総務省行政管理局行政情報システム企画課 情報システム管理室課長補佐、加藤彰浩さん、豊島区政策経営部情報管理
パズドラとモンストが追い落とされない理由
人気のスマホゲームと言えば、あなたは何を連想するでしょうか？ パズドラ？ それともモンスト？ どちらのゲームも日々テレビCMが流れていることが多く、「ゲームをプレイしたことはないけど、名前は知っているという人」も多いでしょう。 パズドラことパズル&ドラゴンズがリリースされたのは2012年2月、モンストことモンスターストライクがリリースされたのは2013年9月。モンストはリリースされてから2年が経過していますし、パズドラに至っては来年2月で4周年を迎えます。 驚くのが両社とも、ゲーム内課金の売り上げランキングのチャートで長らくトップを2社で競い合う形で守り続けている点です。特にパズドラについてはリリースから4年目を迎えていることもあり、さすがに絶頂期に比べると売り上げは下がっており、人気のピークは過ぎているという声もありますが、それでもほとんどの期間でランキングはモンストに次ぐ2位を堅持して
誰でも簡単に超高速なクエリができるBigQueryとは？
この2つの技術は、グーグル独自の技術というわけではない。しかし、ハードウェアから構築している、既存のグーグルのクラウド技術を活用し、パブリックなクラウドサービスとして提供可能なレベルの実装になっている点がGoogle BigQueryの強みとなっている。 BigQueryの特徴 他の類似サービスとの比較 巨大データを処理する技術としては、同じグーグルが使ってきたMapReduceというものがある。MapReduceとBigQueryを比べると、MapReduceが巨大なデータを安定的に処理できるプログラミングモデルであることに対し、BigQueryはアドホックにトライ＆エラーしながらクエリを実行するサービスであることが異なっている。 MapReduceは、非構造化データを、プログラミングモデルを通して扱うことができ、巨大なテーブルの結合や巨大な出力結果のエクスポートも可能である半面、処理時
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ログミーBiz
Nielsen(US) 3 ScreenReport(May08) TV、Web、モバイル（3Screen）のメディア接触における相関関係や相乗効果についてのレポート pdf