BigQueryに関するtanaka733のブックマーク (3)

  • LINQ to BigQueryによるクエリ実行

    ← 前回 連載 INDEX 次回 → よりC#らしいクエリの実行 前回の記事では、グーグルが提供しているBigQueryのClient Libraryを用いたクエリ実行について説明した。しかし記事中に書いたように、このライブラリのクエリ結果の1レコードはobjectの配列(1オブジェクトが1カラムに対応)と非常にプリミティブであり、クエリ結果をさらにプログラムで処理するようなケースでは扱いづらく感じることがあるだろう。 そこで今回はLINQ to BigQueryというライブラリを紹介する。作者はneueccさんであり、自身のブログでも紹介しているため説明が重なる部分もあるが、この記事も併せて読んでぜひ利用してもらいたい。 LINQ to BigQueryをはじめよう 準備 それではさっそく使ってみよう。この記事では、Visual Studio 2015でコンソールプロジェクトを作成し、そ

    tanaka733
    tanaka733 2015/10/05
    書きました
  • なぜ私たちはSumo Logicを捨ててBigQueryを選んだのか - tech.guitarrapc.cóm

    ログ分析サービスはアプリケーションのインフラであり、サービス開発/運用の中で重要な位置を占めます。グラニでは、今年に入って利用しているログ分析サービスを、 Sumo Logic から Google BigQuery に完全移行しました、 記事は、グラニで議論された「ログ分析サービスとしての SumoLogic と BigQuery」のまとめを推敲、転載したものです。これからログ分析サービスを検討される方々にとって、議論の内容が少しでも参考になることを願い公開します。 アジェンダ まずは文脈を整えるためにアジェンダから。 アジェンダ 日常的なアプリケーション監視フロー APM として盤石な New Relic ログ分析サービスによるアドホックなログ分析 ログ分析サービスに求めること Sumo Logic の利用と課題 Sumo Logic の利点 Sumo Logicで発生した課題 ログ収

    なぜ私たちはSumo Logicを捨ててBigQueryを選んだのか - tech.guitarrapc.cóm
  • 誰でも簡単に超高速なクエリができるBigQueryとは?

    この2つの技術は、グーグル独自の技術というわけではない。しかし、ハードウェアから構築している、既存のグーグルのクラウド技術を活用し、パブリックなクラウドサービスとして提供可能なレベルの実装になっている点がGoogle BigQueryの強みとなっている。 BigQueryの特徴 他の類似サービスとの比較 巨大データを処理する技術としては、同じグーグルが使ってきたMapReduceというものがある。MapReduceとBigQueryを比べると、MapReduceが巨大なデータを安定的に処理できるプログラミングモデルであることに対し、BigQueryはアドホックにトライ&エラーしながらクエリを実行するサービスであることが異なっている。 MapReduceは、非構造化データを、プログラミングモデルを通して扱うことができ、巨大なテーブルの結合や巨大な出力結果のエクスポートも可能である半面、処理時

    tanaka733
    tanaka733 2015/03/31
    書きました。連載のこの後で、データの挿入、クエリの実行まで C# コードで実行していきます。
  • 1