インターンの二週間で社内APIを新しく建て本番リリースまで何でもやった話【ソフトウェアエンジニアインターン参戦記】 - エムスリーテックブログ
はじめまして。河村 (@KowerKoint2010)です。 この夏、エンジニアリンググループ AI・機械学習チームで2週間の新卒ソフトウェアエンジニアインターンに参加しました。 インターンでは、「Yucca」という内部サービスの改善を担当しました。 当初与えられた課題については設計・開発から本番環境へのリリース、そしてユーザーへの利用法説明まで行い、まだ時間に余裕があったので追加でデータベースの改善も検討しました！*1 ここでは私がやったことを簡単に紹介しつつ、エムスリーという会社で働いてみた感想を伝えます。 エムスリーでのインターンや就職を考えている他の学生の参考になれることを願っています。 最終日にエムスリークリアファイルをプレゼントしたときの様子 Yuccaについて簡単に紹介 BigQueryに特定のフォーマットでデータを置くと、それをクローリングしてきて自動でAPIとして提供する
BigQuery の新料金体系の解説 | クラウドエース株式会社
BigQuery の新料金体系の解説 こんにちは、クラウドエース 技術本部 Data / ML Division の坂田です。 今回、Google から BigQuery について ・新料金体系「BigQuery Editions」 ・ストレージの課金対象が「Compressed Storage」に変更 という 2 つの大きなアップデートが発表されました。 この記事では、 料金体系がどう変わる？ BigQuery Editions とは？ Compressed Storage とは？ 料金体系が変更されるとどのような影響がある？ について解説します。 料金体系の変更 現在、BigQuey の料金は「ストレージ料金」「分析料金」の 2 つの要素があります。ストレージ料金は BigQuery に保存されたデータのサイズに応じた料金であり、分析料金はクエリの処理に関する料金です。今回、この両方の
[新機能] Amazon Athena データソースコネクタを使ってBigQueryのライブデータにクエリしてみました！ | DevelopersIO
はじめに 先日、AWS Summit San Francisco 2022にて、Amazon AthenaのFederated Queryを経由してデータにアクセスできる10種類のデータソースコネクタをサポートが新たに追加されました。ザックリ言うと、Athenaから以下のデータソースにアクセスできるようになったということです！ 本日は、中でも注目度の高いBigQueryへのクエリについて試してみます。 SAP HANA (Express Edition) Teradata Cloudera Hortonworks Snowflake Microsoft SQL Server Oracle Azure Data Lake Storage (ADLS) Gen2 Azure Synapse Google BigQuery Amazon Athenaのデータソースコネクタが動作するVPC/Sub
![[新機能] Amazon Athena データソースコネクタを使ってBigQueryのライブデータにクエリしてみました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e74dfc28e3f87861a3abf7b0257ff46d1c1a0f04/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-athena.png)
SQLは書けるけどBigQueryは初見の人に贈るざっくりBigQuery
去年使い始めたBigQueryについて、BigQueryを使う前の私に教えてあげたいことをまとめてみました。 BigQueryとは Google Cloudで提供されている、データ管理と分析のためのデータウェアハウス（めっちゃデータが入ってる総合的な倉庫と思ってもらえれば）サービスです。 フルマネージドなので、インフラ管理も楽なままSQLクエリだけで大規模なデータ分析基盤を構築できます。 気軽に試すには、Sandbox環境がおすすめです。 DDL(CREATE TABLEとか)は発行できませんが、パブリックデータセットなども存在しているので、基本的な操作は試すことができます。 特徴 BigQueryは早いということがよく特徴として上がりますが、それを実現する二つの大きな要素があります 列指向データベースであること データウェアハウスでは列指向データベースが多いですが、BigQueryも例に
dbtで始めるデータパイプライン構築〜入門から実践〜
事業会社においてBIやレポート用の分析を担当しているが以下のような状況に該当する人に向けたデータパイプライン構築の入門のための資料です 🧑🏻🦱「BigQuery等のView機能を活用しているが、データの流れを追うのが困難な状態になってしまっている、クエリの実行に時間がかかりBIツールが使いづらい」 👩🏻「専任のデータエンジニアがおらず、前処理をpython等で処理したりするのがリソース調整的に大変」 👱🏻♂️「ロードされたデータに重複があったり、過不足があったりしてデータの品質が担保できていない」 🧑🏻🦰「Digdagやluigiといったデータ変換ツールの独自の仕様を理解しきれておらず使いこなせていない」 ※現時点ではBigQueryを中心に記事を構成してあります、SnowflakeやAmazon Redshift等の様々な分析基盤でもdbtは対応可能です
Firebase AnalyticsをBigQueryで分析したいときに役立つテクニック - Hatena Developer Blog
こんにちは、id:kouki_danです。はてなではスマートフォンアプリエンジニアとして働いていますが、今回の記事はアプリ利用にともなうアクセス解析がテーマです。 Firebase AnalyticsやGA4を使っている方は多いと思います。無料で大量のイベントを記録できて便利な一方、以前のGoogle Analyticsであるユニバーサルアナリティクスに比べると、分析クエリの柔軟性に難があります。以前のように分析するにはBigQueryが必要になり、SQLでデータを取り出す必要があります。 Firebase AnalyticsをBigQueryで分析するときに、単にSQLを知っているだけではつまずくことが多いと感じています。料金体系の不安や、時系列で分割されたテーブルの扱い、ネストしたカラムの扱いなど、特有の事情がいくつかあります。 このエントリでは、SQLは分かるけれどBigQueryも
【BigQuery】FIRST_VALUE関数，LAST_VALUE関数の使い方とその違い - Qiita
概要 本記事では，BigQueryのFIRST_VALUE関数とLAST_VALUE関数を紹介します。 以下公式ドキュメントより引用： https://cloud.google.com/bigquery/docs/reference/standard-sql/analytic-function-concepts?hl=ja#navigation-functions ナビゲーション関数は現在の行からウィンドウ フレーム内の別の行に対して，いくつかの value_expression を計算します。OVER 句の構文は，ナビゲーション関数によって異なります。 ※value_expressionは，式から返すことができる任意のデータ型を指定できます。 ・FIRST_VALUE関数：指定カラムの先頭の行を持ってくる関数 ・LAST_VALUE関数：指定カラムの末尾の行を持ってくる関数 同じような事
Procedural language | BigQuery | Google Cloud
Send feedback Procedural language Stay organized with collections Save and categorize content based on your preferences. The GoogleSQL procedural language lets you execute multiple statements in one query as a multi-statement query. You can use a multi-statement query to: Run multiple statements in a sequence, with shared state. Automate management tasks such as creating or dropping tables. Implem
BigQueryのbqコマンドを全部試してみたので解説する
bqコマンドって何？ bqコマンドとは、Googleの最強DWHであるBigQueryを操作するためのコマンドラインツールのことです。bqコマンドはGoogle Cloud SDKをインストールすることで、利用できるようになります。今回apps-gcpでは、全てのbqコマンドの利用方法を説明します(※1)。 ※1 2016/05/12現在の全bqコマンド(v.2.0.24)を解説します。ただし、本記事公開後に解説したコマンドが削除されたり、または新規コマンドが追加される可能がありますのでご注意ください。また、全bqコマンドの概要・利用方法については説明しますが、各コマンド毎のオプションについては重要であると思われるものだけピックアップして解説します。 本記事はBigQuery経験者向けの記事となります。BigQueryの概要を理解したい場合は以下の記事を参考にしてください。 -はじめの一歩
【BigQuery】CREATE文を使えるの知ってた？SQLでテーブル作成｜ 開発者ブログ ｜ 株式会社アイソルート
【BigQuery】CREATE文を使えるの知ってた？SQLでテーブル作成 BigQueryのDDLサポートが2018年7月にGAとなりましたね。Standard SQLで”CREATE TABLE“することができるようになり、SQLユーザーにとってはBigQueryを利用する際の敷居が少し下がりました。 本記事ではBigQueryの CREATE TABLE 文でどのようなことができるかと、その構文に関して記載します。 目次 はじめに 事前準備（データセット作成） CREATE TABLE構文 基本的な使い方 オプションパラメータの指定 分割テーブルの作成 SELECT文の結果を使ってテーブルを作成 CREATE TABLE IF NOT EXISTS 構文と、CREATE OR REPLACE TABLE 構文 おわりに はじめに この記事は アイソルート Advent Calenda
Window function calls | BigQuery | Google Cloud
Send feedback Window function calls Stay organized with collections Save and categorize content based on your preferences. A window function, also known as an analytic function, computes values over a group of rows and returns a single result for each row. This is different from an aggregate function, which returns a single result for a group of rows. A window function includes an OVER clause, whi
ユーザの行動ログをBigQueryで分析！RubyからFluentdを通して、BigQueryへ任意のログをJSON形式で保存する - Qiita
ユーザの行動ログをBigQueryで分析！RubyからFluentdを通して、BigQueryへ任意のログをJSON形式で保存するRubyRailsFluentdBigQuery Webサービスで分析したいデータとしては、行動ログ(ログイン, 投稿ポストなど), データベースのスナップショット, 設定のマスターデータが大きくわけてあるかなと思いますが、すべてのデータを１つの場所で管理できると、Joinなどがしやすく分析が捗ります。 RedshiftやBigQueryなどが手軽な選択肢として上がりますが、今回はRubyからBigQueryにfluentdを通して行動ログを保存してみます。 構成としては以下のような使い方を想定しています。 環境 今回、fluent-plugin-bigqueryを使ったかったのですが、fluentdの0.14系では使えないので、0.12を使います。 バージョン
BigQueryで分割テーブルを作る方法 - Qiita
概要 ・パーティションテーブルのうち、「分割テーブル」を作成 ・DDLの「CREATE TABLE」ステートメントを使用し、「PARTITION BY」句で分割カラムを指定する方法で作成 分割テーブルとは BigQueryでは、大規模テーブルを小さなセグメント（まとまり）に分割して管理できます。 テーブルとしては1つでも、内部的に分割しておくと、クエリで読み込むバイト数を減らし、コストを削減できます。 分割する方法は以下の3つ。 ・日付別テーブル ・取り込み時間で分割されたテーブル ・分割テーブル （違いはこちらの記事に詳しい。） 今回は、このうち「分割テーブル」を作成します。 3つのうち最も新しい機能で、 TIMESTAMP型もしくはDATE型のカラム（の内容）でパーティショニングを行います。 （参考→公式ドキュメント） 今回のゴール こちらのテーブルを作成することを目標とします。 日別
BigQueryで「日付別テーブル」や「テーブルパーティショニング」を活用して大規模データを扱う - Qiita
概要 BigQueryで大量のデータを扱う場合、日付別テーブルもしくはパーティショニングされたテーブルを利用すると便利です。 これらのテーブルの種類についてはドキュメントにもありますが、いくつかのページにまたがっていたりして見つけるのに苦労しているので、ここにまとめておきます。 ３つの選択肢 「日付別テーブル」、「取り込み時間で分割されたテーブル」、「分割テーブル」の３つの選択肢があります。 後ろの２つがパーティショニングされたテーブルです。テーブルとしては１つですが内部的に分割（パーティションニング）されていて、実行するクエリで読み込むパーティションを指定することでスキャン対象のデータサイズを減らすことができ、パフォーマンスとコストを向上させることができます。 「日付別テーブル」は、その名の通り日付ごとに作成した複数のテーブルです。命名規則に従ったテーブル名をつけることで、Webコンソー
トレタにおけるBigQueryの活用法について - トレタ開発者ブログ
サーバーサイドエンジニアの芹沢です。 トレタは検索用のデータストアとしてBigQueryを使用しています。 奇抜な使い方はしていませんが、トレタにおけるBigQuery活用法を紹介します。 システム構成 BigQuery周りのシステム構成を１枚の図にまとめるとこんな感じです。珍しいものは使っていませんがその分安定した構成かと思います。 BigQueryにimportしているデータ 大きく分けて以下2種類のデータをBigQueryにimportしています。 1.APIが参照しているRDBのデータ APIが参照しているRDB(Amazon Aurora)のslaveからデータをimportしてデータ分析や調査用のデータ検索業務に使っています。 2.各種ログ 以下のログをfluentdでBigQueryに保存しています。 nginxのaccessログ railsで1リクエスト単位で出力しているカ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google スプレッドシートで複雑な CSV ファイルを BigQuery に読み込む | Google Cloud 公式ブログ
ドライブデータをクエリする | BigQuery | Google Cloud
fluentdに送信したログをBigQueryに出力 | ppoohh 's blog
パーティション分割テーブルの概要 | BigQuery | Google Cloud