10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC
Linuxコマンド(Bash)でバックグラウンド実行する方法のまとめメモ - Qiita
bashコマンドのバックグランド実行方法について、まとまっている記事が見つからなかったのでまとめメモ 通常のバックグラウンド実行 &でバックグランド実行 参考：http://kazmax.zpp.jp/linux_beginner/process_background.html もっとも基本的なバックグランド実行、コマンドの後ろに&をつけて実行する。 ターミナルの切断が切れたりしてログアウトした場合に、 この方法で実行したプロセスはkillされてしまうので注意する。 途切れたら困る処理の場合はtmuxのセッション上で実行、 もしくは後述するnohupコマンドでのバックグラウンド実行推奨。 # バックグラウンド実行 $ sleep 5 & [1] 21871 # プロセス確認 $ ps $! # ps 21871 PID TTY STAT TIME COMMAND 21871 pts/0 S
Flex Slots を利用して BigQuery の費用を最適化 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 5 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。 編集者注: これは BigQuery の費用の管理に関するシリーズの一部です。BigQuery の料金モデルの選択、Reservations の効果的な使い方に関するシリーズの他の投稿もご覧ください。 Google Cloud のエンタープライズ データ ウェアハウスである BigQuery には多様な料金オプションがあり、リソースを最大限に活用できます。Google が最近導入した Flex Slots では、請求方法を所定期間の定額料金に切り替えることにより、非常に効率よくコストを削減できます。Flex Slots では、オンデマンド料金だけを使用するのではなく、定額料金を利用するメリットが大きい場合には定額料金も活用できます。 これは、1 テラバイトを超える大きな
BigQuery Flex Slots の導入で圧倒的な柔軟性と制御性を実現 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 2 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。 あらゆる規模の組織が、増大する分析ニーズへの対応策として BigQuery に注目しています。BigQuery のお客様は、その急進的かつ革新的なアーキテクチャ、サーバーレスの提供モデル、機械学習とリアルタイム分析、ビジネス インテリジェンスを統合した高度な機能を高く評価しています。アナリティクスに対するバーストワークロードの需要と、予測可能な支出、一元的な管理、強力なワークロード管理の必要性とのバランスを保つための解決策として、Google は先日 BigQuery Reservations の提供を開始しました。 本日は最低 60 秒という短い時間単位で BigQuery スロットをご購入いただける、Flex Slots という新しい機能をご紹介します。スロットとは
BigQueryで150万円溶かした人の顔 - Qiita
※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使
INFORMATION_SCHEMAでBigQueryの利用状況を確認｜テクニカルブログ｜日本情報通信株式会社
BigQueryを利用していく上でユーザの利用状況は非常に重要な要素です。 今回はBigQueryのINFORMATION_SCHEMAを用いて私が便利だと思ったものを紹介したいと思います。 INFORMATION_SCHEMAとは INFORMATION_SCHEMAとはBigQueryの様々なメタデータへアクセスするためのビューとなります。 ビューを通して過去180日のデータへアクセスが可能です。 またこれらのビューは通常のクエリと同様クエリ処理量により課金が発生します。キャッシュは効かないためクエリの実行ごとに課金が発生するので注意が必要です。 INFORMATION_SCHEMAは実装後何度も改善されて来ています。 最近いろいろなビューが追加されています。 2020年9月現在以下のビューが提供されています。 今回はジョブのメタデータを中心にご紹介します。 dataset metad
BigQuery ML の Matrix Factorization で映画の推薦を行ってみる
こんにちは。データサイエンスチームの t2sy です。 Google BigQuery は、Google が提供する高スケーラビリティでコスト効率に優れたサーバーレス型のクラウド データウェアハウス (DWH) です。BigQuery ML を使用すると標準 SQL クエリを用いて機械学習モデルを作成・実行できます。 2020/4/17 に BigQuery ML の Matrix Factorization (Beta) がリリースされました。 この記事では、 Using BigQuery ML to make recommendations from movie ratings のチュートリアルを参考に BigQuery ML の Matrix Factorization を MovieLens 20M Dataset に適用し、各ユーザへの映画の推薦を生成してみます。 BigQuer
Google BigQuery の料金体系を解説
サーバーレスなビッグデータ分析サービスとして注目されている Google Cloud （GCP）の データウェアハウス（DWH）であるGoogle BigQuery™ ( 以降BigQueryと略 )ですが、環境構築が不要で手軽に利用できることもあり、データ分析を行うプラットフォームとして多くの方に利用されています。一方で思わぬ出費にならないよう、正しく料金体系を理解しておくことが大切です。本稿では BigQuery の価格面と利用時に注意すべきポイントについてご紹介します。また、2023年3月30日に発表された新しい料金体系である「BigQuery Editions」についても解説していきます。 まずは、Google Cloud で公表されているBigQuery の料金体系を解説します。なお、BigQuery の料金体系は多岐に渡りますが、今回はその中でほぼ全てのユーザ様に大きく影響する
はじめての GCP ～ BigQuery にデータをロードしてみた～ | DevelopersIO
こんにちは、みかみです。 弊社業務では、AWS をメインに使用しております。データアナリティクス事業本部に所属しているので、DWH で Redshift は非常によく使っています。 恥ずかしながら、GCP も BigQuery も触ったことがありません。 いまさらながら、BigQuery ってどんな感じ？ ということで、実際にさわってみました。 やりたいこと BigQuery をさわってみたい！ BigQueryとは？ 言わずと知れた、Google Cloud Platform の DWH。 スケーラブルでクエリ実行も超高速！ 大量データのアドホック分析などに非常に役立つようです。 BigQuery ドキュメント もともと Google さん社内でデータ分析用途に使用していたシステム、Dremel を BigQuery として一般公開したそうで、カラムナストレージとツリーアーキテクチャが高
BigQuery スロットの使用状況を調査する - RHYTHM TECH BLOG
こんにちは。香田です。 BigQueryのボトルネック調査時や料金モデル(オンデマンド、定額)の見直しに必要となる スロット使用状況の確認方法について解説していきます。 スロットの確認方法はいくつかあるけど、どれが確認しやすいんだっけ？ と気になったのでまとめてみました。 BigQueryのスロットとは？ BigQueryのスロットとは、SQLクエリの実行に必要な演算能力の単位で、 クエリのサイズと複雑さに基づいて、クエリごとに必要なスロットの数を自動的に計算します。 スロットの割り当て数は、オンデマンド料金でプロジェクトあたり最大2,000スロットになります。 スロット使用状況の監視について BigQuery スロットの使用状況はおおきく3つの方法で確認できます。 Stackdriver Monitoringで確認Stackdriver Loggingの監査ログをBigQueryに転送し
6,000スロットを使うBigQueryのリソース配分最適化への挑戦
BigQueryのリソース配分最適化のため、プロジェクトへのコミットメントの割り当てパターンや、スロット消費の多いクエリの見つけ方などについて調査した結果をまとめてみました
『データ分析』という言葉の解像度を上げる『3×2』の考え方を君にだけ教えよう｜樫田光 | Hikaru Kashida
こんにちはHikaru Kashidaです。 "データ分析"というのは、非常にいろんな場面に使えるな〜、と常々思っているのですが、その反面あれもこれも同じように『データ分析』と呼ばれていて、言葉として解像度が低いよなあと思うことも増えてきています。 この記事ではそんな、『データ分析』というかわいそうな便利ワードの解像度を少しあげられるかもしれない考え方をお教えします。 読んだ方から頂いた反応 とてもわかりやすい！！どの部分に興味持つかで合う職種がわかりそう、私は「business×変える」だった（「TBT」はイケてると思います😉） →『データ分析』という言葉の解像度を上げる『3×2』の考え方を君にだけ教えよう｜樫田光 | Hikaru Kashida @hik0107｜note（ノート） https://t.co/WDSDovWlK7 — 豊田弥生🍉ECマーケ (@march3rdya
株式会社メルカリで働いた3年を振り返る｜樫田光 | Hikaru Kashida
こんにちは、Hikaru Kashidaです。 2016年の4月から3年ほど、株式会社メルカリでデータアナリストとして働いてきました。またそのうち半分はチームのマネージャを務めてきました。 その年月を一度改めて振り返って見ようと思います。 タイトルと序文だけ見るとまるで退職エントリーのような感じになってしまっていますが、これこれは退職エントリーではありません。 なんなのか4月から株式会社メルペイに移籍することになりました。 ※ 4月.... 2019/4。これを書いているのは2019/3。 メルカリのグループ会社であり転職というわけでもなく、あくまで内部での異動です。しかしメルペイとメルカリはあくまで別会社であり、組織として完全に別れていますし、意思決定機関も分離しています。カルチャーも多少は異なっているように思います。 また自分の役割という意味でも多少の変更があります。 自分の目線から見
メルカリは「シンプル」であるべき——新VP of Product Engineeringが目指す中長期的な開発体制 | mercan (メルカン)
2004年株式会社サイバーエージェントに入社後、アメーバピグ、AWA、AbemaTVなどの新規サービスの立ち上げに従事。2016年7月、株式会社メルカリに参画。US版メルカリの開発を担当、2017年4月、執行役員CTOに就任。 社内外から聞いていた、メルカリの課題 名村：僕、若狭さんにメルカリを紹介するにあたって、ちゃんと現状をお伝えしなくちゃいけないと思っていて。だから、初めて2人で会ったときはできるかぎりドロドロとしたところを話して、期待値を下げようとした記憶があります。 若狭：当時のこと、僕も覚えています。何度か転職してきたのですが、今回が一番、それもかなり特異な体験をしている感覚がありましたね。こんなにも赤裸々に「課題があるんですけど」と誘われることって、普通はないですよ？（笑）。 若狭建（メルカリVP of Product Engineering） 名村：あはは（笑）。当時のメル
Googleが採用するUXデザイン手法「3対1の法則」とは デザイン会社 ビートラックス: ブログ
先週アップしたエシカルデザインに関する内容に関して、具体的にどのようにして“正しいデザイン”を行えば良いのかという質問が寄せられた。 一つの方法は、UXピラミッドの原則に従ってプロダクトの体験価値を検証したり、UXハニカムを活用する方法もある。 それらに加えて今回紹介したいのは、GoogleのAndroidチームが採用しているUXデザイン手法である。とてもシンプルですぐにでも活用できる内容になっている。 進化するデジタルプロダクトに対するUXデザインアプローチサービスのデジタル化やDXが進む中で、多くのプロダクトにおける「完成」という概念がなくなり、デザインは常に進化し続ける必要性が出てきた。特にユーザー体験においては、デバイスの進化やユーザーの感覚の変化などを考慮し、常に改善を続けなければならない。 では、実際にどのようにデザインの良し悪しを判断すれば良いのだろうか？継続的にバージョンア
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
linuxのプロセスを一時停止する方法 - Qiita
google-cloud-jp – Medium
AIデータクラウド | Snowflake Japan