分析者や予算承認者の視点に立ちつつ、BigQuery Flex Slotsの適切なスロット数を定量的に決定する方法を紹介します - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉本と吉田(id:syou6162)です。モノタロウでは基本的にはBigQueryを定額料金で利用していますが、利用者の多い時間帯はFlex Slotsも併用しています。本エントリでは、Flex Slotsの適切なスロット数を定量的に決めるために行なった試行錯誤について紹介します。 モノタロウでのBigQueryの利用状況 課題感 課題感1: 適切なFlex Slotsのスロット数をどう決めるか 課題感2: 過去の期間との実行時間は単純には比較できない 解決策 解決策1: 同一のクエリを定期的に動かし、実行時間をCloud Monitoringで計測 解決策2: 計測用オンデマンドのGCPプロジェクトでもクエリを実行し、理想状態との相対実行時間を知る まとめ モノタロウでのBigQueryの利用状況 モノタロウでは様々な意思決定の場面でデータ活用が行なわれて
はじめての「簡単なお仕事」は簡単ではない。 - MonotaRO Tech Blog
モノタロウでスマホアプリを担当しているuw_shioです。 今回は増員をしていった結果、各自がそれぞれ頑張るようなチームとなってしまった状況から、ペアワークをきっかけに、ペアプロ、モブプロが文化となってチームとしてワークできるようになったお話をします。 組織の規模が拡大していく過程において、属人化された業務を個人単位で行う働き方から組織としてワークする形へのシフトは避けて通れない道となります。そんな時に悩みの種となりやすいのが、業務の属人化やメンバーの育成ではないでしょうか。 部下や後輩に新しい業務を引き継ごうとしても時間がかかり上手くいかない、そんな経験ありませんか？私は過去に何度もありました。 例えば、アフリカーンスなど未知の言語を習得するというタスクをアサインされたとしたら、何から始めて良いか分からず漠然とした不安を感じるのではないでしょうか。新しいこと、とりわけ新しい業務に対しては
ストーリーで学ぶ Google BigQuery を読んだ - public note
読書感想文です。 読んだ本 どんな本か 読んだ感想 読んだ本 Google Cloud Platform実践ビッグデータ分析基盤開発 ストーリーで学ぶGoogle BigQuery 著者: 株式会社トップゲート 出版社: 秀和システム ISBN-10: 4798059560 www.amazon.co.jp どんな本か 紹介文より引用 Google BigQuery(ビッグクエリ)は、Googleが自社で保有している膨大なデータを効率的かつ高速に分析するために構築した社内データ分析基盤を一般提供したサービスです。その内部ではBorg、Colossus、Jupiter、DremelなどのGoogle独自のコアテクノロジーが活用されており、実行されたクエリはGoogleの保有する膨大なインフラリソース上で瞬時に並列・分散処理されます。 その処理速度は1000億行のデータセットに対してインタラク
GCPのデータ処理・ETL系サービスの使い分け - Qiita
本記事は Classi Advent Calendar 2020 15日目の記事です。 こんにちは。データAI部でデータエンジニアをしている@tomoyanamekawaです。 GCPにはデータ処理関連のサービスが複数あり、「Aにあるデータを加工してBに置きたい」といった処理（ETL処理）の実現方法がGCP内のサービスに限っても様々な選択肢があります。 また、data*といった似た名前のサービスが多く、初見だとわかりづらい部分があります。 そこでそれらサービスの使い分けの参考になればと思ってまとめます。 GCPにあるETL処理関連のサービス紹介 ETL処理に関連するサービスだけでも下記のように複数あります。 Cloud Composer Apache Airflowをベースにしたワークフロー管理サービス。 裏でGKEが立っていてユーザーからクラスターやインスタンスも見えて、少し管理が必要な
MLOpsに必要な情報全部BigQueryに置いたら想像以上に捗った話 - Qiita
本記事はMLOps Advent Calendar 2020の13日目の記事です。 こんにちは。昨年本番環境のComposerでやらかしちゃった人です。今年は比較的平穏に機械学習を使用したサービス開発・運用に携われています。 携わっているサービスの1つで「MLOpsに必要な情報BigQueryに全部おいてみた」ところ想像以上に便利だったので、その方法について共有させてい頂ければと思います。 なお本記事でのMLOpsは 予測モデル/ハイパーパラメータのバージョン管理・デプロイ履歴管理 推論結果の精度監視 + 入力データの傾向監視 を指しています。 特に今年はコロナでビジネス環境が日々絶えず変化しているため、これらの施策がサービス品質担保に大きく貢献してくれました。 背景 毎日一回24時間先までバッチで未来予測し、結果をAPIサーバーにキャッシュする単純なMLサービスに携わっています。なお、予
データ収集の基本と「JapanTaxi」アプリにおける実践例
1. Mobility Technologies Co., Ltd. Data Engineering Study #2 データ収集の基本と 「JapanTaxi」アプリにおける実践例 株式会社 Mobility Technologies 渡部 徹太郎 2020/8/19 2. Mobility Technologies Co., Ltd. 自己紹介 2 ID ：fetaro 名前：渡部 徹太郎 学生：東京工業大学でデータベースと情報検索の研究 (@日本データベース学会) 職歴： * 野村総合研究所(NRI) - オンライントレードシステム基盤 - オープンソース技術部隊 * リクルートテクノロジーズ - ビッグデータ分析基盤 * MobilityTechnologies - データエンジニア エディタ：emacs派→ InteliJ派 日本AWSユーザ会(JAWS) ビッグデータ支部長
Unity の BigQuery 導入事例 - ペタバイト規模のデータ分析に対応する仕組みと、レポート作成や機械学習への活用 | Google Cloud 公式ブログ
Unity の BigQuery 導入事例 - ペタバイト規模のデータ分析に対応する仕組みと、レポート作成や機械学習への活用 ※この投稿は米国時間 2020 年 6 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。 編集者注: 今回は、ゲーム、アーキテクチャ、映画などの産業向けに開発プラットフォームを提供している Unity Technologies にお話を伺います。エンジニアリングおよびデータ担当ディレクターを務める Sampsa Jaatinen 氏が、最新型テクノロジーの導入をテーマに、どの業界の意思決定者にとっても役立つ貴重なノウハウを公開しています。 Unity Technologies は、リアルタイム 3D（RT3D）コンテンツの作成、運用を行うための世界最先端のプラットフォームを提供しています。1 か月に数十億ものエンドポイントとやり取りす
Google スプレッドシートでテラバイト規模のデータの分析がさらに簡単に | Google Workspace ブログ
Google Workspace を無料で体験ビジネス メール、ストレージ、ビデオ会議など、さまざまな機能をご利用いただけます。 登録する ※この投稿は米国時間 2020 年 7 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud では、複雑なクエリを記述できる専門家だけではなく、誰でもデータの力を利用できるようにしたいと考えています。企業が新しい社会に対応する際には、有用なデータに従業員がアクセスして、情報に基づいた意思決定をすばやく行い、ビジネスの成果を向上できるようにすることが重要です。この目標を実現するために、誰でも Google スプレッドシートを使用して膨大なデータセットを簡単に操作できるようにしました。また、データの準備と分析の自動化に役立つインテリジェントな新機能も追加しています。 組み合わせることでさらに便利に: Bi
BigQuery MLにAutoML Tables、XGBoost、DNN、ARIMAが来たのでおさらい - Qiita
BigQuery MLにAutoML Tables、XGBoost、DNN、ARIMAが来たのでおさらいBigQueryDNNxgboostAutoMLBigqueryML はじめに 日本時間2020-06-17のリリースで、BigQuery MLにAutoML Tables、XGBoost、DNNが来ました。release-notes#June_16_2020 おさらいに、BigQuery MLで何ができるか再整理します。 追記: 日本時間2020-07-02のリリースで、BigQuery MLにARIMAも来ましたね。日本時間2020-06-28のリリースノートでエラーになってたのですが、リリース日がしれっと修正されてました。release-notes#July_01_2020 BigQuery MLでできること概要 BigQueryでStandard SQLを使って、機械学習モデルを
BigqueryのJSONデータをRで読み込む際はndjsonのstream_in関数を利用する - 盆栽日記
Bigqueryで取得したデータを整形したい。 Bigqueryで全て完結するならそうしたいがとりあえず時間がないのである程度BQでやってあとはRでやることにする。 しかしネストされているのでJSONでしかダウンロードできないよと言われてしまった。 んじゃJSONでダウンロードしてjsonliteパッケージので読もうとしたら以下のようなエラーが出た。 parse_con(txt, bigint_as_char) でエラー: parse error: trailing garbage 検索すると以下のSOにたどり着く。 https://stackoverflow.com/questions/26519455/error-parsing-json-file-with-the-jsonlite-package/26522000 どうやら各行はJSONのフォーマットになっているものの各オブジェクト
BigQuery MLエンジンとTableauで実現する中古マンション取引額予測シミュレーションの実際 | 株式会社プリンシプル
BigQuery MLによる予測の全体像 機械学習を学ぶにあたり、その全体像が提示されていないことが妨げになっている気がしています。筆者も勉強中の身ではありますが、自分自身の学びの整理のためにも本記事を執筆しています。 本ブログ記事は、過度に詳細に踏み込まない代わりに、その全体像を提示することで、私と同様の学習者である多くのユーザーがBigQueryのMLエンジンを利用できるようになる（少なくともやってみようと思える）ことを目的としています。 全体像は以下の7ステップで説明できます。そのうち、純粋に機械学習周りの技術を使っているのは、3、4、5、6のステップであり、1、2は準備、7は検算です。 データの取得と整形 整形の完了したデータのアップロード モデルの作成 モデルの評価 特徴量の調整やモデルのオプションの調整 予測値の取り出し 検算 ① データの取得と整形 機械学習にはある程度まとま
Google の SQL parser/analyzer の ZetaSQL とは何であるか
2019年4月に Google の SQL parser/analyzer の ZetaSQL が公開されました。 現在 BigQuery Standard SQL や Cloud Spanner で実装されている SQL 方言であり、 Cloud Next 2019 で BigQuery UI から Cloud Dataflow で実行されるパイプラインを記述できる機能として発表された Cloud Dataflow SQL にも使われることがツイートからも見て取れます。 ZetaSQL については Google の外の人がまともに言及しているのを見たことがなく、聞いたことがないか様子見という人が多いと思うので分かっていることを書いていきます。 既存の文献から見る素性ZetaSQL は Spanner の SQL 実装について書かれた Spanner: Becoming a SQL Sys
ナビタイムジャパンに集まる移動ビッグデータの分析基盤
2019/04/25に開催された『データ分析基盤Developers Night〜3社3様分析基盤の変遷〜』の講演資料です。
医療を変えるクラウドのデータ、アナリティクス、機械学習 | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 2 月 12 日に Google Cloud blog に投稿されたものの抄訳です。 電子カルテから医療画像まで、医療業界はかつてないほど多くのデータを有しています。私たち Google Cloud は、こうしたデータを治療の進化と業務の合理化に活かして医療の画期的な発展につなげようとする医療機関を支援したいと考えています。この 1 年、私たちは医療を念頭に置いて、Google Cloud のサービスを拡充し、コンプライアンスの対象を広げ、新しいお客様やパートナーを迎え入れてきました。本稿では、その過程でのマイルストーンを振り返ってみます。 Google Cloud を新たに導入した医療機関の取り組み 医療が抱える課題は、次第にデータの課題になりつつあります。有意義な知見を得るためのデータの作成、格納、解析ということです。私たちはこの 1 年で多くの医療
GCPUG kitakyu#1「BigQuery＋BigQueryMLでKaggle機械学習を攻略してみた」 - Speaker Deck
All slide content and descriptions are owned by their creators.
検索組織の機械学習実行基盤 | Recruit Tech Blog
こんにちは、APプロダクト開発G Qassチームの内田です。 本稿では、リクルートテクノロジーズの検索チームの取り組みについて紹介します。 Qassチームの取り組み Qassチームは、リクルートテクノロジーズの検索特化組織です。リクルートグループの提供する様々なサービスに対して、 検索基盤の運用・検索ロジックの改善を行っています。詳しくはこちらの記事をご覧ください。2015年の記事なのでプロダクトに関しては現状と変わっているところもありますが、組織の役割については当時と大きく変わっていません。 今、Qassチームでは今までの検索基盤運用・検索ロジックの改善に加え、新たに機械学習実行基盤の構築を行っています。今回は、この基盤がどのような経緯で構築されることになったのか、またどのような構成で構築を行ったかを紹介します。 機械学習実行基盤 簡単にまとめると 取り組んだ課題：サービスごとに開発環境
Google Cloud、SQL文で機械学習ができる「BigQuery ML」を提供開始
Googleは2018年7月25日（米国時間）、Google Cloud Platform（GCP）で、ユーザーがSQL文を書くことにより機械学習が実行できる「BigQuery ML」を、ベータ版として提供開始したと発表した。 Googleは2018年7月25日（米国時間）、Google Cloud Platform（GCP）で、ユーザーがSQL文を書くことにより機械学習が実行できる「BigQuery ML」を、ベータ版として提供開始したと発表した。 Googleは新機能を、同社がGCPで進める「AIの民主化」の一環だと説明した。「データを活用した機械学習あるいは予測分析が、RやPythonの書ける人たちだけしかできないのでは、人材不足を解消できず、ビジネスの現場における機動的なデータ活用も妨げられる」としている。 GoogleはAIの民主化への取り組みとして、「Cloud AutoML」
BigQueryで将棋の棋譜の氾濫を解決する - KAYAC engineers' blog
Tech KAYAC Advent Calendar 2017の13日目の記事をお届けします。 クライアントワーク事業部でサーバーサイドエンジニアをしている森です。よろしくお願いします。 過去最大の将棋の盛り上がり 今年は将棋がとてもとても盛り上がりましたね。 最年少プロ棋士誕生 藤井四段29連勝 加藤一二三九段引退 流行語大賞候補に藤井フィーバーとひふみんがノミネート 羽生棋聖竜王位を獲得し永世七冠に かつてこんなに将棋がニュースに出たことはあったでしょうか。 こうなってくると将棋人口が増えて来そうです。 将棋人口が増えた時の問題点 将棋人口が増えると何が困るでしょうか？ webのエンジニアなので将棋をwebに例えて考えてみました。 対局者：ユーザー 将棋盤・駒：UI・UX 指し手：アクセス 棋譜：ログ という感じでしょうか。 将棋人口が増えると棋譜がとんでもないことになりそうです。 と
KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 | メルカリエンジニアリング
メルカリのバックエンドを支える SRE(Site Reliability Engineering) チームに最近加わりました @syu_cream です。 本記事では KPI に関わる数値を計算してレポートを生成する集計システムの刷新に取り組んでいる話を紹介します。 現在は刷新の途中であり、集計項目ベースでいうと 1/3 ほどの実装が済み、現行システムと刷新後のシステムの一部を並行稼動させている状態です。 背景 メルカリではアプリケーションのログファイルやデータベースから、 DAU(Daily Active Users) などの KPI に関する様々な数値を集計するためのシステムを稼働させています。 この集計システムは毎日 Slack やメールにて KPI のサマリーレポートを送信し、全社員が数値を閲覧し、日々プロダクトの傾向を意識することを可能にしています。 集計システムの動作イメージは
Dataprepで国勢調査のデータをBigQueryに入れてみる。 - Qiita
はじめに 今回はDataprepで国勢調査のデータをBigQueryに入れてみたいと思います。 GoogleではBigQueryに色んな公開されているデータが入っているのですが、ほとんどがアメリカのデータで日本のデータもどうにかならんかなぁと思っていた矢先に、Dataprepが出てくれました。これなら面倒なデータの準備も楽に出来るかなと。 あと、最近になって政府が公開しているデータも細かなものになってきました。 と、いうことで国勢調査のうちの町単位で人口が入っているデータを今回はDataprepで加工して、BigQueryに入れてみたいと思います。 データを用意する ファイルをダウンロード データはこちらのサイトからダウンロードしてきました。 直近では平成27年の国勢調査はこちらでダウンロードできます。今回使うデータは出来るだけ細かいものが欲しいので、ページの一番下の方に折りたたまれている
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
