Google Cloud、SQL文で機械学習ができる「BigQuery ML」を提供開始
Googleは2018年7月25日（米国時間）、Google Cloud Platform（GCP）で、ユーザーがSQL文を書くことにより機械学習が実行できる「BigQuery ML」を、ベータ版として提供開始したと発表した。 Googleは2018年7月25日（米国時間）、Google Cloud Platform（GCP）で、ユーザーがSQL文を書くことにより機械学習が実行できる「BigQuery ML」を、ベータ版として提供開始したと発表した。 Googleは新機能を、同社がGCPで進める「AIの民主化」の一環だと説明した。「データを活用した機械学習あるいは予測分析が、RやPythonの書ける人たちだけしかできないのでは、人材不足を解消できず、ビジネスの現場における機動的なデータ活用も妨げられる」としている。 GoogleはAIの民主化への取り組みとして、「Cloud AutoML」
アプリ開発をするなら使いたいおすすめサービス集 - pixiv inside
こんにちは、創作物のC to C ECサービス『BOOTH』のスマートフォンアプリ(以下BOOTHアプリ)ディレクターを担当しているwatasukeです。 私は2017年4月に入社して、当時開発中だったBOOTHアプリを担当することになりました。(8月中旬にリリースされています！ぜひダウンロードしてください。) ■BOOTHアプリ アプリのディレクションをするのは初めてでしたので、アプリの世界観や技術・周辺サービスを調査するところからはじめましたが、これが意外と難航しました。 アプリは新しい形態であるためか、「Webのアクセス分析だったらGoogle Analytics」というような「とりあえずこれ」というものがわかりにくいように思います。一方で、市場規模や期待度、開発コストは非常に大きいので、小さく失敗することもしにくく、なかなか悩まされました。 そこでこの記事では、いろいろなサービスを
メルカリのデータサイエンスチームと分析エコシステムのはなし | メルカリエンジニアリング
※各プロダクト名の頭の”Google”は省略しています ※もちろん実際にはGoogle社のツール以外にも様々な分析用プロダクトが使われています 各ツールの詳細についてはWeb上の良質な情報がたくさんあるので、説明はそちらに譲るとして、ここではそれぞれの簡単な特徴とメルカリでの活用の仕方について主に述べていきます。 ◆ 1.BigQuery “弊社分析の中核的存在” 利用シーン： データの集計 どんなツールか Google BigQuery SQLの超速いやつ どんな大きなデータでも、複雑なクエリでも、高速で結果を返してくれる頼れるアニキ メルカリの分析での使い方 速いは正義 メルカリは多くのユーザを抱えているため、そのログデータも非常に巨大です。 そのため、通常のSQLでは計算に時間がかかりすぎるということが多々発生します。 BigQueryは とにかく「高速」の一言。なのでトライアンドエ
BigQueryとスプレッドシートとGASと。 - Qiita
BigQueryのフロントエンド BigQueryを使っていてフロントエンドのアプリケーションは何を使っているのか良く聞かれる。もちろん、BigQueryのwebインターフェイスでクエリを作って、CSVでダウンロードとかも良いと思うのですが、やっぱりちょっと違うなぁと。 どんなものがあるのでしょうか？ BigQueryの公式にはこんなものがありました。 https://cloud.google.com/bigquery/third-party-tools?hl=ja Tableau Googleの中の人も使ってるぐらい良いものです。 私自身も何度か使っているのですが、やっぱり良いです。ただし、複雑なことしたいなぁと思うととんでもなく遅くなったり。 後ほど書きますけど、Viewなんかで回避すれば良いし、ローカル（もしくはサーバ）にキャッシュデータを持っておけばかなり使えます。便利だし、可視化
BigQueryで150万円溶かした人の顔 - Qiita
※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使
100倍で考える - Preferred Networks Research & Development
私が最近強く印象に残った言葉が10倍で物事を考えるです[wired]。 これが私の記憶の中で拡大解釈され、今は100倍で物事を考えるようになっています。 「100倍」というのは一見すると不可能なことの例えのように思えますが、決してそんなことはありません。 どの程度現実的か例をあげて考えてみましょう。 DWH（DBと考えても良いです）という分野を考えてみます*1。 *1 この分野は専門家ではないのであくまで外から見ている素人の意見です。 2014年10月現在 Google BigQueryは1GBの保存に月あたり 約3円、クエリ時1TBスキャンあたり500円という価格設定です。基本的なDBの操作は全部できて、その上でユーザーが自由に関数を定義できて、画面とつながって結果が数十秒で返ってきてです。これはこの分野を知る人にとっては衝撃的な価格です。 1昔前、DWHの世界では製品が数千万から数億円
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHubのすべてのオープンソースプロジェクトがGoogle BigQueryで検索可能に
BigQuery が Google Drive と統合
TechCrunch | Startup and Technology News