［速報］BigQueryが非構造化データのサポートを発表。これで構造化データ（RDB）、半構造化データ（JSON）、非構造化データをサポート。Google Cloud Next '22
Google Cloudは、開催中のイベント「Google Cloud Next '22」において、大規模データ分析サービスのBigQueryで非構造化データのサポートを発表しました。 BigQueryは今年1月にJSON型データへのネイティブ対応をパブリックプレビューとして公開しています。 参考：BigQueryがJSONにネイティブ対応。SQLでJSONに対するクエリが可能に これでBigQueryは今回の非構造化データのサポートにより、RDBのテーブルに格納された構造化データと、JSONなどによる半構造化データそして非構造化データの3つをすべてサポートする柔軟な大規模データ分析基盤になるわけです。 Google Cloud Storageバケットのテーブル形表現 BigQueryの非構造化データサポートはObjectテーブルによって実現され、画像や動画、音声、テキストなどのデータが扱
「スケールアウトできる『PostgreSQL』」――Yugabyte Japanに聞く「分散SQLDB」のメリット
「スケールアウトできる『PostgreSQL』」――Yugabyte Japanに聞く「分散SQLDB」のメリット：「Distributed SQL Summit Asia」の模様をレポート なぜ「分散SQLDB」が注目を集めているのか。日本国内における分散SQLDBの普及に注力しているYugabyte Japanに「分散SQLDB」とその利点を伺いました。記事後半では2022年3月に開催されたアジア圏向けイベント「Distributed SQL Summit Asia」の内容を紹介します。 本連載第4回では、DBエンジニアの祭典「db tech showcase」のイベントレポートをお届けしました。同イベントで多くのデータベース（DB）が紹介された中でも、分散DBのトピックが注目を集めている印象を受けました。 そこで今回は、日本国内における分散SQLDBの普及に注力しているYugabyt
GoogleがBigQueryを安価に提供できる理由は、Borgによる大規模分散コンテナ環境があるから
GoogleがBigQueryを安価に提供できる理由は、Borgによる大規模分散コンテナ環境があるから いまから6年前の2014年、当時ようやくDockerコンテナが世の中に知られるようになってきた頃、Googleはすでに社内のすべてのソフトウェアをコンテナ化しており、毎週20億個ものコンテナをクラウド上で起動していると発表し、多くのエンジニアを驚かせました。 この大規模なコンテナの制御、すなわちオーケストレーションを行っていたのが同社内で「Borg」と呼ばれるソフトウェアです。 そしてKubernetesはこのBorgを基に、Googleがオープンソース化したコンテナオーケストレーションソフトウェアだとされています。 Borgの大規模分散コンテナ基盤でBigQueryが成立する このBorgによる大規模分散コンテナ基盤があるからこそ、BigQueryが安価に提供できるのだと、Google
The History of Distributed Databases - Google, Amazon, Facebook など巨大企業による分散データベース技術の発展 | Wantedly Engineer Blog
こんにちは、Wantedly の Infrastructure Team で Engineer をしている南（@south37）です。 今日は、WANTEDLY TECH BOOK 5 から「巨大企業による分散データベース技術の発展」という章を抜粋して Blog にします。 「WANTEDLY TECH BOOK 1-7を一挙大公開」でも書いた通り、Wantedly では WANTEDLY TECH BOOK のうち最新版を除いた電子版を無料で配布する事にしました。Wantedly Engineer Blogでも過去記事の内容を順次公開予定であり、この Blog もその一環となっています。 Wantedly における Go 導入にまつわる技術背景 | Wantedly Engineer Blog （本記事は Go Conference 2019 Autumn にて無料配布した冊子『WANT
Apache Pinot™
Insights, Unlocked in Real Time.Apache Pinot™: The real-time analytics open source platform for lightning-fast insights, effortless scaling, and cost-effective data-driven decisions. Originally developed at LinkedIn, Apache PinotTM is a real-time distributed OLAP datastore, purpose-built to provide ultra low-latency analytics at extremely high throughput. With its distributed architecture and colu
BigData-JAWS 勉強会#11「Snowflake、Cloudera&EMR比較、re:Invent 2017まとめ」参加レポート #bdjaws | DevelopersIO
はじめに こんにちは、yokatsukiです。ビッグデータをテーマに扱うJAWS-UGの支部、"BigData-JAWS"の第11回目の勉強会が2018年2月6日、目黒にあるアマゾンウェブサービスジャパンのセミナールームで開催されました。 BigData-JAWS 勉強会#11 こちらの参加レポートをお伝えします。 ※発表スライドは後日BigData-JAWSのGitHubに公開される予定です。 1.オープニング・支部の説明 (10分） 発表者：株式会社リクルートテクノロジーズ データテクノロジーラボ部 北沢 匠さん BigData JAWS勉強会とは NTTドコモさん、AWSさんにご協力いただき、1〜2ヶ月おきに実施している勉強会 参加条件は、「AWSを使ってビッグデータ処理をしている人、しようとしている人」 AWS上のシステムでなくてもO.K. メインは別でもデータはS3にある、と
グーグル、「BigQuery」と「Kaggle」を統合
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間6月24日、エンタープライズ向けデータウェアハウスの「BigQuery」に「Kaggle」を統合したとGoogle Cloudブログ上で発表した。Kaggleは、データ科学者らが使用する「Jupyter」ノートブックを手がける企業であり、2017年3月にGoogleによって買収されている。 この統合によって、BigQueryの顧客は高速なSQLクエリと、SQLによる機械学習（ML）モデルの訓練、KaggleのJupyterノートブック環境「Kaggle Kernels」を用いた分析が可能になる。 BigQueryとKaggleの統合によって以下の利点がもたらされる。 ビッグデータに対するクエリや分析を1カ所から実行
Amazon Auroraで組み合わせ自由なエンドポイントが設定可能になりました ｜ DevelopersIO
大栗です。 Amazon Auroraのエンドポイントにはクラスタエンドポイント、リーダーエンドポイント、インスタンスエンドポイントの3種類がありましたが、組み合わせを変更できるカスタムエンドポイントが利用可能になったのでレポートします。 Announcement: Amazon Aurora Simplifies Workload Management with Custom Endpoints Using Custom Endpoints カスタムエンドポイント 概要 Auroraは同じインスタンスでもフェイルオーバーなどでロールが変化するため、ロールごとにアクセスするためのエンドポイントがありました。 クラスターエンドポイント: ロールがWriterのインスタンスへアクセスするエンドポイント 読み込みエンドポイント: ロールがReaderのインスタンスへアクセスするエンドポイント イ
Announcing Managed CockroachDB: The geo-distributed database as a service
This week we’re pleased to announce the availability of Managed CockroachDB, the fully hosted and fully managed service created and run by Cockroach Labs that makes deploying, scaling, and managing CockroachDB effortless. Managed CockroachDB is cloud agnostic and available at launch on both AWS and GCP. The goal is simple: allow your development team to focus on building highly scalable applicatio
Why Microsoft’s Cosmos DB may displace AWS’s cloud databases
Why Microsoft’s Cosmos DB may displace AWS’s cloud databases Cosmos DB’s all-in-one-approach seems to be what developers really want, rather than an array of specific tools like AWS DynamoDB, Redshift, and Aurora You might have gone into an alcohol-induced hibernation over the holidays, but cloud databases did not. More specifically, the cumbersomely named Microsoft Azure Cosmos DB did not, rocket
[db tech showcase Tokyo 2018] Azure Cosmos DB Technical Deep Dive ～グローバル分散型マルチ モデル データベース サービスを使い...
グーグル、ビッグデータ解析プラットフォームにイーサリアム追加
グーグルクラウドのチームは29日、企業向けビッグデータ解析クラウドサービスBigQueryで、イーサリアム（ETH）のデータセットを正式に使用できるようにしたと発表した。 公式ブログで明らかにした。イーサリアムのブロックチェーンデータは、データセットに掲載され、毎日更新される。このツールは、ビジネスの意思決定、イーサリアムのアーキテクチャ自体の改善（たとえば、更新の準備）の優先順位付け、バランスシートの調整などに役立つように作成された。 グーグルの説明のように、イーサリアムのブロックチェーンには、トランザクションステータスのチェック、ウォレットの残高の確認などのランダムな機能のAPIが含まれている。しかし、APIエンドポイントには簡単に到達できない。ここで、BigQueryのOLAP機能が、こうしたタイプのデータを集約して視覚化するのに役立つ。 Screenshot of Ethereum
トヨタ自動車も活用する「Azure Cosmos DB」、開発スピードが速くなる秘密とは
昨今、IT活用が一般化し、多くの企業でIoT（Internet of Things）やAI（人工知能）といった技術が使われるようになった。一方で、スマートフォンやIoTデバイスから無尽蔵にデータが集まるようになりつつある。特にグローバル企業にとっては、世界中から集めたデータを、どのように蓄積し、どうやって効率的に活用するかを考える必要がある。 そこで現在注目されるのがMicrosoftのグローバル分散データベースサービスである「Azure Cosmos DB」（以下、Cosmos DB）だ。本稿では、Microsoft Program Management Azure Cosmos DB Senior Program ManagerのAleksey Savateyev氏に、Cosmos DBの特長や他のデータベースサービスとの違い、最適な利用例について話を聞いた。 グローバルスケールで低遅
Flare - An Accelerator for Apache Spark
Flare Scale up Apache Spark with Native Compilation and set your Data on Fire! We're now accepting applications for our private beta program. Set your Data on Fire Flare is a drop-in accelerator for Apache Spark that achieves order of magnitude speedups on DataFrame and SQL workloads. From Spark to Flink July 18, 2019 On Stack Replacement: A Quick Start with Tiered Execution January 23, 2019 Publi
Apache Calcite • Dynamic data management framework
Standard SQL Industry-standard SQL parser, validator and JDBC driver. SQL → Query optimization Represent your query in relational algebra, transform using planning rules, and optimize according to a cost model. Relational algebra → Any data, anywhere Connect to third-party data sources, browse metadata, and optimize by pushing the computation to the data. Adapters →
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Using sql function generate_series() in redshift
【検証】Oracle ADWとAWS Redshiftを比較してみた！！ - ZEAL公式ブログ
What’s happening in BigQuery: integrated machine learning, maps, and more | Google Cloud Blog
グーグルのDWHが機械学習に対応、「BigQuery ML」を発表
GoogleのBigQueryの中で機械学習のモデルを作れるBigQuery ML…データの移動が要らない
