BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方｜ハイクラス転職・求人情報サイト AMBI（アンビ）
ハイクラス求人TOPIT記事一覧BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 Googleの高度な技術を利用できるGoogle Cloudにおいて、BigQueryは大規模データをスケーラブルに分析できるフルマネージドなデータウェアハウスとして提供されています。株式会社タイミーでデータエンジニアを務める土川稔生さんが、初心者向けのハンズオンとともにBigQueryの基本を解説します。 はじめまして。株式会社タイミーでデータエンジニアをしている土川（@tvtg_24）です。 タイミーでは、Google Cloudのデータ分析サービスであるBigQueryを中心に、データ基盤を構築しています。BigQu
Amazon OpenSearch Serverless による手軽なログ分析 | Amazon Web Services
Amazon Web Services ブログ Amazon OpenSearch Serverless による手軽なログ分析 この記事は、Log analytics the easy way with Amazon OpenSearch Serverless を翻訳したものです。 先日、Amazon OpenSearch Service の新しいサーバーレスオプションである Amazon OpenSearch Serverless が発表されましたが、これにより OpenSearch クラスターを構成、管理、スケールする手間なく大規模な検索および分析ワークロードを容易に実行することができます。非常に要求が厳しく予測不可能なワークロードに対しても高速なデータ取り込みとクエリ応答を実現するために、基盤となるリソースを自動的にプロビジョニングし、スケールします。 OpenSearch Serv
お前らのpandasの使い方は間違っている - Qiita
この記事は株式会社Nuco Advent Calendar 2022の9日目の記事です。 はじめに いきなりお馴染みの「キャッチーでウィットでセンセーショナルな」タイトルで失礼します。 私自身、業務の中でpandasに大変お世話になっており、自戒も込めてpandasの「アンチパターン」をまとめてみました。 この記事を読んで、より快適なpandasライフを送っていただけると嬉しいです。 対象読者 Pythonを使ったデータ分析や機械学習に携わる方 この記事はpandasの基本的な使い方を解説するものではないので注意してください。 表形式ファイルを加工する必要がある方 pandasの強みはリレーショナルなデータ全般です。必ずしもデータ分析や機械学習だけが守備範囲ではありません。 pandasとは pandasの公式ドキュメントの概要には、以下のように記載してあります。 pandas is a
AIシステム設計思想の新トレンド「データ中心のAI」入門 | AI専門ニュースメディア AINOW
はじめに 2021年頃から「データ中心のAI」という新しいAI開発思想が提唱されるようになりました。この記事では、従来の「モデル中心のAI」の問題点を確認したうえでデータ中心のAIの概要と動向をまとめて、データ整備に関する具体的なノウハウを紹介します。 92%のAI実務家が遭遇した「データカスケード」問題 従来のAI研究開発において重視されてきたのは、AIシステムの中核となる（機械学習モデルのような）AIモデルでした。AI開発者はAIシステムの精度を目標値まで向上させるために、AIモデルに対してさまざまな技法を駆使するのが慣わしでした。 こうしたなか2021年5月、Googleの調査チームは今まで当たり前に考えられたきたAIモデル中心の開発思想を批判的に検討した論文『「誰もがデータではなくモデルについての仕事をしたがっている」：ハイステークスAIにおけるデータカスケード』を発表しました。同
Dataformでデータ分析基盤を整備した話 - Adwaysエンジニアブログ
こんにちは佐藤です。 今回はサービスのデータ分析基盤を作成する際に使用したDataformについて紹介させていただきます。 背景 Dataformについて 導入して良かったこと 依存関係がわかりやすい クエリのテスト 工夫した点 フォルダの構成について データセット名、テーブル名について シャーディングテーブルの定義について 最後に 背景 現在、広告部署に所属する私たちのチームは自社のサービスデータと外部データを分析してユーザーの利用率向上につながる仮説検証をおこなうプロジェクトを進めています。 その中で様々なデータをTableauを用いて分析しており、データソースとして主にBigQueryを使用しているのですが、現状、分析データの加工、集計処理についてBigQueryのスケジュールされたクエリで作成したりtableau側のカスタムクエリで作成したりと対応方法がバラバラで管理自体ができてい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
