Google Cloudデータエンジニアのはんざわです。 現在開催中のGoogle Cloud Next'24でBigQuery data canvasという新機能が追加されました。 本記事では早速この新機能を触ってみたいと思います! BigQuery data canvas とは? BigQuery data canvasは、データソースの選択、クエリの実行、可視化をDAGで操作できる分析用のインターフェイスです。 また、Geminiのサポートにより、自然言語を使用したデータの検索やSQLの作成、グラフの生成も行うことが可能です。 BigQuery data canvasの公式ドキュメント それでは早速触ってみたいと思います! 注意 2024年4月10日時点でBigQuery data canvasはprivate プレビューで、使用するためにはRequest BigQuery data
はじめに この記事は、プログラミングにおいて特に難しいことの1つである「並行処理」に関する記事です。特に、「並行処理」を行うときに意図せず発生させてしまいやすい「data race」について書きます。data raceがどのような驚くべき問題を引き起こすかを、簡単に動かせるサンプルコードで具体的に見ていきます。 すべてのサンプルコードにplaygroundがついていますから、とりあえず気軽に動かしてみるだけみたいな読み方もできます。むしろそれがおすすめかもしれません。 プログラム言語としてGoを使いますが、内容的にはGoに限らず当てはまると思います。ただし、data raceに関してはプログラム言語ごとに微妙なアプローチの違いがあるので、それについては最後に少しだけ補足します。 ところで、ソフトウェア開発では、data raceを一切発生させない状態を目指すべきだと筆者は考えています。Da
G-gen の杉村です。Google Cloud のメタデータ管理ツールである Data Catalog を解説します。 概要 Data Catalog とは Data Catalog の機能 データカタログの利点 メタデータとは データ検索機能 検索方法 クエリの構文 メタデータ管理機能 Data Catalog が自動収集するメタデータ Google Cloud 以外のカタログ化 テクニカルメタデータとビジネスメタデータ テクニカルメタデータ ビジネスメタデータ Data Catalog のオブジェクト エントリとエントリグループ Data Catalog におけるタグ データの自動登録 (Discovery) データリネージ データリネージとは BigQuery の自動トラッキング 保持期間 OpenLineage との統合 料金 API コール データリネージ アクセス制御 (IA
AWS Compute Blog Efficiently processing batched data using parallelization in AWS Lambda This post is written by Anton Aleksandrov, Principal Solutions Architect, AWS Serverless Efficient message processing is crucial when handling large data volumes. By employing batching, distribution, and parallelization techniques, you can optimize the utilization of resources allocated to your AWS Lambda func
AWS Security Blog Data masking and granular access control using Amazon Macie and AWS Lake Formation Companies have been collecting user data to offer new products, recommend options more relevant to the user’s profile, or, in the case of financial institutions, to be able to facilitate access to higher credit lines or lower interest rates. However, personal data is sensitive as its use enables id
昨今、社会全体が流体的なものとなりつつあり、新しい消費行動としての「リキッド消費」が普及しています。今までの物質の購入・所有し、消費する「ソリッド消費」に対し、リキッド消費は短期サイクルかつ所有を前提としない消費行動(サブスクリプションなど)を指すものです。本サイトは、生活者にカテゴリごとのリキッド消費傾向を聴取し、結果をビジュアライズ化したものです。 ※PC専用コンテンツです。 Nowadays, as society as a whole becomes ever more fluid, a new type of consumer behavior called liquid consumption is spreading. Compared to solid consumption, which is the conventional purchasing, owning and
WEELメディア事業部LLMリサーチャーの中田です。 3月14日、最先端のオープンソース自律型エージェント「Data Interpreter」を、MetaGPTが公開しました。 このツールを用いることで、以下のように「NVIDIAの株価予測のためのPythonコーディング」を簡単に行えるんです! Do the Data Analysis and ML Modeling: Nividia Stock Prediction pic.twitter.com/s1ZjYUWSfJ — MetaGPT (@MetaGPT_) March 14, 2024 Introducing MetaGPT's Data Interpreter: Open Source and Better "Devin". Data Interpreter has achieved state-of-the-art score
Using the Overpass API to read OSM data, parsing the data with Rust, and then drawing the map onto HTML5 canvas. I'm working on a revamp of an old project of mine called Line Buddy (github). It used a now-deprecated API library called themeparks (github) and A-Frame to visually represent the wait times in the Disney World theme parks in 3D. The original project used OpenStreetMap screenshots as th
モダンデータスタック カテゴリ紹介 #3 『Data Modelling and Transformation(データモデリング&データ変換)』 – Modern Data Stack Categories Overview Advent Calendar 2023 当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 3日目のエントリです。 Modern Data Stack Categories Overviewのカレンダー | Advent Calendar 2023 - Qiita Modern Data Stack Categories Overview Advent Calendar 2023 の記事一覧 | DevelopersIO データ分析、データを扱う世界では昨今『モダンデータスタック(Mo
この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint"の 25 週目の記事です! 1 年間連続達成まで 残り 28 週 となりました! はじめに ログラスの小林(@mako-makok)です。 ご存知の方も多いと思いますが、Kotlin で data class 宣言をすると、copy というメソッドがそのクラスに対して自動生成されます。 この data class は便利な反面、様々な問題があり、copy メソッドをどうにかして隠したいというニーズがあります。 今回は ArchUnit を使ったアプローチをご紹介します。 Kotlin の data class 宣言で自動生成されるメソッド 改めて、Kotlin には data class という機能があります。 data class で宣言するだけで自動的にequals, hashCode, to
(August 22, 2024) WikiChat 2.0 is now available! Key updates include: Multilingual Support: By default, retrieves information from 10 different Wikipedias: 🇺🇸 English, 🇨🇳 Chinese, 🇪🇸 Spanish, 🇵🇹 Portuguese, 🇷🇺 Russian, 🇩🇪 German, 🇮🇷 Farsi, 🇯🇵 Japanese, 🇫🇷 French, and 🇮🇹 Italian. Improved Information Retrieval Now supports retrieval from structured data such as tables, infoboxes
某コミュニティにて Data Contract に関して議論する際に書き下したメモを本記事で公開します。本業でも特にデータプロダクトをビジネスに共有する際に Data Contract に類似する概念の必然性を感じています。 概要 Data Contract (データコントラクト)は、オーナーシップがはっきりしたデータ送付側とデータ受領側の2つの間でデータをやり取りする際に交わされる契約。 データ送付側が、データを送付する際に満たすべき要件を記述したもの。記述にはデータスキーマ、品質要件、などが含まれる。Data Contractを満たさないデータは送付できなくする。 以下は、Pay PalのData Contractの例をオープンソース化したもの。実際のData Contractがどういうものか参考になる。あくまでData Contractの内容をスキーマとして表現したものであり、データ
IntroductionEarlier this summer Netflix held our first-ever Data Engineering Forum. Engineers from across the company came together to share best practices on everything from Data Processing Patterns to Building Reliable Data Pipelines. The result was a series of talks which we are now sharing with the rest of the Data Engineering community! You can find each of the talks below with a short descri
こんにちは!LayerX バクラク事業部 機械学習・データ部 データチームの石橋(@saaaaaaky)です。 Looker Studioのカスタムクエリが1日300回以上実行される課題 弊社ではBIツールとしてLooker Studioを利用しています。 データマートがまだまだ整備できていないので、Looker StudioからGoogleのBigQueryに接続し、カスタムクエリをデータソースとしてダッシュボードが作成されています。 ダッシュボードが閲覧される毎やパラメータの変更をする毎にクエリが実行されるため、よく見られているダッシュボードだと同じクエリの実行数が1日に300回ほどになるものも存在しました。 スキャン量での課金であることと、単純にクエリが実行されることでダッシュボードの表示速度も遅くなり作業効率も落ちてしまいます。 ヒアリングしたところ、リアルタイムのデータが必要とさ
はじめに データアナリティクス事業本部の大谷(おおや)です。 ついにData Wrangler Extension for Visual Studio Code(以降Data Wrangler)がプレビュー版から正式版になりました! この記事では、前回紹介できなかった、ファイルからData Wranglerを起動する方法についてまとめていきたいと思います。 Data Wrangler とは VSCode および VSCode Jupyter Notebook で、データの表示や分析を直感的に行うことができるようになる VSCode の拡張機能です。 セットアップ インストール方法や、ランタイムの設定などは前回記事をご確認ください。 実践 ファイルから Data Wrangler を開く方法は3パターンあります。 それぞれ確認していきましょう。 1. VSCode のエクスプローラー上で右ク
今回は「「TECROWD(テクラウド)」」の新しいファンド 「TECROWD60号ファンド 想定利回り9.5%!運用期間12か月 Wyoming Data Center」について紹介します。 今回は、アメリカ・ワイオミング州におけるデータセンター開発プロジェクトに投資するファンド! 想定利回り9.5%と高い水準で運用期間も12ヶ月と長くありません! 本ファンドは、20,274.8㎡ の土地に、DCを建築するもので、本ファンドでは、土地取得から建築確認取得および造成工事までの資金を募集し、造成後の土地引き渡し時に得られるキャピタルゲインを原資として配当を行います。 募集開始は、2024年4月4日18時から!
Today we're excited to announce that the Obsidian Canvas file format is now called JSON Canvas and has its own site, specification, and open source resources at jsoncanvas.org. JSON Canvas can be implemented freely as an import, export, and storage format for any app or tool. All the resources associated with JSON Canvas are open source under the MIT license, and can be found on GitHub. For the re
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 データ分析に於いて、「データオーケストレーション(Data orchestration)」という分野、カテゴリが存在します。端的に言うと「サイロ化されたデータを複数のストレージから一元化されたリポジトリに移動させ、そこで結合、クリーニング、エンリッチ化し、アクティブ化(ビジネス・インテリジェンス・ツールでのレポート作成など)するプロセス」(端的じゃなかった...) という定義となるのですが、2024年03月05日(火)に開催された『Data Engineering Study #23』にてこの「データオーケストレーション(Data orchestration)」を特集するということでイベントに参加(オンライン視聴)しました。 当エントリでは、その参加(視聴)内容についてざっくりではありますがレポ
角田裕毅(RBフォーミュラ1)が2024年のF1ハンガリーGP予選でクラッシュした際に記録された衝撃は68Gに及んだ。これはおそらく、F1で発生した事故としては、記録が残されている中でトップ10に入る水準と考えられる。 例えば火災に至ったことで有名な2020年のバーレーンGPでのロマン・グロージャンの事故は67G、精密検査のためにマックス・フェルスタッペンが病院に搬送された2021年のイギリスGPでの事故は51Gだった。 68Gという衝撃は、角田裕毅の体重が55kgと仮定すると、少なくとも瞬間的に3.74トンもの力が身体に加わったということを意味する。 身体にこれほど大きな負荷を受けたにも関わらず角田裕毅はその翌日に、ラップを通して一息つく暇がない灼熱のハンガロリンク(気温30.5~35℃、路面温度40~50.1℃)で100分近くに渡ってステアリングを握り、繊細なタイヤを誰よりも上手く労り
By XZ Tie, Nathan Louie, Thomas Chow, Darin Im, Abhishek Modi, Wendy Jiao In the past three years Notion’s data has expanded 10x due to user and content growth, with a doubling rate of 6-12 months. Managing this rapid growth while meeting the ever-increasing data demands of critical product and analytics use cases, especially our recent Notion AI features, meant building and scaling Notion’s data
はじめに PyAirbyteがリリースされました。(2024/03/16時点ではBeta版なのでご注意を) PyAirbyteはExtractのコネクタ部分をPythonのライブラリとして提供してPandasに格納するという機能を提供しているらしい。 つまり、BigQueryのクライアントと合わせればExtractとLoadの部分を過疎結合にしつつ、スケジューラーでPythonを呼び出すだけのシンプルなData Injest Pipelineを作ることが可能なのでは!?ということで検証します。 個人的に考えるData Injestツールの抱える課題点 FivetranのようなSaaSを使い始める際は規約確認や、契約がとても面倒 Airbyteは契約関連の面倒な部分は無いが、運用工数が大きすぎる worker, sever, temporal, api, dbなどなど(ちゃんと拡張性を考えて
本記事は、某コミュニティで Data Observability について議論するために書き下したメモです。もし Data Observability について議論されたい方は気軽にコメントください。 概要 Data Observability を直訳するとデータの可観測性。あくまでデータを観測できるようにする技術分野であって、 Data Observability すなわち、データ品質ではない。 本来の意味合いは、外部から観測可能な出力を使って、複雑なシステムの内部状態や振る舞いを観測可能にすること。それにより、対象システム(あるいはデータ)をより理解できるようにする。よく理解できるようにした結果、データの品質やパフォーマンスの最適化などの取り組みを楽にできる場合がある。ただし、ツールやサービスを入れると自動的に実現できるわけではない。 語源は制御工学分野の Observability
Product { this.openCategory = category; const productMenu = document.querySelector('.product-menu'); window.DD_RUM.onReady(function() { if (productMenu.classList.contains('show')) { window.DD_RUM.addAction(`Product Category ${category} Hover`) } }) }, 160); }, clearCategory() { clearTimeout(this.timeoutID); } }" x-init=" const menu = document.querySelector('.product-menu'); var observer = new Muta
Working together to create open-source and private datasets for AI training. We are introducing OpenAI Data Partnerships, where we’ll work together with organizations to produce public and private datasets for training AI models. Modern AI technology learns skills and aspects of our world — of people, our motivations, interactions, and the way we communicate — by making sense of the data on which
生成AIにETLジョブ作らせてみた。-Amazon Q data integration in AWS Glue-AWSDatabaseglueETL生成AI 1. はじめに ※この記事は、慎重な検証を行った結果に基づくものではなく、参考情報として提供されています。そのため、内容を鵜呑みにせず、自身で確認や検証を行っていただくことをお勧めします。ご理解のほど、よろしくお願いいたします。 Amazon Q data integration in AWS Glueがプレビューされました(2024/01/30)。 Amazon Q とAWS Glueが統合されたことによって、ETLジョブ作成に関する学習時間や労力の削減が期待できます。具体的な機能としては以下の二つです。 i.生成AIに自然言語で質問すると、回答してくれる。 Bedrockベースの生成AIがAWSのドキュメントを参照してより専門的
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 本記事から週に1回程度の頻度で、社内で実施している生成AI・LLMに関する論文レビュー会の内容をピックアップのうえ配信していきますので、ぜひご期待ください。 今回は、LLMの学習や推論の効率化・高速化に関する4つの技術論文をご紹介させていただきます。 目次 LLM論文レビュー会とは 今回のテーマ A Survey of Quantization Methods for Efficient Neural Network Inference 選定理由 論文概要 量子化の基本的な手
ファイルのアップロード時などにmultipart/form-data形式を使用することが多いと思います。 Go言語では標準ライブラリのmime/multipartパッケージを使ってパースができます。 しかし、実はmime/multipartパッケージには落とし穴があり、気を付けないと速度低下やメモリ使用量増加につながります。 この記事では、traPでのサービスでのファイルアップロード速度の改善のためにFormStreamというライブラリを作り、multipart/form-dataを高速かつ省メモリなパースを簡単に実現した話をします。 traP Collection traP CollectionはtraPでサークル内で開発されたゲームの販売・展示を行うゲームランチャーです。 知っている方はSteamをイメージするとわかりやすいのですが、部員が開発したゲームをアップロードするとランチャーを
Toyota confirmed that customer data was exposed in a third-party data breach after a threat actor leaked an archive of 240GB of stolen data on a hacking forum. "We are aware of the situation. The issue is limited in scope and is not a system wide issue," Toyota told BleepingComputer when asked to validate the threat actor's claims. The company added that it's "engaged with those who are impacted a
Undo and redo have been a staple operation of text editors probably since the first typo was ever made, yet there has not been a lot of innovation around refining the idea of what undo and redo could be. Let’s explore what I mean… On The Subject of Undo Undo In order to understand how to change undo we first need to understand what the fundamental operation of ‘undo’ is supposed to do. I have alwa
さがらです。 Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。 そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。 ※注意事項:記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。 Modern Data Stack全般 Google Cloud Next '24が開催中 現地時間の2024年4月9日~11日に、Google Cloud Next '24が開催されています。 データ分析基盤に関連するところだと、Gemini in Looker、Gemini in BigQuery、Gemini in Lookerなどの発表が該当すると
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く