A couple of years ago, I started (read: was made) to adopt scrum in my work. I didn’t like it. The concept of estimation was vague to me: How do we estimate effort for data exploration or research? And after we move something from In Progress to Done, can we move it back? This happens often (in data science) where we need to revisit an upstream step, such as data preparation or feature engineering
GitHub - activeloopai/deeplake: Database for AI. Store Vectors, Images, Texts, Videos, etc. Use with LLMs/LangChain. Store, query, version, & visualize any AI data. Stream data in real-time to PyTorch/TensorFlow. https://activeloop.ai
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - finos/perspective: A data visualization and analytics component, especially well-suited for large and/or streaming datasets.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Combine the power of LLMs with your data to build smarter generative AI tools. VectorLink uses the context of your data to enhance an AI model’s parameterized knowledge. Do you need an AI assistant that specializes in your business? Talk to us to get you started.
Modern Data Stack - Everything that you need to know ! | Modern Data Stack
AwardsCategoriesData StacksCompaniesCompare CompaniesNewsletterCommunityLoginSignup
2. Mobility Technologies Co., Ltd. 宮澤 一之 株式会社Mobility Technologies AI技術開発部 AI研究開発第二グループ グループリーダー 経歴 April 2019 - March 2020 AI研究開発エンジニア@DeNA April 2010 - March 2019 研究員@三菱電機 March 2010 博士@東北大学 自己紹介 2 @kzykmyzw
知識ゼロからAnt と Maven と Gradle について勉強する。-ビルドの定義からツールの特徴まで | Wild Data Chase -データを巡る冒険-
知識ゼロからAnt と Maven と Gradle について勉強する。-ビルドの定義からツールの特徴まで 2019.04.06 Knowledge 前提 筆者の知識レベル 限りなくゼロ。前の職場が Ant だったけれども、用意された環境構築手順以上のことに触れなかったので知識は無い。 勉強動機 今の仕事で Gradle と Maven を使うので。 何でこの３つ？ どうせビルドツールを勉強するなら、有名な3つを比較しながら学んだ方が得るものが多いと思われたため。 ビルドツールについて ビルドって？ 対象の環境でプログラムを実行できるように、アプリケーションやライブラリを組み立てること。 ソースコードの解析、プログラミング言語から機械語へのコンパイル、ライブラリのリンクなどを経て実行ファイルを作成する。テストコードの実行なども行う。 ビルドとコンパイルの違いは？ コンパイルは「プログラミン
About CRDTs A Conflict-free Replicated Data Type (CRDT) is a data structure that simplifies distributed data storage systems and multi-user applications. In many systems, copies of some data need to be stored on multiple computers (known as replicas). Examples of such systems include: Mobile apps that store data on the local device, and that need to sync that data to other devices belonging to the
概要 Google Cloud Data Catalog で何ができるのか、Cloud Next'19 のセッションを視聴し、少し触ってみてわかったことをまとめる。 Data Discovery in Google Cloud (Cloud Next '19) (Youtube) ドキュメント (概要) ドキュメント (詳細) フルマネージドでスケーラブルなメタデータ管理サービス。 機能 UI や API でメタデータを検索・管理できる 対象のデータソースは BigQuery / Pub/Sub / GCS テクニカル メタデータ (後述) を自動で収集してくれる データソース (BigQuery のみ ?1) が作成されてから 3 秒で収集完了 UI や API で ビジネス メタデータ (後述) を登録できる メタデータへのアクセス制御ができる Cloud DLP2 を使えば PII3
三国志で学ぶデータ分析/Tutorial-on-Data-Analysis-with-Three-Kingdom
speakerdeckではハイパーリンクか機能しないため、ダウンロードしてご閲覧ください。 2019/12/9 微修正+発表時に出せなかった内容を追加 原稿 https://github.com/Gedevan-Aleksizde/Japan.R2019/blob/master/doc/manu…
目指すのは「ビジネス側とエンジニア側」という分断のないデータドリブン組織。DATA Saberに挑戦して骨太の知識を学んだ話 - asoview! Tech Blog
アソビューCPOの横峯です。 アソビューではデータを活用して事業の意思決定に活かしています。 それをより加速させるために、希望者を募りTableauユーザーに向けた無償学習プログラム『DATA Saber』へ挑戦しました。 挑戦者はCPO（私）、カンパニーCOO，マーケ分析担当、営業企画、事業企画、データ基盤エンジニアリーダー。 「ビジネス側とエンジニア側」という、一般的には分断されることの多い両方のメンバーが一緒になってデータを扱うことの意義やTableauの使い方、取り組むスタンスなどを学んだのでその話を共有させていただければと思います。 アソビューの事業モデルとデータ 弊社は「生きるに、遊びを。」というミッションのもと、遊びに特化したプラットフォームを中心に複数領域でサービスを展開しています。 サービスの全体像 すべてのプラットフォームでの遊びに関する顧客の行動データが溜まっていく仕
A public data lake for analysis of COVID-19 data | Amazon Web Services
AWS Big Data Blog A public data lake for analysis of COVID-19 data April 2024: This post was reviewed for accuracy. As the COVID-19 pandemic continues to threaten and take lives around the world, we must work together across organizations and scientific disciplines to fight this disease. Innumerable healthcare workers, medical researchers, scientists, and public health officials are already on the
Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes | Amazon Web Services
AWS Big Data Blog Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes The AWS Glue Data Catalog provides partition indexes to accelerate queries on highly partitioned tables. In the post Improve query performance using AWS Glue partition indexes, we demonstrated how partition indexes reduce the time it takes to fetch partition information during the planning phase
LastPass: DevOps engineer hacked to steal password vault data in 2022 breach
HomeNewsSecurityLastPass: DevOps engineer hacked to steal password vault data in 2022 breach LastPass revealed more information on a "coordinated second attack," where a threat actor accessed and stole data from the Amazon AWS cloud storage servers for over two months. LastPass disclosed a breach in December where threat actors stole partially encrypted password vault data and customer information
If you’ve tried your hand at machine learning or data science, you know that code can get messy, quickly. Typically, code to train ML models is written in Jupyter notebooks and it’s full of (i) side effects (e.g. print statements, pretty-printed dataframes, data visualisations) and (ii) glue code without any abstraction, modularisation and automated tests. While this may be fine for notebooks targ
UNC5537 Targets Snowflake Customer Instances for Data Theft and Extortion | Google Cloud Blog
UNC5537 Targets Snowflake Customer Instances for Data Theft and Extortion UPDATE (June 17): We have released our Snowflake threat hunting guide, which contains guidance and queries for detecting abnormal and malicious activity across Snowflake customer database instances. Default retention policies for the relevant views enable threat hunting across the past 1 year (365 days). Introduction Through
GitHub - ChartsCSS/charts.css: Open source CSS framework for data visualization.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
If you’re not on an unlimited data plan or you’re worried about blowing through your personal hotspot data cap while traveling, Low Data Mode is a feature you need to learn about. Turning on Low Data Mode limits the amount of data your iPhone or iPad will use on Wi-Fi, a cellular network, or while acting as a personal hotspot. Learn how to use Low Data Mode to save data on your iOS or iPadOS devic
第3回 データアーキテクト（データ整備人）を”前向きに”考える会 https://analytics-and-intelligence.connpass.com/event/174369/ 作成者 ：しんゆう＠データ分析とインテリジェンス ブログ ：https://analytics-and-…
Stream data to an HTTP endpoint with Amazon Data Firehose | Amazon Web Services
AWS Big Data Blog Stream data to an HTTP endpoint with Amazon Data Firehose February 9, 2024: Amazon Kinesis Data Firehose has been renamed to Amazon Data Firehose. Read the AWS What’s New post to learn more. The value of data is time sensitive. Streaming data services can help you move data quickly from data sources to new destinations for downstream processing. For example, Amazon Data Firehose
GitHub - IntelLabs/control-flag: A system to flag anomalous source code expressions by learning typical expressions from training data
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Note: See the accompanying GitHub repo for this blogpost here. ChatGPT has taken the world by storm. Millions are using it. But while it’s great for general purpose knowledge, it only knows information about what it has been trained on, which is pre-2021 generally available internet data. It doesn’t know about your private data, it doesn’t know about recent sources of data. Wouldn’t it be useful i
GitHub - armink/FlashDB: An ultra-lightweight database that supports key-value and time series data | 一款支持 KV 数据和时序数据的超轻量级数据库
FlashDB is an ultra-lightweight embedded database that focuses on providing data storage solutions for embedded products. Different from traditional database based on file system, FlashDB combines the features of Flash and has strong performance and reliability. And under the premise of ensuring extremely low resource occupation, the service life of Flash should be extended as much as possible. Fl
近年のReactのルーティングライブラリには当たり前のようにデータ取得を行うAPIが提供されています。その先駆けになったのがReact Routerでしょうか。React RouterではRemixから逆輸入される形でLoader APIが提供され、ルートごとにデータ取得を実行することができるようになりました。 それと同様にTanStack RouterにもLoader APIが存在しデータ取得を行うことができます。では、なぜルーティングに責務を持つライブラリがデータ取得のAPIを提供しているのでしょうか。 ⭐️本記事はこのLoader APIがSPAでデータ取得をする際に如何に重要な存在であるかを、2つの視点から整理することを目的とします。 はじめに ここでは以下2つの視点からLoader APIの重要性を整理します。 無駄なRequest Waterfallを防ぐ役割 ページ遷移前にP
GCPのProfessional Data Engineer試験にエンジニア実務未経験で合格した話 - Qiita
なぜ受験しようと思ったのか 4月からデータエンジニアとして働くことが決まりましたが、実務未経験だったため入社前に事前学習をしておくためです。 入社後に研修がある企業でしたが、必要な知識の全体像を把握した上で研修を受けた方が細部まで理解できると考えたので、データエンジニアリングの知識が網羅的に習得できそうな本資格の受験を決めました。 前提知識 ・エンジニアとしての実務経験は0の状態。 ・Pythonは完全に理解している() ・趣味でWebアプリ開発をしたことがある(Rails、Django、React、TS) ・趣味で機械学習の実装(KaggleやSIGNATEにチャレンジして多少の精度改善)ができるレベル ・AWSはWebアプリのデプロイで使ったことがある。(GCPの経験は0) ・仕事ではBIツールでSQLを扱っていた。(サブクエリや結合等の複雑なクエリは書けるが、クエリのパフォーマンス等
Enterprise Data Team
The GitLab Enterprise Data Team is responsible for empowering every GitLab team member to contribute to the data program and generate business value from our data assets. Welcome to the Enterprise Data Team Handbook Our Vision is to Contribute to GitLab’s journey of becoming the leading AllOps platform by responsibly harnessing the power of data. In pursuit of our vision, we will focus on 4 outcom
[アップデート] API で非同期な SQL クエリが実行できる！Amazon Redshift で Data API が利用可能になりました | DevelopersIO
[アップデート] API で非同期な SQL クエリが実行できる！Amazon Redshift で Data API が利用可能になりました 先日のアップデートで Amazon Redshift で Data API が利用可能になりました。 Announcing Data API for Amazon Redshift Data API サポートによるメリット ドライバーが不要！ 従来、Redshift クラスターに接続するには JDBC/ODBC といったドライバーを介して SQL クライアントツールで接続していたかと思います。 Data API はその名のとおり API によって SQL ステートメントを実行することが出来ますので、クライアント環境にドライバーのインストールは必要ありません。Amazon EventBridge によるイベントまたはスケジュールをトリガーとして La
![[アップデート] API で非同期な SQL クエリが実行できる！Amazon Redshift で Data API が利用可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
[レポート] Data Vault Modelling on Snowflake #SnowflakeDB | DevelopersIO
大阪オフィスの玉井です。 Snowflake社の下記のウェビナーを受講したので、レポートします。 ウェビナー情報 公式情報 概要 From insurance and banking to utilities, gaming to travel, Data Vault is gaining popularity across all industries as a methodology that claims to be the most agile and future-proof for connecting all of your data. Whether you work with complex data models or a plethora of data sources, achieving the potential of your data despite mak
![[レポート] Data Vault Modelling on Snowflake #SnowflakeDB | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/049e0cb3fd75c4238c328b0ab80dbacbbad7becb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F09%2Fsnowflake-logo-1200x630.png){kind=logo}
データ変換の強力な味方である dbt (data build tool)のmacroを書く際に関係してくる tips集です。 dbt macro tips advent calendar 2022 に掲載した内容を再編集したものです。 https://adventar.org/calendars/8127 内容はほぼほぼ変わりません。
データ分析基盤グループでデータエンジニアをしている平川です。 近年注目されてきているDataVaultに関して、全3回(予定)で記事を書かせていただく予定です。 第1回の記事では、DataVaultとは何なのか？どんな特徴があるのかを書いていきます。 参考までに、1~3回の内容を紹介しておきます。(内容は変わる可能性が大いにありますのでお許しください🙇♂️) 第1回: DataVaultってなに？どんな特徴があるの？ ← 今回はここ 第2回: dbtvaultを使って実際にDataVaultモデリングでテーブルを作ってみた 第3回: BusinessVaultの使い所や特徴的なSatelliteの利用におけるハマったところや良いところ これまでのデータモデリング手法 3NF ディメンショナルモデリング DataVaultとは何か? Hub Link Satellite モデリングにおけ
Obtain, Scrub, Explore, and Model Data with Unix Power Tools Welcome to the website of the second edition of Data Science at the Command Line by Jeroen Janssens, published by O’Reilly Media in October 2021. This website is free to use. The contents is licensed under the Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License. You can order a physical copy at Amazon. If y
DeNA では、ゲーム、スポーツ、ライブストリーミング、ヘルスケアなど多種多様な事業を展開しています。各事業では、サービスの良さを伝えるためのマーケティング施策を数多く実施しており、施策の PDCA に役立てるためのデータ分析を積極的に行っています。 本セッションでは、データ分析の多くの取り組みのうち、デジタル広告のリターゲティング配信において、BigQuery や AutoML Tables を活用した分析システムを構築して配信効率を改善した事例を紹介します。開発や運用の過程で生まれたマーケ/分析/エンジニアの各所からの要望や悩みに対して、どのように Google Cloud 各サービスを活用して解決したかをお伝えします。
Lightdash instantly turns your dbt project into a full stack BI platform. A powerful developer workflow lets analysts define key metrics, and enable self-serve for everyone else
By Zachary Thomas (zthomas.nc@gmail.com, Twitter, LinkedIn)
機械学習工学研究会の「機械学習基盤 本番適用と運用の事例・知見共有会」を開催しました | Democratizing Data
@masaru_dobashiさん共同で、機械学習工学研究会（MLSE）本番適用のためのインフラと運用WG主催の、「機械学習基盤 本番適用と運用の事例・知見共有会」をオンライン開催しました。 イベントのconnpassは以下のリンクです。 機械学習基盤 本番適用と運用の事例・知見共有会 @wakame1367さんによるツイートのまとめはこちらです。 機械学習基盤 本番適用と運用の事例・知見共有会 ツイートまとめ YouTubeの動画YouTube Liveの配信はアーカイブとして見ることができます。 当日の資料 感想今回、僕は企画とCfP系のとりまとめ、当日は配信担当をさせていただきました。当日の司会進行は土橋さんにおまかせをしてしまったのですが、いつもながら質疑応答の仕切り力は素晴らしい限りだなと思いながら聞いていました。 今回のトピックは、機械学習チームが解散したという衝撃的な話からは
Google Analytics Data API (GA4)でリアルタイムデータを取得する - NRIネットコムBlog
本記事は GA4 Week 最終日の記事です。 📈 4日目 ▶▶ 本記事 こんにちは、廣岡です。 GA4 Weekも最終日となりました。 今回はこのブログではまだ登場していない「Google Analytics Data API (GA4)」について書いていきたいと思います。 Google Analytics Data API (GA4) とは メソッド「runRealtimeReport」について 利用できる代表的なディメンションと指標 取得データ例 API Explorerを使ってデータを確認してみる さいごに Google Analytics Data API (GA4) とは Google Analytics Data API (GA4)は、GA4プロパティにアクセスし、該当のプロパティで計測されたデータを取得することを可能とするAPIです。 GA4の計測データを活用する独自の分
(PDF) Decoding the evolution and transmissions of the novel pneumonia coronavirus (SARS-CoV-2) using the whole genomic data
Background. The outbreak of COVID-19 started in mid-December 2019 in Wuhan, Central China. Up to February 18, 2020, SARS-CoV-2 has infected more than 70,000 people in China, and another 25 countries across five continents. In this study, we used 93 complete genomes of SARS-CoV-2 from the GISAID EpiFluTM database to decode the evolution and human-to-human transmissions of SARS-CoV-2 in the recent t
モダンデータスタック（Modern Data Stack）とは？ データ統合の新しいトレンド：編集部コラム データ統合の分野でMDS（Modern Data Stack）というキーワードが注目を集めています。今までの技術とどんな違いがあるのでしょうか。
FirebaseのバックエンドをGoogle Cloud SQLと接続「Firebase Data Connect」発表。AI用のベクトルサーチも可能に
FirebaseのバックエンドをGoogle Cloud SQLと接続「Firebase Data Connect」発表。AI用のベクトルサーチも可能に Googleは日本時間5月15日と16日に開催したイベント「Google I/O 2024」で、モバイルアプリケーション向けプラットフォーム「Firebase」の新機能として、バックエンドデータベースをGoogle Cloud SQLと接続する「Firebase Data Connect」を発表しました。 Firebaseが提供するバックエンドデータベースはNoSQLデータベースですが、Firebase Data Connectを利用することでFirebaseのバックエンドを通じて、Google Cloudが提供するCloud SQL Postgresデータベースサービスに接続できるようになります。 これによりクライアントアプリケーション
Python で OAuth 2.0 認証を通して YouTube Data API を叩いてみた | DevelopersIO
はじめに テントの中から失礼します、CX事業本部のてんとタカハシです！ 以前、下記の記事で、私の YouTube チャンネルに関するデータの集計結果を記載しました。 データの集計には、YouTube Data API を使用しました。YouTube Data API を使用するためには、OAuth 2.0 か API キーで認証を通す必要があります。自分のチャンネルに関するデータの取得や操作を行う場合は、OAuth 2.0 による認証が必要です。 今回は、OAuth 2.0 による認証を通して YouTube Data API を叩くまでの手順を記載します。コード自体は Python で書いていきます。 YouTube Data API の概要や、どんな機能があるかについては、公式で日本語のドキュメントが用意されているので、そちらをご参照ください。 YouTube Data API - Y
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
What I Love about Scrum for Data Science
TerminusDB - Made for developers who see the value of data
Data-Centric AIの紹介
About CRDTs • Conflict-free Replicated Data Types
Google Cloud Data Catalog とは - Qiita
Coding habits for data scientists
How to Use Low Data Mode on Your iPhone or iPad
最低限これだけは整備しておいた方がいいこと / maemuki-data-seibinin03
Tutorial: ChatGPT Over Your Data
なぜルーティングにData Fetchの責務（Loader API）があるのかを考える
dbt (data build tool) macro tips
Data Vault モデリングのご紹介 - Safie Engineers' Blog!
Welcome | Data Science at the Command Line, 2e
DeNA のマーケティングを支えるデータ分析/gc_saas_Data analysis
Lightdash | Self-serve BI to 10x your data team
The Best Medium-Hard Data Analyst SQL Interview Questions
モダンデータスタック（Modern Data Stack）とは？ データ統合の新しいトレンド