Amazon Kinesis Data Analytics から名称が変更された Amazon Managed Service for Apache Flink の発表 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Data Analytics から名称が変更された Amazon Managed Service for Apache Flink の発表 8月30日、Amazon Kinesis Data Analytics の名称が Amazon Managed Service for Apache Flink に変更されたことをお知らせします。これは、Apache Flink を使ってリアルタイムのストリーミングアプリケーションを構築および実行するためのフルマネージドのサーバーレスサービスです。 進行中の運用、開発、またはビジネスユースケースに影響を与えることなく、同じエクスペリエンスが Flink アプリケーションで引き続き提供されます。Kinesis Data Analytics で実行中の既存のアプリケーションはすべ
Unveiling the impact of open data: Insights from the Use Case Observatory | data.europa.eu
24 April 2024 Unveiling the impact of open data: Insights from the Use Case Observatory The Use Case Observatory, an initiative led by data.europa.eu, serves as comprehensive research aimed at evaluating the impact of open data across Europe between 2022 and 2025. This project focuses on analysing 30 reuse cases and aims to contribute with valuable insights to the broader goals of data.europa.eu w
Data Management at Scale
Over the last few years, decentralized architectures have emerged as the new paradigm for managing data at large. They are meant to scale distribution of data between teams, while aiming for higher value and a faster time to market. In this article, I would like to unpack how to implement such a federated design. We cover many different things. We’ll begin with a short reflection on your data stra
Enable faster training with Amazon SageMaker data parallel library | Amazon Web Services
AWS Machine Learning Blog Enable faster training with Amazon SageMaker data parallel library Large language model (LLM) training has become increasingly popular over the last year with the release of several publicly available models such as Llama2, Falcon, and StarCoder. Customers are now training LLMs of unprecedented size ranging from 1 billion to over 175 billion parameters. Training these LLM
GitHub - huggingface/datatrove: Freeing data processing from scripting madness by providing a set of platform-agnostic customizable pipeline processing blocks.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Data Governance is broken
This informative piece delves into the complexities of effective data governance and explores strategies to overcome common challenges. Readers will discover how to streamline approvals, bridge data gaps, and adopt a proactive shift-left approach to achieve effective data management. The secrets to successful data governance are unravelled, making it a must-read for those seeking comprehensive ins
Snowflakeの論文「The Snowflake Elastic Data Warehouse」を読んでみた_Part1
Snowflakeの論文「The Snowflake Elastic Data Warehouse」を読んでみた_Part1 目次 はじめに 注意事項 1. INTRODUCTION 2. STORAGE VERSUS COMPUTE 3. ARCHITECTURE 3.1 Data Storage 3.2 Virtual Warehouses 3.3 Cloud Services 感想 はじめに この記事は、最近読んだSnowflakeの論文「The Snowflake Elastic Data Warehouse」の内容を備忘的に残したものです。 ※ Part2も近いうちに公開予定 論文は以下にて公開されていますので、誰でも読むことができます。 この論文を読んだ動機としては、「Snowflakeってなんで早いの？」とか「他のDWHやDBとどう違って何が優れているの？」という問いに対して
生成AI・LLMのツール拡張に関する論文の動向調査 2023年8月版 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。現在は、週に1回程度の頻度で、社内で実施している生成AI・LLMに関する論文レビュー会の内容をピックアップのうえ配信しています。 今回は、ツール拡張をテーマに、4つの論文をご紹介します。 目次 今回のテーマ Lost in the Middle: How Language Models Use Long Contexts 選定理由 論文概要 どうやって入力コンテキストをどのように使用するか調べたの？ 結局コンテキストが長いほどいいのか？ レビュー会FB Q: Attention
モダンデータスタック カテゴリ紹介 #15 『Spreadsheet based BI(スプレッドシートベースのBI)』 – Modern Data Stack Categories Overview Advent Calendar 2023 | DevelopersIO
モダンデータスタック カテゴリ紹介 #15 『Spreadsheet based BI(スプレッドシートベースのBI)』 – Modern Data Stack Categories Overview Advent Calendar 2023 当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 15日目のエントリです。 Modern Data Stack Categories Overviewのカレンダー | Advent Calendar 2023 - Qiita Modern Data Stack Categories Overview Advent Calendar 2023 の記事一覧 | DevelopersIO データ分析、データを扱う世界では昨今『モダンデータスタック(Modern Data S
垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。
My Predictions for Data Engineering in 2024
My prediction for 2024 and data engineering is this… Who cares! Seriously. You can’t control what happens, so instead of worrying about what will happen, focus on the things you can control. Like… Photo by Xan Griffin on Unsplash1. Building a Learning Habit.This year, make learning a priority. Try your hardest to establish a solid learning habit. If you don’t have time for it, MAKE TIME! No one el
data.ai、「LINEマンガ」が累計消費支出20億米ドルを突破 漫画カテゴリのアプリでは「ピッコマ」に次いで2番目 | gamebiz
data.ai、「LINEマンガ」が累計消費支出20億米ドルを突破 漫画カテゴリのアプリでは「ピッコマ」に次いで2番目 data.ai（旧App Annie）は、本日（3月1日）、「LINEマンガ」が累計消費支出20億米ドルを突破したことを発表した。この記録は、非ゲームアプリとしては全世界で15番目にあたり、漫画カテゴリのアプリでは「ピッコマ」に次いで2番目となる。 さらに、LINE関連のアプリとしては「LINE」に引き続き2本目となり、同一のパブリッシャーによる2つの非ゲームアプリがこの大台を突破するのはGoogle（「YouTube」と「Google One」で達成）に続き世界で2番目のことになる。 「LINEマンガ」が累計消費支出10億米ドルを突破したのは2021年で、そこから3年で今回の達成となった。同カテゴリ内の累計消費支出額トップのアプリと比べると、「ピッコマ」が20億米ドルを
”ゼロポッド”の追求に慎重なマルコ、レッドブル「RB20」更なるメルセデス化を視野も | Formula1-Data / F1情報・ニュース速報解説
レッドブルのモータースポーツ・アドバイザーを務めるヘルムート・マルコは、2024年の新車「RB20」が目指す”サイドボックス-レス”のコンセプトについて、現時点では必ずしも成功するとは確信していないようだ。 マックス・フェルスタッペンにとってF1ドライバーズ選手権4連覇が懸かる新しいシングルシーターは先代「RB19」の単なる改良に留まらない。中でもメルセデスが昨年、失敗と断じて追求を諦めた”ゼロポッド”との類似点が見られるサイドポッドは大きな注目を集めている。 Courtesy Of Red Bull Content Pool マックス・フェルスタッペンがドライブするレッドブルの新車「RB20」、2024年2月21日F1プレシーズンテスト初日バーレーン・インターナショナル・サーキット RB20のサイドポッドのリーディングエッジは先代モデルのそれを上下逆転させたような形状で、前方に突き出した
本記事では、データウェアハウス（DWH）、ETLプロセス、BIツールなどのアップデート情報や最新トレンドを毎月わかりやすくお届けします。 主要なニュースをピックアップしているので、サクッと最新情報をキャッチアップしたい方は、ぜひご覧ください。 Data Engineering Newsの公開のメール通知をご希望の方はこちらのフォームよりご登録ください。 Google BigQueryのニュースまとめ 履歴ベースの最適化がプレビュー版として利用できるように 類似するクエリでの実行情報に基づいて、クエリのパフォーマンスを改善します。 プロジェクトで最適化を有効にするにはALTER PROJECTステートメントでdefault_query_optimizer_options = ‘adaptive=on’を指定します。 マテリアライズドビューのallow_non_incremental_defi
This platform visualises and provides open data on hundreds of national, regional and interregional programmes funded by the EU Budget. Multiple EU funds are covered managed by DG AGRI, DG EMPL, DG HOME, DG MARE and DG REGIO. The platform mainly provides data from the EU budget 2014-2020 and 2021-2027 periods.
Use Llama 3.1 405B for synthetic data generation and distillation to fine-tune smaller models | Amazon Web Services
AWS Machine Learning Blog Use Llama 3.1 405B for synthetic data generation and distillation to fine-tune smaller models Today, we are excited to announce the availability of the Llama 3.1 405B model on Amazon SageMaker JumpStart, and Amazon Bedrock in preview. The Llama 3.1 models are a collection of state-of-the-art pre-trained and instruct fine-tuned generative artificial intelligence (AI) model
This paper studies extractable memorization: training data that an adversary can efficiently extract by querying a machine learning model without prior knowledge of the training dataset. We show an adversary can extract gigabytes of training data from open-source language models like Pythia or GPT-Neo, semi-open models like LLaMA or Falcon, and closed models like ChatGPT. Existing techniques from
7 Essential Data Quality Checks with Pandas Learn how to perform data quality checks using pandas. From detecting missing records to outliers, inconsistent data entry and more. As a data professional, you’re probably familiar with the cost of poor data quality. For all data projects—big or small—you should perform essential data quality checks. There are dedicated libraries and frameworks for data
Wes McKinney - The Road to Composable Data Systems: Thoughts on the Last 15 Years and the Future
A new joint VLDB paper on Composable Data Management Systems with Meta, Databricks, Sundeck, and others at is out! This post is a reflection on how I arrived at thinking about these problems and what the future might look like. Enjoy. Getting Started: 2008 to 2015 I started building data analysis tools a little over fifteen years ago, in April 2008. The world has changed a lot since then. Going ba
Healthcare Data Storage Market Expected to Reach USD 69.31 Billion by 2032 with a CAGR of 15.3% during the Forecast Period, Growing Demand for Secure and Scalable Data Storage Solutions in Healthcare Sector Drives Market Growth
Healthcare Data Storage Market Expected to Reach USD 69.31 Billion by 2032 with a CAGR of 15.3% during the Forecast Period, Growing Demand for Secure and Scalable Data Storage Solutions in Healthcare Sector Drives Market Growth 03-15-2024 05:41 PM CET | Health & Medicine Press release from: Market Research Future (MRFR) / PR Agency: Market Research Future (MRFR) Market Overview: The healthcare dat
Hyperscale Data Centers Hit the Thousand Mark; Total Capacity is Doubling Every Four Years | Synergy Research Group
Hyperscale Data Centers Hit the Thousand Mark; Total Capacity is Doubling Every Four Years RENO, NV, April 17, 2024 New data from Synergy Research Group shows that the number of large data centers operated by hyperscale providers increased to 992 at the end of 2023, and passed the thousand mark in early 2024. Meanwhile it has taken just four years for the total capacity of hyperscale data centers
Ask questions to your enterprise data in natural language. Get real time data insights. Ask questions to your enterprise data in natural language. Get real time data insights.
角田裕毅が発起人 トップドライバー集結のカート対決、F1日本GPを経て4月9日開催…J SPORTS独占生放送 | Formula1-Data / F1情報・ニュース速報解説
角田裕毅が発起人 トップドライバー集結のカート対決、F1日本GPを経て4月9日開催…J SPORTS独占生放送 4月7日(日)の2024年FIA-F1世界選手権第4戦日本GPを経て、4月9日(火)にシティサーキット東京ベイ（東京都江東区青海）で開催される「角田裕毅プレゼンツ・カートウォリアーズ」をJ SPORTSが独占放送/配信する。 これはビザ・キャッシュアップRBフォーミュラ1チームからF1に参戦する角田裕毅が発起人となり、メーカーの垣根を超えて集結した国内トップドライバー達が「カートで真剣勝負」するイベントだ。 角田裕毅のほかに現時点で参加が予定されているのは、小高一斗、大湯都史樹、阪口晴南、山下健太、福住仁嶺、太田格之進、牧野任祐と、スーパーフォーミュラやSUPER GTで活躍する角田裕毅と親しい関係にある錚々たる顔ぶれが並ぶ。 J SPORTS J SPORTSはJ SPORTS
Everything Ends - My Journey With the Modern Data Stack
Hieronymus Bosch’s The Garden of Earthly Delights describes humanity’s descent from Eden into HellThe Modern Data Stack got quite the eulogy this week. Tristan Handy’s article, “Is the Modern Data Stack Still a Useful Idea?” prompted much discussion in the data world about the demise of the MDS. And it’s not like just anyone wrote an article on the demise of the MDS. Lord knows people (including m
GitHub - ad-si/invoice-maker: Generate beautiful invoices from simple Typst or YAML data records
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
2024/07/22 DATA is BOSS を読んで - /home/by-natures/dev*
先日、一休.comの社長 榊さんによる "DATA is BOSS" という書籍を読みました。Pivot の動画でも3本立てで特集されていますが、最初の1本を見た限りは書籍とほぼ同じ内容を解説されています： pivotmedia.co.jp 「データは顧客そのもの」 この本は技術書というよりビジネス書なので、分析手法の話もデータマネジメント・データエンジニアリング的な話も詳しくは登場しませんが、ビジネスがどうしてデータ・ドリブンになるべきか、という問いに簡潔に答えています。 それは、「データは顧客そのもの」という文章で端的に表されています。ECサイトでは特に顕著ですが、顧客の行動は全てデータとして収集できるため、データを元に意思決定すること＝顧客に適切なアクションを起こすことになります（IoTデバイスの普及に伴い、この図式はWebサービス以外にも適用できるとも）。 また、データ・ドリブンを
モダンデータスタック カテゴリ紹介 #9 『No code automation(ノーコード自動化)』 – Modern Data Stack Categories Overview Advent Calendar 2023 | DevelopersIO
モダンデータスタック カテゴリ紹介 #9 『No code automation(ノーコード自動化)』 – Modern Data Stack Categories Overview Advent Calendar 2023 当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 9日目のエントリです。 Modern Data Stack Categories Overviewのカレンダー | Advent Calendar 2023 - Qiita Modern Data Stack Categories Overview Advent Calendar 2023 の記事一覧 | DevelopersIO データ分析、データを扱う世界では昨今『モダンデータスタック(Modern Data Stack/MDS)』
Announcing data filtering for Amazon Aurora MySQL zero-ETL integration with Amazon Redshift | Amazon Web Services
AWS Big Data Blog Announcing data filtering for Amazon Aurora MySQL zero-ETL integration with Amazon Redshift As your organization becomes more data driven and uses data as a source of competitive advantage, you’ll want to run analytics on your data to better understand your core business drivers to grow sales, reduce costs, and optimize your business. To run analytics on your operational data, yo
モダンデータスタック カテゴリ紹介 #10 『Augmented Analytics(拡張分析)』 – Modern Data Stack Categories Overview Advent Calendar 2023 | DevelopersIO
モダンデータスタック カテゴリ紹介 #10 『Augmented Analytics(拡張分析)』 – Modern Data Stack Categories Overview Advent Calendar 2023 当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 10日目のエントリです。 Modern Data Stack Categories Overviewのカレンダー | Advent Calendar 2023 - Qiita Modern Data Stack Categories Overview Advent Calendar 2023 の記事一覧 | DevelopersIO データ分析、データを扱う世界では昨今『モダンデータスタック(Modern Data Stack/MDS)』と
GitHub - billziss-gh/imap: Integer Map Data Structure
This project presents a new data structure for storing ordered integer maps: a data structure that contains x->y mappings, where x and y are integers and where the lookup, assign (insert / replace), remove and iterate (in natural numeric order) operations are efficient. The proposed data structure is a compressive, cache-friendly, radix tree that attempts to: (1) minimize the number of memory acce
はじめに Automate dbt development testing in Snowflake with data-diffに倣って、チュートリアルを行っていきます。 取得したい結果 前提事項 Snowflake accountを準備する dbt-core をインストールする(バージョン1.4未満 2023/03/24 現在) 手順 1. dbtの環境作成 サンプルレポジトリをプルする
Amazon Kinesis Data Streams が AWS マネジメントコンソールで簡単にクエリを実行する機能を追加
本日、Amazon Kinesis Data Streams では、Amazon Managed Service for Apache Flink を使用して、AWS マネジメントコンソールからワンクリックで SQL クエリを実行できる機能を追加しました。この新機能により、ストリーム内のデータをリアルタイムで簡単に分析して可視化できます。 Amazon Kinesis Data Streams は、大規模のストリーミングデータを簡単にキャプチャ、処理、保存できるサーバーレスストリーミングデータサービスです。Amazon Managed Service for Apache Flink では、データストリームを処理するためのオープンソースのフレームワークおよびエンジンである Apache Flink を使用して、ストリーミングデータをリアルタイムに変換および分析できます。今回のリリースにより
Wireless Data Terminal Market Size, Share, Industry Trends, Forecast 2032 | Wiseguyreports
Global Wireless Data Terminal Market Research Report: By Device Type (Handheld Wireless Data Terminals, Vehicle-Mounted Wireless Data Terminals, Rugged Wireless Data Terminals, Industrial Wireless Data Terminals), By Operating System (Android, iOS, Windows CE, Windows Mobile), By Network Connectivity (Cellular (3G, 4G, 5G), Wi-Fi, Bluetooth, NFC), By Industry Vertical (Retail/Wholesale, Transporta
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回はChatGPTに共通テストを解かせ、LLMの得手不得手を検証してみたことを、ご紹介します！ はじめに こんにちは。アナリティスクスコンサルティングユニットの中山、平井です。この記事では、ChatGPTに共通テストを解かせてみることで、現在のLLMの得手不得手を検証しました。 はじめに、この取り組みの背景と目的をご説明いたします。 LLMを実際の業務の現場の効率化等に用いるにあたって、読解の能力は非常に重要です。例えば、ChatPDFというサービスをご存じでしょうか。この
Customer relationships are at the heart of every successful business. Relationships built on trust can create value and improve advertising performance. Still, making the most of information customers agree to share can be easier said than done, especially in an evolving privacy landscape. Today we are introducing Google Ads Data Manager to simplify the ways you connect and use your first-party da
ローカルで動く日本語対応LLMについて調べてみる①(ChatGPT部, 大城)｜ChatGPT部 Produced by NOB DATA
こんにちは、ChatGPT部の大城です。久々の更新です。私の方は先週は宮崎、今週は沖縄とChatGPTのセミナーラッシュの真っ只中です。 (GPTs発表とか、MS Copilotも楽しそうですがなかなか触れない・・) こちらのシリーズはローカル環境で動作するLLMについての調査のログです。 エクセルでのサマリ後ろの方でnoteで読みやすいようにしますが、こんな感じですね。 先人の調査Javaのきしださんに教えてもらいましたが、清水さんの検証結果が結構参考になるよ、との事でしたので貼っておきます。 一部引用するとこんな感じ。GPT-4、強い 最近話題の日本語対応LLMは何があるか？まだ本格的な調査前ですが、いくつかピックアップします。 Japanese Stable LM Gamma 7B (10/25)公開日: 10月25日 特徴: Mistral-7B-v0.1をベースに日本語データを追
MongoDB says customer data was exposed in a cyberattack
MongoDB is warning that its corporate systems were breached and that customer data was exposed in a cyberattack that was detected by the company earlier this week. In emails sent to MongoDB customers from CISO Lena Smart, the company says they detected their systems were hacked on Wednesday evening (December 13th) and started investigating the incident. "MongoDB is investigating a security inciden
Find your logs data with Explore Logs: No LogQL required! | Grafana Labs
Solutions All end-to-end solutions Opinionated solutions that help you get there easier and faster
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Git for Data、バージョン管理データベース Dolt が PostgreSQL 仕様になる
Data Engineering News 2024年4月アップデートまとめ | TROCCO®(トロッコ)
Data | European Structural and Investment Funds
Scalable Extraction of Training Data from (Production) Language Models
7 Essential Data Quality Checks with Pandas - KDnuggets
[DATAで見るケータイ業界] キャリアショップ数は半年前から235店減少し全国7339店舗に
![[DATAで見るケータイ業界] キャリアショップ数は半年前から235店減少し全国7339店舗に](https://cdn-ak-scissors.b.st-hatena.com/image/square/b5f5288eca508e5af8518a99706d98756bd16bbe/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1582%2F220%2Fcont0.png)
PandasAI - Conversational Data Analysis
dbt × data-diff のチュートリアルをやりました
OpenAI、AI学習用データセットを公募する「Data Partnerships」
ChatGPTに共通テスト解かせてみた - Platinum Data Blog by BrainPad
Simplifying the management of your first-party data