Properly Testing Concurrent Data Structures Jul 5, 2024 There’s a fascinating Rust library, loom, which can be used to thoroughly test lock-free data structures. I always wanted to learn how it works. I still do! But recently I accidentally implemented a small toy which, I think, contains some of the loom’s ideas, and it seems worthwhile to write about that. The goal here isn’t to teach you what y
ワークフローエンジンのDigdagを使ったELT、特にT(Transform)に関する問題について、Digdagのジョブ定義をうまく活用しながら解決する方法について、TimeTree社の取り組みをご紹介します。 また、弊社のようにデータ基盤チームがまだないスタートアップでのTransfomの難しさとの…
【小ネタ】AWS IoTのアクション設定でKinesis Data Streamsにデータを送る時、パーティションキーに指定するnewuuid()について確認してみました | DevelopersIO
【小ネタ】AWS IoTのアクション設定でKinesis Data Streamsにデータを送る時、パーティションキーに指定するnewuuid()について確認してみました 1 はじめに CX事業本部の平内（SIN）です。 AWS IoTでアクション設定を使用してKinesis Data Streamsにデータを送る場合、どのシャードに送るかを指定するためにパーティションキーを設定する箇所があります。 スケール目的でシャードの数を増やしても、パーティションキーを適切に設定しないと、期待通りの分散が出来ません。今回は、ここで一般に使用される newuuid() について、動作を確認してみました。 すいません、特にひねった内容ではありません。個人的に理解を深めるために、単純にドキュメントに記載されている内容をなぞっただけです。 2 検証環境 (1) Kinesis Data Streams 動作
このチュートリアルでは、Spring Data REST とその強力なバックエンド機能を使用し、React の洗練された機能と組み合わせて、わかりやすい UI を構築するアプリのコレクションを示します。(参考: JavaScript フロントエンドフレームワークの比較 [Qiita] ) Spring Data REST [YouTube] (英語) は、ハイパーメディアを使用したリポジトリをすばやく構築する方法を提供します。 React (英語) は、JavaScript での効率的で高速で使いやすいビューに対する Facebook のソリューションです。
概要 こんにちは@kajyuuenです。 本記事では日本語データセットに対して、Data Augmentation（データ拡張）を行い、モデルの性能が向上するか検証します。 今回は文書分類と固有表現抽出の2つのタスクに対して、実験を行いました。 その結果、文書分類タスクでは学習に用いた文章数が500文, 2000文, 5000文のどの場合においても性能が向上し、Data Augmentationなしのモデルと比べて、最大2.5ポイントAccuracyが向上しました。 固有表現抽出タスクでは50文, 150文, 500文に対してData Augmentationの効果を検証しました。 文章数によっては性能が下がった場合もありましたが、Data Augmentationによって最も性能が向上したケースではF1が2.7ポイント向上しました。 データ拡張に用いたライブラリdaajaやData Au
はじめに BigQuery で利用可能な dbt のチュートリアルに基づいた dbtvault のデモを公開しました。 https://github.com/belong-inc/dbtvault-bigquery-demo 本記事ではまず Data Vault 2.0 についてなぜわたしたちが採用したいと考えているかを含めつつ説明し、その後に dbtvault のチュートリアルについての説明をします。 背景 Belong では現在データ分析基盤を鋭意作成中です。 データ基盤の構成は基本的には DMBOK に基づきつつ、Data Warehouse のレイヤーではスタースキーマ をベースで考えつつスクラップアンドビルドが可能な PoC ベースで早いフィードバックを得ながら技術検証やアーキテクチャの検証をしています。 このとき、過去のデータの取り込みを行う際に、最新のデータ時点で更新が起きて
概念ドリフト（Concept drift）／データドリフト（Data drift）とは？：AI・機械学習の用語辞典 用語「ドリフト」について説明。何らかの変化によってモデルの予測性能が劣化すること。その原因が、正解ラベルの概念が変化した場合は「概念ドリフト」、入力データの統計的分布が訓練時から変化した場合は「データドリフト」と呼ばれる。 連載目次 用語解説 機械学習や予測分析（データマイニングなど）におけるドリフト（Drift）とは、何らかの「予期せぬ変化」によって、モデルの予測性能が時間経過とともに劣化していくことを指す。モデルドリフト（Model drift）やModel decay（モデルの衰退）、Model staleness（モデルの陳腐化）などとも呼ばれる。ドリフトを引き起こしている原因ごとにさまざまな関連用語が定義されており、主要な用語に概念ドリフトとデータドリフトがある。
DynamoDB StreamsとKinesis Data Firehoseを使ったサーバーレスリアルタイムETL - Qiita
何を書いた記事か 過去にDynamoDB Streams + Kinesis Data Firehose + Lambdaを用いたリアルタイムETLを検証した際のメモをこちらに転載します。 特にKinesis Data Firehoseの裏で動かすLambdaの実装に癖があったので、誰かの参考になれば幸いです。 前提 Webサービスなど展開していて、Database層にDynamoDBを採択している場合、そのデータを分析するための分析基盤構築手法として、Glueを用いたETLが一般的な選択肢になりうるのかなと思います。 最近DynamoDBのTableをS3にExportできる機能もGAになったので、フルダンプ＋日時バッチのデータ分析としてはそのような手法も使えるかもしれません。 しかし、DynamoDB上にあるデータをなるべくリアルタイムに分析基盤に連携したい、最低限のETL処理も挟みた
【世界動向の解説】3/3 Google発表のプライバシーと追跡技術のブログ内容と、海外ID事業者の反応｜インティメート・マージャーのData Driven NOTE
【世界動向の解説】3/3 Google発表のプライバシーと追跡技術のブログ内容と、海外ID事業者の反応 はじめに「Google、全ての広告において個人を追跡する技術を使用しないことを発表 〜クッキー以外の手段も停止〜」というブログが発表をされてさまざまな会社様から相談や問い合わせを受ける機会が多かったのでそれに対する記事です。 海外のIDプレイヤーの反応という記載していますが、基本の考え方はインティメート・マージャーの同様の見解なので、ポストクッキーのテクノロジーを提供している会社そしてインティメート・マージャーも同じような認識をしていますという話です。 （私の英語力で正しく読めているかはちょっと自信がないですが） 海外プレイヤーの反応１：Google is not killing ID solutions, but has succeeded in sowing doubt原文はこちら
GCP連載#7 GCPのData Transfer Serviceを使って簡単にS3からBigQueryにデータ転送をしてみる | フューチャー技術ブログ
GCP連載#7 GCPのData Transfer Serviceを使って簡単にS3からBigQueryにデータ転送をしてみる GCP集中連載の7回目です。 TIGのDXチームに所属している加部です。入社してからは主にインフラやデータベースを中心に仕事をしており、現在はGOでバックエンドのAPIの開発なんかもしています。 突然ですがAWSを利用しているけどビッグデータの蓄積や解析はBigQueryで実施したい、なんて意見も最近多くなってきているようですね。実際にS3からBigQueryのデータ転送について検索すると、自前でデータ転送を作成してみましたや、データ転送をサービスとして販売しているような会社もあります。そんな中GCPが提供しているBigQeryへのデータ転送サービスDataTransferServiceのソース元としてS3が追加され、簡単にS3からBigQueryのデータ転送のジ
Kaggle Data Science Bowl 2019 上位解法まとめ - Tak's Notebook
https://www.kaggle.com/c/data-science-bowl-2019/ Data Science Bowl 2019 所感 上位陣に共通していたポイント 異なる点 1st Place Solution リンク Summary Validation Feature Feature Selection Model 2nd Place Solution リンク Summary Validation Feature Feature Selection Model Others 3rd Place Solution リンク Summary Validation Feature Feature Selection Model Others 4th Place Solution リンク Summary Validation Feature Model Others 7th Pl
Low-CodeData Preparation Collect, clean, and visualize your data in python with a few lines of code from dataprep.datasets import load_datasetfrom dataprep.eda import create_reportdf = load_dataset("titanic")create_report(df).show() from dataprep.connector import connectdc = connect("twitter", _auth={"client_id":client_id, "client_secret":client_secret})df = await dc.query("twitter", q="covid-19",
GitHub - featureform/featureform: The Virtual Feature Store. Turn your existing data infrastructure into a feature store.
Use your existing data infrastructure. Featureform does not replace your existing infrastructure. Rather, Featureform transforms your existing infrastructure into a feature store. In being infrastructure-agnostic, teams can pick the right data infrastructure to solve their processing problems, while Featureform provides a feature store abstraction above it. Featureform orchestrates and manages tra
How your data is used to improve model performance | OpenAI Help Center
Learn more about OpenAI's data usage policies for our API, ChatGPT and DALL-E One of the most useful and promising features of AI models is that they can improve over time. We continuously improve our models through research breakthroughs as well as exposure to real-world problems and data. When you share your data with us, it helps our models become more accurate and better at solving your specif
BigQuery Data Transfer Service で AWS S3 から BigQuery に CSV データをロードしてみた | DevelopersIO
BigQuery Data Transfer Service で AWS S3 から BigQuery に CSV データをロードしてみた こんにちは、みかみです。 GCP ＆ BigQuery 勉強中です。 まだベータ版とのことですが、BigQuery Data Transfer Service を使って、GUI 操作で AWS S3 から BigQuery にデータをロードできるらしい！ BigQuery Data Transfer Service の概要 Amazon S3 転送 なんか簡単そうじゃない？ ということで。 やりたいこと S3 に置いてある CSV データを BigQuery にロードしたい BigQuery Data Transfer Service で簡単に（？）ロードしたい やってみた AWS側の準備 BigQuery にデータ転送するためには、データを置いてある
GitHub - mindsdb/mindsdb: The platform for building AI from enterprise data
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - samuelthomas2774/nxapi: Nintendo Switch Online/Parental Controls app APIs. Show your Nintendo Switch presence in Discord, get friend notifications on desktop, and download and access SplatNet 2, NookLink, SplatNet 3 and Parental Controls data. Mi
Command line and Electron app interfaces Interactive Nintendo Account login for the Nintendo Switch Online and Nintendo Switch Parental Controls apps Automated login to the Nintendo Switch Online app API This uses the api.imink.app or nxapi-znca-api.fancy.org.uk API by default. Alternatively a custom server can be used. A custom server using a rooted Android device/emulator is included. Get Ninten
Google Search Console Teamから『サイト https://ドメイン/ で「パンくずリスト」の問題が新たに 検出されました』ってメールが届いていました。 対象のサイトはWordpressのサイトです。警告の内容は、 data-vocabulary.org schema deprecated でした。 data-vocabulary.org schema deprecatedとは？ data-vocabulary.orgは、サイトのHTMLソースを確認するとパンくずリストに使っている箇所で利用していました。 <div id="breadcrumb"> <div itemscope="" itemtype="https://data-vocabulary.org/Breadcrumb"> <a href="https:/domain" itemprop="url"><sp
GitHub - Shopify/maintenance_tasks: A Rails engine for queueing and managing data migrations.
A Rails engine for queuing and managing maintenance tasks. By ”maintenance task”, this project means a data migration, i.e. code that changes data in the database, often to support schema migrations. For example, in order to introduce a new NOT NULL column, it has to be added as nullable first, backfilled with values, before finally being changed to NOT NULL. This engine helps with the second part
Spotfire® Data Scienceとは データサイエンスはチームスポーツです。データサイエンティスト、シチズンデータサイエンティスト、データエンジニア、ビジネスユーザー、および開発者は、分析ワークフローに関するコラボレーションと、分析ワークフローの自動化、再利用を促進する柔軟で拡張可能なツールを必要としています。アルゴリズムは高度な分析パズルのほんの一部にすぎません。予測的インサイトをビジネスに活用するために、企業は分析モデルのデプロイ、管理、およびモニタリングにさらに重点を置く必要があります。スマートなビジネスには、エンタープライズレベルのセキュリティとガバナンスを提供しながら、エンドツーエンドの分析ライフサイクルをサポートするプラットフォームが必要です。Spotfire® Data Scienceにより、企業は複雑な問題をより迅速に革新・解決して、予測的知見を迅速に最適な結果
"Data Analysis Techniques to Win Kaggle" table of contents /「Kaggleで勝つデータ分析の技術」の目次 - threecourse’s blog
This is table of contents of a book "Data Analysis Techniques to Win Kaggle (amazon.co.jp) written in Japanese and published on Oct. 2019. Authors are threecourse, Jack, hskksk, maxwell . en ja Data Analysis Techniques to Win Kaggle Kaggleで勝つデータ分析の技術 Chapter I: What is data analysis competition? 第1章 分析コンペとは? 1.1 what is data analysis competition? 1.1 分析コンペって何? 1.1.1 what do you do in competition?
Google Cloud Professional Data Engineer Certifiedに合格した - yasuhisa's blog
2021/02/23に受験しまして、合格しました。やったー。 前提: 受験前の私の状態 なぜ受験したか 試験のための準備 データエンジニアリングで頻出の話題をカバーする 個別コンポーネントの知識を取り込んでいく 権限 / セキュリティ / 監査回り 練習問題をひたすら解く 試験当日 これから 参考 前提: 受験前の私の状態 受験前もこの一年ほどデータエンジニアリング的な仕事はしていました。ただ、メインで使っているのもBigQueryくらいで、データに対する要求(データ量やリアルタイム性、可用性など)はそこまで厳しいものではなかったと思います。別に「仕事をサボって質を下げていた...」というわけではなく、過剰品質でデータを提供するより、他にもやるべきこと(データ分析など)はたくさんあったためです。 また、機械学習はある程度専門でやっていたため、一般的な知識(再現率とか正則化とか過学習とか)は
RTK Query: The future of data fetching and caching for Redux - LogRocket Blog
RTK Query is an experimental library from the Redux team with the main purpose of fetching and caching data for your web app. It utilizes Redux under the hood and is built on top of Redux Toolkit (RTK). RTK Query provides advanced setup options to handle your fetching and caching needs in the most flexible and efficient way possible. While RTK Query utilizes Redux under the hood, that doesn’t mean
CVE-2022-22965: Spring Framework RCE via Data Binding on JDK 9+ A Spring MVC or Spring WebFlux application running on JDK 9+ may be vulnerable to remote code execution (RCE) via data binding. The specific exploit requires the application to run on Tomcat as a WAR deployment. If the application is deployed as a Spring Boot executable jar, i.e. the default, it is not vulnerable to the exploit. Howev
GitHub - duckduckgo/tracker-radar: Data set of top third party web domains with rich metadata about them
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ガチで回線環境を見直したい人へ捧ぐ…！ 本当に回線速度を速くする方法をIO-DATAさんに聞いてみた。「有線接続にすれば速くなるわけじゃない」…ってマジ？
無線接続ではWi-Fi電波の強度は、まわりの遮蔽物や距離によって変化する。電波強度をしっかりと守るために、Wi-Fiルーターはしっかりと開放的な場所に置きたい。とはいえWi-Fiルーターの特徴はなにも無線だけではない。 そう、有線接続だ。 スマートフォンやNintendo Switchは無線で接続しつつも、パソコンやPS4、PS5、Xbox Series X|Sでは安定的にインターネット接続をしたいので、LANケーブルで接続している人は多いのではないだろうか。筆者もまさにそういう人間だ。 無線接続の次は、I-O DATAさんから有線接続について知見を得たい。できれば有線接続で高速の接続回線を実現したい。 そこでI-O DATAさんがおすすめしてくれたのは、2022年1月26日に発売した最新機種であるゲーミングルーター「WN-DAX3000QR」だ。 WN-DAX3000QR 黒光りする外観
Covid-19 Data Monitor
Timeseries data of confirmed infections and deaths during the Covid-19 pandemic strongly illustrate the seriousness of the situation. Many websites or smartphone apps are available to view and compare this data. Interfaces and APIs to current data sets are also available, which makes it possible to evaluate and display the data by yourself. I was interested in comparing the data of certain countri
クラウドストレージ(Amazon S3)へのファイルアップロードをサポートする「CSA: Data Uploader」で出来ること | DevelopersIO
データアナリティクス事業本部のしんやです。 先日投稿した下記エントリでは、弊社クラスメソッドが展開するデータ分析基盤「カスタマーストーリー アナリティクス」全般の紹介をさせて頂きました。 当エントリでは、「カスタマーストーリー アナリティクス」のプロダクトの中の1つ「CSA:Data Uploader」について「これを使うと何が出来るのか」という観点で概要を紹介したいと思います。 目次 「CSA: Data Uploader」はクラウドストレージ環境へのファイルアップロードをサポートする"簡易ETLツール"です 「CSA: Data Uploader」導入方法 「CSA: Data Uploader」で出来ること 入力(＝対象データソースからデータを抽出) 変換(＝データの簡易変換) 出力(＝データをクラウドストレージへアップロード) 実行出来る「ジョブ」のタイプ データアップロード ファ
【翻訳】Bilibiliは如何にしてApache IcebergでData Lakehouseを構築したか？ - 流沙河鎮
この記事は著者であるRui Li氏の許可を得て翻訳したものです。 Original article: How Bilibili Builds OLAP Data Lakehouse with Apache Iceberg | by Rui Li | Medium. 文中の注釈は、訳者(@_Bassari)が読者の理解を助けるために付け加えました。 はじめに Bilibiliは中国最大級の動画共有サイトです。私たちはBilibiliのbig data infrastructureチームとして、2021年にApache Iceberg1を使用したlake-warehouseプラットフォームを構築するためのプロジェクトを開始しました。このプラットフォームは、主にOLAP分析シナリオに焦点を当てています。 このプロジェクトの前は、当社のdata warehouseはApache Hive2をベース
Archive storage class for coldest data now available | Google Cloud Blog
Data storage provides a key part of the foundation for enterprise data infrastructure, including cloud-based workloads. At Google Cloud, we think that you should have a range of straightforward storage options that allow you to more securely and reliably access your data when and where you need it, without performance bottlenecks or delays to your users. Having flexible storage options allows you
ダッシュボードの設計に役立つData / Information / Intelligenceの区分｜荻原 和樹 / Kazuki OGIWARA
「ダッシュボードを作る時は文脈が大事」「グラフからインサイトを導けることが重要」とよく言われます。たしかに、単に「先月の売上高」を見せられるよりも、データを見る目的を意識して何らかの比較や推移を軸とした方がずっとわかりやすく、実際の行動に結びつきやすくなります。先ほどの例で言えば他店舗と比較したり、月次で数年間の推移を表すという方法があるでしょう。こうした比較や推移があれば、何らかの施策を取るといった具体的な行動にもつながります。 一方で、この時「A店の先月の売上高が5000万円だった」という情報、「競合他社と比較して下落傾向にある」という情報、「A店で何らかの施策を取るべき」という情報はそれぞれ位相が異なります。 私はこの３種類の情報をデータ（Data）、インフォメーション（Information）、インテリジェンス（Intelligence）とそれぞれ分けています。 １つ目はデータ（D
A tool to understand datasets with the goal of improving data quality, and helping mitigate fairness and bias issues.
Amazon DynamoDB can now import Amazon S3 data into a new table | Amazon Web Services
AWS Database Blog Amazon DynamoDB can now import Amazon S3 data into a new table Today we’re launching new functionality that makes it easier for you to import data from Amazon Simple Storage Service (Amazon S3) into new DynamoDB tables. This is a fully managed feature that doesn’t require writing code or managing infrastructure. In this post, we introduce DynamoDB import from S3 and show you how
AWS Step Functions launches large-scale parallel workflows for data processing and serverless applications
AWS Step Functions expands support for iterating and processing large sets of data such as images, logs and financial data in Amazon Simple Storage Service (Amazon S3), a cloud object storage service. AWS Step Functions is a visual workflow service capable of orchestrating over 10,000 API actions from over 220 AWS services to automate business processes and data processing workloads. Now, AWS Step
はじめに 最近、APIを用いて色々なデータを取得できないかを調べています。 Youtube Data APIを使用して動画の再生回数やいいね数などの情報取得する方法を調べて実践したので覚書的に記事にまとました。 参考 Youtube Data APIの使用に当たって下記を参考にいたしました。 PythonでYoutube動画検索 YouTube Data API の概要 Youtube Data API のリファレンス APIの使用準備 Youtube Data APIの登録 Youtube Data APIの取得にはまずGoogleアカウントが必要になります。 下記手順でYotube Data APIの登録を行い、APIキーを取得します。 Google Cloud Platformにアクセスした後新しいプロジェクトを作成 新たに作成したプロジェクトにチェックを入れた状態で「APIとサービ
Amazon Kinesis Data Streams On-Demand – キャパシティーを管理せずに大規模にデータをストリーミング | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Data Streams On-Demand – キャパシティーを管理せずに大規模にデータをストリーミング 2021 年 11 月 30 日（米国時間）、新しいキャパシティーモードである Amazon Kinesis Data Streams On-demand をローンチしました。このキャパシティーモードでは、ストリーミングワークロードのキャパシティーのプロビジョニングと管理が不要になります Kinesis Data Streams はフルマネージド型のサーバーレスサービスであり、ストリーミングされたデータを大規模にリアルタイムに処理します。Kinesis Data Streams は、任意の数のソースから任意の量のデータを取得し、必要に応じてスケールアップおよびスケールダウンできます。2013 年 11 月に
お久しぶりです。shimesaba_oishiです。 最近急に寒くなりましたね。。秋を返してほしいと思う今日この頃です。 最近SASの勉強をしているのですが、業務ではあまり意識していない「DATAステップ処理の裏側」についてご紹介しようと思います。 前回の記事はこちら👇 blog.css-net.co.jp １．各フェーズについて ２．コンパイル・フェーズ 入力バッファ プログラム・データベクトル 構文チェック 変数の追加 ディスクリプタ部の作成 ３．実行フェーズ 変数の初期化 INFILEステートメント INPUTステートメント DATAステップの最後 DATAステップの繰り返し ４．おわりに １．各フェーズについて まずSAS DATAステップは2つのフェーズで処理されています。まずは各フェーズの名前とざっくりとした処理をみていきましょう。 コンパイル・フェーズ 入力バッファとプログ
Host a Next.js SSR app with real-time data on AWS Amplify | Amazon Web Services
Front-End Web & Mobile Host a Next.js SSR app with real-time data on AWS Amplify UPDATE: Amplify Hosting now supports Next.js 12 and 13. Please visit our new launch blog to learn more. Today, AWS Amplify Hosting announced support for continuously deploying server-side rendering (SSR) apps built with Next.js. With this launch, AWS Amplify CI/CD and Hosting allows you to deploy hybrid Next.js apps t
GitHub - lovasoa/SQLpage: Fast SQL-only data application builder. Automatically build a UI on top of SQL queries.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Data visualizations easier with Grafana plugin for BigQuery | Google Cloud Blog
Editor’s note: We’re hearing today from DoiT International, a Google Cloud Premier and MSP partner, and two-time International Partner of the Year. They recently built a Grafana plugin for BigQuery, making it easier to visualize your data. Read on for details. At DoiT International, we see data problems of all shapes and sizes. From complexity analysis to large-scale system design, there are a var
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Properly Testing Concurrent Data Structures
Data Transformation in Digdag
React.js と Spring Data REST - 公式サンプルコード
日本語文書分類・固有表現抽出タスクに対するData Augmentationの性能検証 - 農園
Data Vault 2.0 の紹介と BigQuery で動く dbtvault のデモ
概念ドリフト（Concept drift）／データドリフト（Data drift）とは？
DataPrep — Low code data preparation in Python
「パンくずリスト」の問題が新たに検出されました。data-vocabulary.org schema deprecatedとは？
「Spotfire® Data Science」データサイエンス・機械学習プラットフォーム
CVE-2022-22965: Spring Framework RCE via Data Binding on JDK 9+
Know Your Data
Youtube Data APIを使ってPythonでYoutubeデータを取得する - Qiita
【SAS勉強会-第3回-】DATAステップ処理の裏側 - シー・エス・エス イノベーションラボ（ブログ）