■ DSOC R&Dの研修資料 ■概要 タイトル：Data Analysis 研修資料 内容：機械学習プロジェクトを進める上で気をつけることなど ▼Twitter https://twitter.com/SansanRandD
Data Analysis 研修資料 / Data Analysis training materials
■ DSOC R&Dの研修資料 ■概要 タイトル：Data Analysis 研修資料 内容：機械学習プロジェクトを進める上で気をつけることなど ▼Twitter https://twitter.com/SansanRandD
Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 | Amazon Web Services
AWS News Blog Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 March 15, 2023 – You can now use S3 Object Lambda with Amazon CloudFront to tailor content for end users. August 13, 2024 – Added a note clarifying that, when following the walkthrough, you should not mark the Specify Lambda function version option that was added after this post was p
SWR is a React Hooks library for data fetching. The name “SWR” is derived from stale-while-revalidate, a cache invalidation strategy popularized by HTTP RFC 5861. SWR first returns the data from cache (stale), then sends the request (revalidate), and finally comes with the up-to-date data again. With just one hook, you can significantly simplify the data fetching logic in your project. And it also
GitHub - nucleuscloud/neosync: Open source data anonymization and synthetic data orchestration for developers. Create high fidelity synthetic data and sync it across your environments.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Azure OpenAI Service “on your data” でChatGPTに自社データを組み込む
セキュリティチームの ぐっちー です。Azure OpenAI Service において新しくパブリックプレビューが開始された「on your data 機能」を使ってChatGPTに自社データを組み込む方法を紹介したいと思います。 3行サマリー 従来、ChatGPTに自社データを組み込むためには、APIを使った開発が必要であり、開発を専門としない人間が片手間で実施するには難易度の高いものでした。 新しく登場したAzure OpenAI Service「on your data 機能」を使うと、GUI上での簡単な操作で自社データをChatGPTに組み込むことができるようになりました。 精度を高めるには、データセットの整備やPrompt engineeringをキッチリ実施していく必要があり、依然としてそれらは難易度が高いですが、ChatGPTのビジネス活用に大きな前進をもたらしたアップデー
About the Open Edition The 3rd edition of Python for Data Analysis is now available as an “Open Access” HTML version on this site https://wesmckinney.com/book in addition to the usual print and e-book formats. This edition was initially published in August 2022 and will have errata fixed periodically over the coming months and years. If you encounter any errata, please report them here. In general
By Andrew Nguonly, Armando Magalhães, Obi-Ike Nwoke, Shervin Afshar, Sreyashi Das, Tongliang Liu, Wei Liu, Yucheng Zeng BackgroundOver the next few years, most content on Netflix will come from Netflix’s own Studio. From the moment a Netflix film or series is pitched and long before it becomes available on Netflix, it goes through many phases. This happens at an unprecedented scale and introduces
Zoom iOS App Sends Data to Facebook Even if You Don’t Have a Facebook Account
Zoom iOS App Sends Data to Facebook Even if You Don’t Have a Facebook Account As people work and socialize from home, video conferencing software Zoom has exploded in popularity. What the company and its privacy policy don’t make clear is that the iOS version of the Zoom app is sending some analytics data to Facebook, even if Zoom users don’t have a Facebook account, according to a Motherboard ana
自社プロダクトのデータ基盤における BigQuery SQLテストシステムについて - Platinum Data Blog by BrainPad
「データ活用をより多くの人が、より効率的に実施できるようになる取り組み」をエンジニア観点から自発的に実施するカルチャーを持つ、自社開発プロダクト「Rtoaster（アールトースター）」のエンジニアチーム。今回は、データ基盤チームで作成した BigQuery でのテストシステムを紹介します！ こんにちは、プロダクトビジネス本部開発部の柴内（データ基盤チーム）です。今回は、自社製品である「Rtoaster」プロダクトのデータ基盤チームで作成した BigQuery でのテストシステムについてご紹介します。 背景 データ基盤チームでは、 Rtoaster製品からリアルタイムに連携される、WebやアプリのトラッキングといったデータをGCSや BigQuery に蓄積するデータレイク データレイクにあるデータを BigQuery で加工・変換して利用しやすい形式にしたデータマートやデータウェアハウス
About Menu Toggle CDS Overview Diversity, Equity, & Inclusion (DEI) Menu Toggle About Community Partners Program Stats & Plans Employment Contact Admissions Menu Toggle Admissions Overview Master’s Admissions Menu Toggle Program Overview Admissions Requirements FAQ Financial Aid & Fellowships Admissions Ambassadors PhD Admissions Menu Toggle Program Overview Areas & Faculty Admissions Requirements
Clubhouse Data Leak - 1.3M SQL Database Leaked Online | Cybernews
So far, it seems like it’s been the worst week of the year for social media platforms in terms of data leaks, with Clubhouse seemingly joining the fray. Days after scraped data from more than a billion Facebook and LinkedIn profiles, collectively speaking, was put for sale online, it looks like now it's Clubhouse’s turn. The upstart platform seems to have experienced the same fate, with an SQL dat
Google Data Analytics
Get on the fast track to a career in Data Analytics. In this certificate program, you'll learn in-demand skills at your own pace, no degree or experience required. Enroll today and get access to Google AI Essentials at no cost. Offer ends 11/30*
Cut costs, boost performance. Dragonfly is a drop-in Redis replacement, designed to meet the performance and efficiency requirements of modern cloud-based applications. Organizations that switch to Dragonfly require less hardware and achieve dramatically improved data performance.
Advanced Data Analysis（旧Code Interpreter）で何ができるのか試してみた｜IT navi
7月7日、OpenAIがChatGPT Plusの公式プラグインとしてCode Interpreter（8月にAdvanced Data Analysisに名称変更）の提供を開始しました。 Code Interpreterを利用することにより、ChatGPT上でPythonコードを生成、実行したり、ファイルをアップロード・ダウンロードしたりすることができます。 以前、ChatGPTのデータ分析プラグインのNoteableで、簡単な算数の問題を解いたり、データ分析をしたりしましたが、Code Interpreterでも同じことができるのかどうか確かめてみました。 １．Code Interpreterの概要と使い方(1) Code Interpreterの概要Code Interpreterは、ChatGPTの機能を拡張する公式プラグインであり、以下のようなことができます。 Pythonコード
Andreas Andreakis, Ioannis Papapanagiotou OverviewChange-Data-Capture (CDC) allows capturing committed changes from a database in real-time and propagating those changes to downstream consumers [1][2]. CDC is becoming increasingly popular for use cases that require keeping multiple heterogeneous datastores in sync (like MySQL and ElasticSearch) and addresses challenges that exist with traditional
2021年11月、米Treasure Dataは2億3400万ドル、日本円にして約270億円という巨額の資金調達を実施しました。出資を主導したのはソフトバンクで、日本人創業のスタートアップにこれほどの金額が投資されるのはかなりのレアケースといえます。 この大型投資を実現させた立役者が、2021年6月にTreasure DataのCEOに就任した太田一樹氏です。2011年12月にTreasure Data前CEOの芳川裕誠氏、Fluentdクリエーターの古橋貞之氏とともに、ビッグデータ企業のTreasure Dataを創業、太田氏はCTO（最高技術責任者）としてTreasure Dataの技術的方向性をリードしてきました。それから約10年が経過し、自社とIT業界の急激な変化に見舞われながらも、新たにCEOとして現在はCDPのトップベンダとなったTreasure Dataを率いていく決断をした
Java21とKotlinの代数的データ型 & パターンマッチの紹介と本当に嬉しい使い方 / Algebraic Data Type in Java and Kotlin: Happy Use of Pattern Match
JJUG CCC 2023 Fall で発表された内容です。 Java21ではパターンマッチがswitch式で正式に使えるようになります。 https://openjdk.org/jeps/441 これらの変更により型の検査がより強化されて、より実行時例外がすくなくコンパイル時に多くの実装ミスが検出できるようになります。 本セッションではJava21のパターンマッチに関する新機能にふれつつ、先んじて導入しているKotlinとの比較や、実際のプロジェクトでどのように活用するべきかについて話します。 型を使って実際に実装ミスをコンパイルフェーズで発見していくという内容は過去にKotlin Fest 2022で筆者が発表しており、今回はよりJava21の新機能とパターンマッチに着目して解説していく予定です。 https://jjug.doorkeeper.jp/events/164154
ストリーミングズンドコをKinesis Data Analyticsでキヨシ判定してみた | DevelopersIO
ズンドコキヨシ(プログラム)とは？ Javaの講義、試験が「自作関数を作り記述しなさい」って問題だったから 「ズン」「ドコ」のいずれかをランダムで出力し続けて「ズン」「ズン」「ズン」「ズン」「ドコ」の配列が出たら「キ・ヨ・シ！」って出力した後終了って関数作ったら満点で単位貰ってた — てくも (@kumiromilk) March 9, 2016 今回はこのズンドコキヨシを、Kinesis Data AnalyticsのSQL Applicationsでやってみました。 入力はKinesis Data Streamsに別のプログラムとして送っており、キヨシ判定後に終了しないため、もしかすると純粋ズンドコキヨシではないのかもしれませんが、あらかじめご承知おきください。 What if... 世界は変化し、あらゆるプログラムがズンドコを送るようになりました。 これに対応するため、あなたは多数の
2019年11月5日 Connehito Marché vol.6 〜機械学習・データ分析市〜 (https://connehito.connpass.com/event/149552/) でのLT資料です。 10分間の LT です。 データ分析プロジェクトを円滑に進めるために必要だと感じた「…
CDPとは何か？ CDP（Customer Data Platform：顧客データプラットフォーム）とは、マーケティング担当者向けにパッケージ化されたソフトウェアであり、一貫性のあるデータベース内のデータを収集して統合し、複数のソースからの情報をリンクして、顧客ごとに統一された単一のビューを構築します。顧客の購入履歴、好み、やり取りの記録などの情報を収集して集約します。CDPは他のシステムとリンクし、データを収集、管理、分析、共有して、ターゲットを絞ったカスタマイズされたマーケティング施策に活用できます。 デジタルアシスタントは、高度な人工知能(AI)、自然言語処理、自然言語理解、および機械学習を使用して学習し、パーソナライズされた会話のエクスペリエンスを提供します。購入の好み、家の所有権、場所、家族の人数などの履歴情報を組み合わせることで、アルゴリズムは行動パターンを識別するデータモデル
Amazon Kinesis Data Firehose now supports data delivery to HTTP endpoints
Amazon Kinesis Data Firehose now supports streaming data delivery to a generic HTTP endpoint. This feature enables you to use a fully managed service to stream data to an HTTP endpoint without building custom applications or worrying about operating and managing the data delivery infrastructure. Amazon Kinesis Data Firehose incorporates error handling, auto-scaling, transformation, conversion, agg
PostgreSQL Benchmarks: Apple ARM M1 MacBook Pro 2020 | Crunchy Data Blog
This graph is amazing to me: Of course Intel has Xeon processors that have pushed single core performance higher than these laptop-oriented Intel results. But look at that big cluster below 5 clients, showing how long they've been stuck in the same performance range when power and heat is limited. I mentioned last time Intel had only doubled performance in the 8 years of MacBook models I looked at
BigQueryのテーブルのメタデータをCloud Data Catalogで管理する - yasuhisa's blog
自分が使いたいと思ったBigQuery上のリソース(tableやview)、内容を事前に完全に把握できている、ということは結構少ないのではないかと思います。そういったときに手助けをしてくれるのがメタデータです。BigQueryのリソースに対するメタデータを、Cloud Data Catalogのタグとして付与する方法を紹介します。Cloud Data Catalogを使うことで、分析者が必要なリソースに素早く辿り付いたり、正確な分析をするためのサポートができます。 BigQuery関連のAudit logを元に、以下の情報をData Catalogのタグに入れた。 - 最後にクエリを投げた{日, 人} - クエリを投げられた回数 「あまり使われていないので、信用できないデータかも」「最後にXXXさんがクエリ投げてるから、詳細詳しいかも」みたいな用途を想定してる pic.twitter.co
Disclaimer: There are lies, damn lies, and benchmarks from some random person on the internet. If you are considering taking some of the advice in this post please remember to test your specific workloads, which might have different bottlenecks. Also the implementation quality in your particular software stack for your particular hardware matters a lot. For this post I’ll be playing with a ~5 GiB
dbt (data build tool) を使ってデータをテストする - CUBE SUGAR CONTAINER
ソフトウェアエンジニアリングの世界では、自動化されたテストを使ってコードの振る舞いを検証するのが当たり前になっている。 同じように、データエンジニアリングの世界でも、自動化されたテストを使ってデータの振る舞いを検証するのが望ましい。 データをテストするのに使える OSS のフレームワークも、いくつか存在する。 今回は、その中でも dbt (data build tool) を使ってデータをテストする方法について見ていく。 dbt 自体はデータのテストを主目的としたツールではないものの、テストに関する機能も備えている。 また、dbt には WebUI を備えたマネージドサービスとしての dbt Cloud と、CLI で操作するスタンドアロン版の dbt Core がある。 今回扱うのは後者の dbt Core になる。 使った環境は次のとおり。 $ sw_vers ProductName:
【連載】データ分析業界大激変。data.aiを飲み込むSensor Towerが起こす日本企業のマーケティング力革命……中山淳雄の「推しもオタクもグローバル」第93回 | gamebiz
【連載】データ分析業界大激変。data.aiを飲み込むSensor Towerが起こす日本企業のマーケティング力革命……中山淳雄の「推しもオタクもグローバル」第93回 今一番売れているアプリは毎月いくら稼ぐのか。日本・北米・アジア各国でどのくらいダウンロードされるのか。そうした「市場データを見る」ツールとして過去10年ずっとドミナントであった(上位100社の9割が使っている)data.ai社(旧App Annie)が2024年3月にその2番手Sensor Tower社に買収された(関連記事)。デジタルマーケターであれば皆が使っているようなサービスであっただけに、界隈では衝撃とともに受け止められた「小が大を飲み込む」話でもあった。今回の買収を通じて、日本企業のデジタルマーケティングは何か変わりうるのか。ゲーム業界に長く身をおき、Sensor Towerの日本代表を務める谷内氏にインタビューを
Part2 特徴量エンジニアリング 前回の振り返り... パート１では、実践的な多変量時系列予測モデルを構築するためのアプローチを紹介し、過去のKaggleコンペティション のデータセットを用いて、ベースラインとなるSeasonal Naiveモデルを作成しました。 今回のパート２では特徴量エンジニアリングを扱います。 時系列データの特徴量エンジニアリング NRIデータサイエンスブログへようこそ！NRIのデータサイエンティスト、時系列予測プラクティスチームのSatyakiです。 パート2では、特徴量エンジニアリング、特に時系列のMLモデルのトレーニングに使用される特徴量について説明します。 ARIMAやExponential Smoothingなどの伝統的な時系列モデルと異なり、機械学習モデルはクロスセクションデータを用いて学習させるため、それぞれの学習用サンプルは独立していると考えられま
If you would like to learn more about the IAEA’s work, sign up for our weekly updates containing our most important news, multimedia and more.
Joining CSV and JSON data with an in-memory SQLite database
19th June 2021 The new sqlite-utils memory command can import CSV and JSON data directly into an in-memory SQLite database, combine and query it using SQL and output the results as CSV, JSON or various other formats of plain text tables. sqlite-utils memory The new feature is part of sqlite-utils 3.10, which I released this morning. You can install it using brew install sqlite-utils or pip install
Working with JSON data in GoogleSQL | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Working with JSON data in GoogleSQL This document describes how to create a table with a JSON column, insert JSON data into a BigQuery table, and query JSON data. BigQuery natively supports JSON data using the JSON data type. JSON is a widely used format that allows for semi-structured data, becaus
BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestion編〜 / The Ultimate Data Platform Migration from BigQuery to Snowflake: Data Ingestion Edition
『みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP！』の発表資料です。 https://datatech-jp.connpass.com/event/319827/
一般公開された建物の設計図から、セキュリティ管理をバイパスする方法が判明あるペンテスター（ペネトレーションテスター：侵入テスト担当者）が、一般に公開されている建物の図面から見つけた隠し通路を経由して、データセンターへの侵入に成功したようです。 CyberGibbonsとして知られるペンテスターのAndrew Tierney氏は今週、一連のツイートで、トイレの裏にある配管技師の廊下を使ってデータセンターに侵入したことがあると明かしました。 「地下1階の低セキュリティな場所から、より高セキュリティな場所へアクセスする必要があった。建物の平面図を見ると、トイレの裏側に “piss corridor（小便通路） “と呼ぶべきものがあることがわかった」 Tierney氏は、貯水槽が隠されている建物では、配管工が簡単にアクセスできるように、部屋を折りたたみ式のパネルか、裏側に小さな通路を設計することが
ChatGPTのAdvanced Data Analysisで、デフォルトで存在しないライブラリを利用する方法 - Taste of Tech Topics
月がきれいな季節になってきましたが、花より団子なので月見団子や月見バーガーに目移りしてしまう菅野です。 前回ブログでは、diagramsを用いてAWSの構成図を描いてもらうPythonスクリプトを作成してもらいました。 acro-engineer.hatenablog.com そこでも記載した通り、Advanced Data Analysis（旧Code Interpreter）環境ではdiagramsのライブラリがインストールされていないため、Advanced Data Analysis上で構成図の生成はできませんでした。 しかし、ライブラリを自前でアップロードすることで、そのライブラリをAdvanced Data Analysisでも利用可能にできるようになるようです。 そこで今回は、やり方を変えて、Advanced Data Analysisを利用してAWS構成図の作成まで実行しても
GitHub - CatchTheTornado/askql: AskQL is a query language that can express any data request
AskQL is the next step after GraphQL and Serverless. With AskQL developers can attach scripts to queries that are executed serverside. The AskQL parser accepts the GraphQL query format so there's no learning curve. Because the scripts are executed serverside and the results can be cached it's great for Web Vitals and app performance. Think of it as a programmable GraphQL. Read a great articly on A
復帰で鮮明、失ってはならない世界最高のサーキット「鈴鹿」F1に対する警告の声 | Formula1-Data / F1情報・ニュース速報解説
2019年以来、3年ぶりに鈴鹿サーキットがF1に復帰した。ドライバーやファン、チーム関係者はこぞって歓喜・絶賛した。そして海外のジャーナリストはこの素晴らしいサーキットが失われないよう「戦わなければならない」とF1に警告した。 伝説的なジョン・フーゲンホルツによって設計された鈴鹿は1962年の完成以降、60年に渡って当時の姿を殆ど保ったまま数々の歴史を育み続けてきた。 Courtesy Of Honda Motor Co., Ltd 鈴鹿サーキット上空を飛行するホンダジェット、2019年10月13日に鈴鹿サーキットで開催されたF1日本GP決勝にて F1カレンダーの中で唯一無二の8の字型レイアウト、誰もが笑みを浮かべる高速のS字、デグナー、130R。ここでのグランプリレースの歴史と熱狂的なファン、そしてそんな彼らが作り出すこのスポーツに対する愛情が鈴鹿を世界最高のサーキット足らしめている。
GitHub - ewolfe/prlint: GitHub App for linting pull request meta data
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
OSSのコードに触れてゆったりRails力アップ！《devto: Data Upate Scripts編》
OSSのコードに触れてゆったりRails力アップ！《devto: Data Upate Scripts編》 駆け出しRailsエンジニアの方や、忙しくてスキルアップにリソースを割けないエンジニアの方向けに、 「良質なOSSから無理なくゆったりと学ぶためのガイド」というコンセプトで書いた本です。 OSSの題材としては爆速な技術記事投稿サービスとして有名なdevtoを選んでみました。 https://dev.to また、本書は「devtoからRailsを無理なくゆったりと学ぶためのガイド」というコンセプトでどういったコンテンツが作れるかを試した試作品でもあります。 試作品ということで、投げ銭形式（有料設定にした上で全編無料で公開）をとってみました。 本書を読んでみて価値を感じて頂けたなら、LIKEや購入をして頂けると本編を書く励みになります！
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - vercel/swr: React Hooks for Data Fetching
[DATAで見るケータイ業界] サービス停止が続く「フリーWi-Fi」の現状とこれから
![[DATAで見るケータイ業界] サービス停止が続く「フリーWi-Fi」の現状とこれから](https://cdn-ak-scissors.b.st-hatena.com/image/square/160b24033b4381e629453213f1fbce0adc34419a/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1432%2F349%2F20220816_2.png)
Python for Data Analysis, 3E
Data Movement in Netflix Studio via Data Mesh
Mathematical Tools For Data Science | NYU CDS
Dragonfly - The Fastest In-Memory Data Store
DBLog: A Generic Change-Data-Capture Framework
エンジニアには戻らない ―Treasure Data CEOとして太田一樹が挑む"目線を上げる経営" | gihyo.jp
社内での円滑なデータ分析のために / for-smooth-data-science
【図解】Customer Data Platform（CDP）の基礎を解説
Use Fast Data Algorithms | Joey Lynch's Site
時系列予測モデルの実践論２ －昔のKaggleを事例に－ - NRI Data Science BLOG
Data from Fukushima Daiichi ALPS Treated Water Discharge | IAEA
[DATAで見るケータイ業界] 市区町村の約半数は、キャリアショップがまったくない「空白地域」
![[DATAで見るケータイ業界] 市区町村の約半数は、キャリアショップがまったくない「空白地域」](https://cdn-ak-scissors.b.st-hatena.com/image/square/6c9cd58483ce6e73767b648eb99586fd1f18e073/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1337%2F109%2F01.png)
ペンテスターがトイレ裏の「小便通路」経由でデータセンターへの侵入に成功 | Data Center Café
[DATAで見るケータイ業界] 携帯各社の新料金プランの流れと今後
![[DATAで見るケータイ業界] 携帯各社の新料金プランの流れと今後](https://cdn-ak-scissors.b.st-hatena.com/image/square/e7b2f7811a66cf17b91e6132c343057903510ddf/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1302%2F345%2Fimage2.png)