Kinesis Data Analytics の「時間」と「ウィンドウクエリパターン」について理解する | DevelopersIO
先日より、Kinesis Data Analytics について学習をはじめています。 今回は、Kinesis Data Analytics のアプリケーション内データストリームで時系列データを扱うにあたって重要な「時間」と「ウィンドウクエリパターン」についての理解を深めていきます。 目次 アプリケーション内データストリームにおける「時間」 どの「時間」を使って分析する？ 2 ウィンドウ戦略 3つのウィンドウクエリ・パターン タンブリングウィンドウ Stagger Windows（ずらしウィンドウ） スライディングウィンドウ まとめ アプリケーション内データストリームにおける「時間」 アプリケーション内データストリームでは、以下 3 タイプの時間に分類されます。正しく分析結果を得るためには、それぞれの時間についての意味を正しく理解しましょう。 引用元：Amazon Kinesis Anal
The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches to testing the hypothesis with individual differences data
•Conventional tests of the Dunning-Kruger hypothesis are shown to be confounded. •The Glejser test is argued to be a valid test of the Dunning-Kruger hypothesis. •Nonlinear regression is argued to be a valid test of the Dunning-Kruger hypothesis. •Failed to identify the Dunning-Kruger effect with IQ data and both valid tests. The Dunning-Kruger hypothesis states that the degree to which people can
AWS WAFのログから特定Cookieの機密情報をKinesis Data Firehose + Lambda関数でマスクしてS3に保存するIaCをCDKで実装する - Qiita
AWS WAFのログから特定Cookieの機密情報をKinesis Data Firehose + Lambda関数でマスクしてS3に保存するIaCをCDKで実装するAWSwafaws-cdk AWS CDK Advent Calendar 2023の記事です。終わっても空いてた枠にシュルっと入りました。 NewsPicksのSREチームでセキュリティ周りも担当しているあんどぅといいます。 AWS WAFを利用する中で少しニッチな、しかし重要なロギングについてCDKで実装した例をご紹介します。 ボリュームが多いので、同じような構成でCDKを利用して実装する方の参考になれば幸いです。 WAFのログは重要。プライバシー保護も重要 同じアドカレ内でも書かれていますが、WAFを運用していると誤遮断がつきものなので、WAFのログは非常に重要です。 WAFのルールを適用する際は、COUNTモードで適用
GitHub - bevyengine/bevy: A refreshingly simple data-driven game engine built in Rust
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Announcing the Consortium for Python Data API Standards An initiative to develop API standards for n-dimensional arrays and dataframes 11 minute read Published: 17 Aug, 2020 Over the past few years, Python has exploded in popularity for data science, machine learning, deep learning and numerical computing. New frameworks pushing forward the state of the art in these fields are appearing every year
RubyKaigi 2022 - Fast data processing with Ruby and Apache Arrow #rubykaigi - 2022-09-13 - ククログ
株式会社クリアコード > ククログ > RubyKaigi 2022 - Fast data processing with Ruby and Apache Arrow #rubykaigi 関連リンク： スライド（Rabbit Slide Show） スライド（SlideShare） リポジトリー 内容 RubyKaigi Takeout 2021のRed ArrowのトークではRed Arrowを中心にできることをたくさん紹介しました。その発展形として今年は実際に使えそうな感じになっていることを紹介したかったので、高速データ処理機能にフォーカスすることにしました。が、採択されて資料を作り始めてみると「実際に使えそう」というには各機能の実装にもう少しブラッシュアップが必要なことがわかりました。なんと。。。 ということで、Apache Arrowを使って高速にデータ処理できる各種方法につい
AWS Certified Data Analytics – Specialty (DAS)を合格する上で、やってよかったことをまとめてみた | DevelopersIO
はじめに DASを合格する上で、ブラックベルトやUdemy、ブログなどで勉強しましたが、個人的にやってよかったことをまとめます。 ちなみに、私は、AWS歴2年弱で、データレイクに関するサービスは触ったことがありません。 資格は、Pro２つとANS、DBS，SCSを取得済みです。 試験範囲を確認 まず、試験範囲と試験内容の概要をざっと確認しましょう。 AWS Certified Data Analytics - Specialty (DAS-C01) 試験ガイド ブログ執筆時点では、試験範囲外として、AWS IoT Coreが挙げられていました。 また、試験範囲に、Amazon Kinesis (Kinesis Video Streams を除く)と記載があったため、Kinesis Video Streamsも試験範囲外です。 範囲外のサービスは、ノータッチでいきましょう。 試験範囲内のうち
Charty - Visualizing your data in Ruby at RubyConf Taiwan 2019
lotz on Twitter: "騙されたと思ってブラウザのURLバーに data:text/html,<html contenteditable> って打ってEnter押してみて タブがメモ帳になって超便利だから"
騙されたと思ってブラウザのURLバーに data:text/html,<html contenteditable> って打ってEnter押してみて タブがメモ帳になって超便利だから
DevOps for ML Data: Putting ML Into Production at Scale | Tecton
Getting machine learning (ML) into production is hard. In fact, it’s possibly an order of magnitude harder than getting traditional software deployed. As a result, most ML projects never see the light of production-day and many organizations simply give up on using ML to drive their products and customer experiences.1 From what we’ve seen, a fundamental blocker preventing many teams from building
日本のブロックチェーン関連企業は430社——マネックスクリプトバンク、業界レポート「Blockchain Data Book 2020」を発表 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
左から：コインチェック専門役員の大塚雄介氏、Blockchain Data Book 2020 を執筆・編集したマネックスクリプトバンクの安廣哲秀氏と福島健太氏 Image credit: Masaru Ikeda マネックスグループ（東証：8698）傘下のマネックスクリプトバンク（以下、MCB）は30日、日本の仮想通貨やブロックチェーンの業界動向を調査したレポート「Blockchain Data Book 2020」を発表した。このレポートは、本文約120ページ、データシート約600ページで、全編約720ページで構成。本文のみか全編の形態でデジタル形式で販売されるが、MCB の仮想通貨・ブロックチェーン特化企業データベース「LOOKBLOCK」の会員は無料で閲覧できる。 MCB では日本国内で登記されていたり、日本を主たる市場としてサービス提供したりしている仮想通貨やブロックチェーン関連
※2022/4/26更新 LINE株式会社 Data Science室の組織紹介資料です。
SourceThis Post will provide you a detailed end to end guide for using Pytorch for Tabular Data using a realistic example. By the end of this post, you will be able to build your Pytorch Model. A few things before we start:Courses: I started with both fast.ai courses and DeepLearning.ai specialization (Coursera). They gave me the basic knowledge about DeepLearning. The great Stanford cs231n is als
COVID-19: Latest Data - NYC Health
Latest Data This page shows the latest data and key metrics on COVID-19 in New York City. Summary Transmission Recent Trends By Neighborhood
GitHub - graphql-kit/graphql-faker: 🎲 Mock or extend your GraphQL API with faked data. No coding required.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
I like working with textual data. As for Computer Vision, in NLP nowadays there are a lot of ready accessible resources and opensource projects, which we can directly download or consume. Some of them are cool and permit us to speed up and bring to another level our…
現在の登録データ数 VTuber 1456人（うち231人引退確認済） キャラクターデザイナー 647人 Live2Dモデラー 137人 3Dモデラー 123人 グループ 190個（うち32個解散確認済） クリエイター 計2271人（重複なし） 絵文字 1857個 新しい"絵文字"を作る手順（運営ブログ記事） 1118人が推し絵文字（ファンマーク/推しマーク）を使用（絵文字 計610個） v-dataを使って推し絵文字を決めたVTuber
What’s Gone at Twitter? A Data Center, Janitors, Some Toilet Paper.
Elon Musk is looking for even more ways to cut costs at Twitter. After stopping some rent payments, the company is facing eviction from its Seattle offices.Credit...Patrick T. Fallon/Bloomberg Elon Musk’s orders were clear: Close the data center. Early on Christmas Eve, members of the billionaire’s staff flew to Sacramento — the site of one of Twitter’s three main computing storage facilities — to
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 当社自社開発プロダクト「Rtoaster」のAI機能「conomi-optimize」にも考え方を利用したアルゴリズムが使われている、多腕バンディッド問題。今回のブログでは、多腕バンディッド問題の内容と基本的な解法についてご紹介します！ こんにちは、アナリティクスサービス部の小野川です。 今回は多腕バンディット問題と呼ばれる問題の内容とその基本的な解法についてご紹介したいと思います。 多腕バンディット問題概要 多腕バンディット問題とは強化学習に含まれるもので、複数の選択肢のなかからよりよい選択肢、つまりより報酬を得られやすい選択肢を選ぶという問題です。 ビジネス現場でもWeb広告最適化やレコメンドなどで活用しうるもので、活用範囲は幅広くあります。(実は弊社の製品であるRtoasterでもこ
New macOS vulnerability, “powerdir,” could lead to unauthorized user data access | Microsoft Security Blog
Following our discovery of the “Shrootless” vulnerability, Microsoft uncovered a new macOS vulnerability, “powerdir,” that could allow an attacker to bypass the operating system’s Transparency, Consent, and Control (TCC) technology, thereby gaining unauthorized access to a user’s protected data. We shared our findings with Apple through Coordinated Vulnerability Disclosure (CVD) via Microsoft Secu
僕はmacからiPhoneに通知を送りたいだけなのに - hiroqn's [Data.ByteString.Lazy.ByteString]
序 macはappleで連携がiphoneで最高、そう思ってました。 ボタン一つでmacからiphoneに通知が送れてほしい。 時間のかかる長いコンパイルはtwitterをiphoneでみたい。 見たいtwitterはiphoneからに限る。 つまり、人はコンパイルが終わったらiphoneに通知がきてほしい。 破 調査した結果３パターンの提案手法を公開する。 リマインダー.app リマインダーをmacから登録することで、icloudを経由してiphoneに通知させる手法である。 ただ問題点があってリマインダーの仕様上1分以内のリマインダーを登録することができないらしい。 github.com 上のツールの作者が言ってた。ちなみにこれは雑に書かれたリマインダーにswiftで予定を登録するcli toolsで、サンプルとして使ってあげてほしい。 1分ぐらいの誤差を気にしなければこれでok Un
![僕はmacからiPhoneに通知を送りたいだけなのに - hiroqn's [Data.ByteString.Lazy.ByteString]](https://cdn-ak-scissors.b.st-hatena.com/image/square/95cb9aef5c0de0df26abd7c03f7f18667dacf432/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhiroqn%2F20190715%2F20190715195433.jpg)
Google: Monday outage unrelated to arc flash at Iowa data center
Google says data center 'electrical incident' unrelated to Monday's Google outageThree people are now in stable condition after sustaining serious burn injuries A Google Maps image of the Google Data Center in Council Bluffs, Iowa. Google Maps LATEST August 9, 11:27 a.m. Three electricians who were transported to a local hospital with burn injuries after an arc flash outside a Google data center a
【選考直結型】RECRUIT INTERNSHIP for Data Specialists 2024 | EVENT | Engineering at Recruit
※上記事例は全て社内セキュリティレベルと同様の環境下にて運用を行い、ご参加いただく学生の皆さんと機密保持に関する誓約を締結し、契約期間のみデータに触れることができる形で情報管理をしております。 過去の参加者の声 ・リクルートのデータスペシャリストとして１ヶ月半インターンシップに参加しました！ ・【リクルートインターン参加記】BigQueryの全社的なスロット利用状況を可視化するツールの制作 ・VertexAIを利用した機械学習モデルにおける評価・分析パイプラインの構築 こんな方にオススメ ・国内最大級の膨大なデータを扱い、プロダクトを改善するための施策立案〜推進、新たな機能の拡充・開発、中長期を見据えた事業戦略の提案など、データを使用した専門スキルをベースに新たな価値の創造に貢献したい方。 必須スキル・経験 ※下記のスキルのうちどれか一つ有している方を対象としています。 ・数理統計学/解析
Amazon Web Services ブログ AWS Data Wrangler v1.0がリリースされました 2019年9月、当ブログでもご紹介したAWS Data Wrangler(以下、Data Wrangler)のv1.0がリリースされました。 以前紹介したときと比べて、主にAmazon Redshift(以下、Redshift)・AWS Glueデータカタログとの連携強化、その他Amazon EMR・Amazon CloudWatch Logsとの連携が追加されており、全体的により使いやすくなりました。v1.0になったことに伴い、改めて「AWS Data Wranglerとは？」および「簡単なチュートリアル」についてご紹介します。 (*)ブログ下段に、2019年9月のブログ投稿以降に追加された主要アップデートのサマリーを記載しています。 AWS Data Wranglerとは？
GitHub - amaiya/onprem: A tool for running on-premises large language models with non-public data
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Tesla Fully Cooperates with Authorities in China Over Crash Killing Two, Data Show Accelerator Pedal Depressed
TeslaTesla Fully Cooperates with Authorities in China Over Crash Killing Two, Data Show Accelerator Pedal Depressed Image: CnEVPost Tesla is fully cooperating with the authorities on a crash that killed two and injured three. According to the company, the driver pressed the accelerator pedal the entire time of the incident, and did not brake, but quickly pressed the parking button several times. H
GitHub - organicmaps/organicmaps: 🍃 Organic Maps is a free Android & iOS offline maps app for travelers, tourists, hikers, and cyclists. It uses crowd-sourced OpenStreetMap data and is developed with love by MapsWithMe (MapsMe) founders and our community
🍃 Organic Maps is a free Android & iOS offline maps app for travelers, tourists, hikers, and cyclists. It uses crowd-sourced OpenStreetMap data and is developed with love by MapsWithMe (MapsMe) founders and our community. No ads, no tracking, no data collection, no crapware. Please donate to support the development!
Data Version Control による�実験管理の実務での適用事例 / An experiment management example by Data Version Control
■イベント ：第4回 MLOps 勉強会 https://mlops.connpass.com/event/202359/ ■登壇概要 タイトル：Data Version Control による�実験管理の実務での適用事例 発表者： DSOC R&D研究員 高橋 寛治 ▼Twitter https://twitter.com/SansanRandD
Y-E DATAとTEACが標準化を頑張ったUSB FDD（1.44MB、1998年頃～）：ロストメモリーズ File023 | テクノエッジ TechnoEdge
[名称] YD-8U00、FD-05PU （参考製品名 「LFD-31U/W」「UFD-01」ほか） [種類] 磁気ディスク [記録方法] 磁気記録 [サイズ] 約104×160×22.3mm（UFD-01） [接続] USB1.1（バスパワー） [容量] 720KB、1.2MB、1.44MB [登場年] 1998年頃～ ひとつ、またひとつと消えていき、記憶からも薄れつつあるリムーバブルメディア。この連載では、ゆるっと集めているメディアやドライブをふわっと紹介します。 ロストメモリーズの記事一覧「YD-8U00」はY-E DATA、「FD-05PU」はTEACが開発した、USB接続のフロッピーディスクドライブ（FDD）。独自仕様ではなく、USB-IFの規格に準拠したドライブとして登場しました。 1998年の時点ですでにフロッピーディスク（FD）は時代遅れとなり、あまり使われなくなっていまし
この記事はBASE Advent Calendar 2020の4日目の記事です。 devblog.thebase.in こんにちは、BASEのデータストラテジーチームを担当している鈴木（id:rmarl）です。 普段は、機械学習エンジニアやデータエンジニアメンバーと一緒にデータ活用の推進を行っております。 昨年のアドベントカレンダーでもDSチームの取り組みについて書かせていただきましたが、今年はより開発対象を拡大し、以下のような領域について開発を進めております。 ネットショップ作成サービス「BASE」をご利用のショップオーナー様への自動アドバイス、ショッピングアプリ「BASE」のユーザーへおすすめ商品のレコメンド 時系列分析やそれを活用したモデルの構築（BASE BANK） 異常検知 検索エンジンの精度向上 データ基盤の構築とBIツールの利用促進 このように開発領域が広がっていくにつれて、
MySQLのJSON Data Typeの値に対し、明示的なキャスト無しに `BETWEEN`, `IN()`, `GREATEST()`, `LEAST()` を使ってはならない - その手の平は尻もつかめるさ
表題の通り、MySQLのJSON Data Typeの値に対しては、明示的なキャスト無しに BETWEEN, IN(), GREATEST() そして LEAST() を使ってはいけません。 MySQLむずかしい pic.twitter.com/YKoadLbaG2— すぎゃーん💯 (@sugyan) 2021年9月7日 本記事はこれに係る話題で、id:sugyan さんに Slack で相談を受けて「僕もそれハマったことあるな」と調べたところ以下のドキュメントに辿りつきました。 dev.mysql.com これはMySQL 8.0のJSON Data Typeに関するドキュメントですが、このドキュメントの Comparison and Ordering of JSON Values というセクションに The following comparison operators and fun
iOS 16.2やmacOS 13.1 Ventura以降の「Advanced Data Protection for iCloud」でEnd-to-End暗号化されるデータのリストが公開。
iOS 16.2やmacOS 13.1 Ventura以降の「Advanced Data Protection for iCloud」でEnd-to-End暗号化されるデータのリストが公開されています。詳細は以下から。 Appleは現地時間2022年12月07日、2022年内から2023年にかけてiMessageとApple ID、iCloudのセキュリティを強化するため、3つのセキュリティ機能を追加すると発表し、その内の1つである「Advanced Data Protection for iCloud」では、iCloudバックアップやメモ、写真などがEnd-to-End(E2E)暗号化に対応するとコメントされていましたが、そのE2E暗号化に対応するデータのリストが公開されています。 Appleによると、本日RC版がリリースされた「iOS 16.2/iPadOS 16.2」や「macOS
こんにちは､びしょ～じょです｡ これは TypeScript アドベントカレンダー 2020 の3日目の記事です｡ ちなみに12月3日は冴草きいちゃんの誕生日です｡大変めでたいですね｡ 1. はじめに 関数型プログラミングといえばなんですか? はい円楽さん早かった! はいはい､ パターンマッチング､いいですね｡ パターンマッチングといえばプリミティブな数値や文字列のリテラルのみならず､ユーザが定義した型もその構造によってマッチできます｡回りくどい言い方をしましたが代数的データ型(Algebraic Data Types, ADTs)です｡ listing 1.1. 例えば OCamltype 'a option = | None | Some of 'a let to_default default o = match o with | None -> default | Some v -
「DWH・BIツールのこれまでとこれから」Data Engineering Study #1イベントレポート | trocco®(トロッコ)
データ基盤人材への需要が年々増えていることからも、企業のデータ活用はより注目を集めています。しかしゆずたそ氏によると、そこには「そもそもどのような基盤を作ればいいのか分からない」「基盤を作ったのに全然使われない」という2つの落とし穴があるそうです。そこで、実際に使われるデータ基盤の構築について、「使われるデータ基盤」構築の勘所を学ぶことをゴールに「なぜ作るのか（Why）」「どんな要素が必要なのか（What）」「どのように実現するのか（How）」の3つに分けて語られました。 ゆずたそ氏：「まずなぜ作るのか、この答えの1つは『お客様』のためです。特にレコメンドやAI活用が増えていく中でデータを活用すること自体が顧客の価値提供になっていきます。もう1つは『現場で働く人』のためです。しっかりとデータを見ながら現場の改善活動によって、業務が磨かれていきます。そして『経営』のためです。しっかり会社全体
Prefer Storing Data with Jetpack DataStore
Posted by Florina Muntenescu, Android Developer Advocate, Rohit Sathyanarayana, Software Engineer Welcome Jetpack DataStore, now in alpha - a new and improved data storage solution aimed at replacing SharedPreferences. Built on Kotlin coroutines and Flow, DataStore provides two different implementations: Proto DataStore, that lets you store typed objects (backed by protocol buffers) and Preference
GitHub - imoneoi/openchat: OpenChat: Advancing Open-source Language Models with Imperfect Data
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
アリババクラウドは、台湾をプライベートネットワークから切り離し、台湾ユーザーが同社のクラウドサービスに接続できないようにしました。 「アリババクラウド Cloud Enterprise Network（以下、CEN）のお客様へ。事業調整によりアリババクラウドは2022年6月30日からCENの中国（台湾）リージョンの運用を停止します 」と同社は短い声明の中で述べています。 CENは、アリババのグローバル・プライベート・ネットワーク上に構築されたネットワークで、データを送信したり他の地域や施設に接続するために利用できます。オンプレミスのデータセンターだけでなく、異なる場所にある異なる仮想プライベートクラウド（VPC）間の通信を促進するために使用できます。 同社のクラウドサービス 阿里云（Aliyun：アリユン） は台湾の顧客がCENを使用して他の地域とのネットワーク通信を確立することができなく
Generative Modeling by Estimating Gradients of the Data Distribution | Yang Song
Introduction Existing generative modeling techniques can largely be grouped into two categories based on how they represent probability distributions. likelihood-based models, which directly learn the distribution’s probability density (or mass) function via (approximate) maximum likelihood. Typical likelihood-based models include autoregressive models , normalizing flow models , energy-based mode
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Announcing the Consortium for Python Data API Standards
Charty - Visualizing your data in Ruby
Introduction of LINE Data Science Team
Deep Learning: using PyTorch for Tabular Data
Automate Data Cleaning with Unsupervised Learning
v-data - 推し絵文字・キャラデザ・モデラーでVTuber検索
[DATAで見るケータイ業界] キャリアショップ数は半年前から220店減少し全国7574店舗に
![[DATAで見るケータイ業界] キャリアショップ数は半年前から220店減少し全国7574店舗に](https://cdn-ak-scissors.b.st-hatena.com/image/square/eb0552d237d80547cd368d3faaba868dcb872e16/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1543%2F926%2F1.png)
多腕バンディット問題に触れてみる - Platinum Data Blog by BrainPad
AWS Data Wrangler v1.0がリリースされました | Amazon Web Services
Data Strategy チームの HackWeek の導入とその効果 - BASEプロダクトチームブログ
%25E7%25B6%25B2%25E7%25BE%2585%25E6%2580%25A7%25E5%2588%25A4%25E5%25AE%259A.html)
貧者の Algebraic Data Types と(浅い)網羅性判定
[DATAで見るケータイ業界] 曲がり角を迎える販売代理店業界
![[DATAで見るケータイ業界] 曲がり角を迎える販売代理店業界](https://cdn-ak-scissors.b.st-hatena.com/image/square/af8443de1792ffb56a8d7f5ec4fe4be4350d1667/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1284%2F363%2F20201020_1.jpg)
アリババ、台湾をクラウドネットワークから切り離す | Data Center Café