You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - haoel/downsampling: downsampling time series data algorithm in Go
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
data-structures
Welcome / Contents / Discussion / How to Write / Members / Binary Heap / Dynamic Segment Tree / Skew Binary List / Pairing Heap / Sparse Table / Sliding Window Aggregation / Fenwick Tree / Lazy Segmen
GunosyがCDO （Chief Data Officer）ポジションを新設。定義・役割を徹底解説［寄稿］ | キャリアハック（CAREER HACK）
CDO（Chief Data Officer）とはどのようなポジションか。データドリブンを掲げてきたGunosyのCDO（最高データ責任者）、大曽根 圭輔さんによる解説記事（寄稿）をお届けする。 【著者プロフィール】 株式会社Gunosy 取締役 CDO 大曽根 圭輔 筑波大学大学院システム情報工学研究科博士後期課程修了。博士（工学）。株式会社サイバードにてデータ分析部門立ち上げ等を担当後、株式会社Gunosyへ入社。2018年9月より執行役員メディア事業本部、「グノシー」 事業担当を務める。 そもそもCDOとは何か？（求められる要件・スキル） まずGunosyにおけるCDO （Chief Data Officer）をご説明する前に、そもそものCDOについてご紹介します。 CDOは、最高データ責任者のこと。ほかのC-Suite（CEO、CFOなど）と比べると歴史が浅く、明確な定義はありませ
Logica: organizing your data queries, making them universally reusable and fun
The latest news from Google on open source releases, major projects, events, and student outreach programs. Logica: organizing your data queries, making them universally reusable and fun We present Logica, a novel open source Logic Programming language. A successor to Yedalog (a language developed at Google earlier) it is a Datalog-like logic programming language. Logica code compiles to SQL and r
Posted on August 17, 2023 Lua, in the realm of Neovim, is a curious companion. For personal configuration tweaks, it’s incredibly responsive, giving me immediate feedback. Moreover, when I’m uncertain about an idea’s potential, Lua offers a forgiving platform for prototyping without commitment. Yet, as the maintainer of a few plugins, who otherwise works with Haskell professionally, I have mixed f
Data Engineering Study #9「企業規模別に見る、データエンジニア組織の作り方」での発表資料
Why Java's Records Are Better* Than Lombok's @Data and Kotlin's Data Classes // nipafx
While all three remove boilerplate, the similarities don't go much further. Records have stronger semantics with important downstream benefits, which makes them better*. (* not always; depends on circumstances; excuse the clickbait)
Apache AGE, Graph database optimized for fast analysis and real-time data processing. It is provided as an extension to PostgreSQL.
Apache AGE Graph Database for PostgreSQL Apache AGE is a PostgreSQL Graph database compatible with PostgreSQL's distributed assets and leverages graph data structures to analyze and use relationships and patterns in data. Get Started with Apache AGE Download Apache AGE Apache AGE® is a PostgreSQL that provides graph database functionality. The goal of Apache AGE® is to provide graph data processin
はじめに heyのデータチームで働いている田島です。 2021年の上半期、heyのデータチームは、エンジニアとアナリストが協力して統合データ基盤をゼロから作り上げてきました。 なぜゼロから作る必要があったか説明するために、簡単にheyの成り立ちとサービスを紹介します。heyは、中小企業や個人事業者にサービスを提供する3社が統合されてできた会社であり、現在では、ネットショップ開設・POSレジ・キャッシュレス決済・オンライン予約システムと、お店のデジタル化をまるっとサポートするための、4つのサービスをSTORESブランドのもと展開しています。 データチームの役割は、これらのサービスを横断して様々な切り口で分析し、オーナーさん（お店を運営する企業や個人の方を社内ではオーナーさんと呼んでいます）と事業にとって望ましい方向へ進むように意思決定をサポートします。社内の様々なチームのミッションに寄り添い
AWS、自然言語による指示で面倒だったETLスクリプトを自動生成してくれる「Amazon Q data integration in AWS Glue」プレビュー公開
AWS、自然言語による指示で面倒だったETLスクリプトを自動生成してくれる「Amazon Q data integration in AWS Glue」プレビュー公開 AWSは、ファイルやデータベースなどのデータソースからデータウェアハウスへデータを集積する際のデータ変換や転送処理などのスクリプトを、自然言語による説明から自動的に生成してくれる新サービス「Amazon Q data integration in AWS Glue」のプレビュー公開を発表しました。 Amazon Qは、昨年（2023年）11月に開催されたイベント「AWS re:Invent 2023」で発表された生成AIサービスです。このAmazon QをETLサービスであるAWS Glueと統合することも、AWS re:Invent 2023で予告されていました。 参考：［速報］AWS、Copilot対抗となる「Amazo
Economics Meets Data Science: The Structural Estimation Series, Part I - Sansan Tech Blog
Hey there! I'm Juan (ファン), a researcher at DSOC's Social Science Team. Since this is probably the first time you read me, I thought of briefly introducing myself. I was born in El Salvador, Central America, which explains why you'll find some Español here and there in my posts. I majored in Economics when studying the undergrad back at home, then came to Japan in 2011, graduated from the PhD in Ec
本記事では、今注目されているデータカタログの一つ data.world について紹介とデモを行なっていきます。 そもそも、「データカタログって何？」という方のために軽く説明しておきますと、データカタログとはざっくり、 データベース・データレイク内のデータに対して、概要や特徴量、関連性などをまとめて一覧化しておくサービス です。え、それだけ？と思われるかもしれませんが、現代のデータ基盤はデータソースの数も増加してますし、BIなどから参照する分析用のデータ（データマート）の数も増加していることから、「とりあえずどんなデータがあるのか、ざっくり知りたいんだよね〜。」といったニーズが増えつつあります。 data.worldについて data.worldは、2015年にアメリカのテキサス州で創業されたデータカタログのベンチャー企業です。data.worldは元々、データに関するオープンなコミュニティ
はてなサマーインターン行ってきました - hiroqn's [Data.ByteString.Lazy.ByteString]
はじめに まず最初にdisclaimerを書かせてもらうと2015年の話です。この記事はインターンに参加したあと5年の月日が流れた30歳の労働者が書いている。 ちょうどはてなインターンが終わって「今から就活だな〜」みたいに考えている人が書いた記事ではない。 なぜ書いたか 事の発端といえば、何の因果か、今ははてなインターンのチームで同じだった id:SWIMATH2 と働いている。 別に急な話ではなくてもう3年以上一緒に働いているのだが、逆に3年働いていると世間話をする機会が出てくる。 そこで急に当時のインターンの話になったので過去サイトを見ながらを振り返っていたら、「（インターンの）参加記録を書いてくれると思ってたのに〜」と言われてしまった。 hatenacorp.jp 最初、自分の記事リンクされてね〜〜〜って思ったけどそもそも書いた事実がなかった。疑ってすみませんでした。 そして、懐かし
![はてなサマーインターン行ってきました - hiroqn's [Data.ByteString.Lazy.ByteString]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7bece15455cbd013eeee7f501131b0fb15e72118/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhiroqn%2F20200911%2F20200911061424.png)
Facebookを運営するMetaがあらゆる分野に適応できる自己学習型AI「Data2vec」を開発したと発表しました。 Data2vec: The first high-performance self-supervised algorithm that works for speech, vision, and text https://ai.facebook.com/blog/the-first-high-performance-self-supervised-algorithm-that-works-for-speech-vision-and-text Introducing the First Self-Supervised Algorithm for Speech, Vision and Text | Meta https://about.fb.com/news/2022/01
NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models
NVIDIA today announced Nemotron-4 340B, a family of open models that developers can use to generate synthetic data for training large language models (LLMs) for commercial applications across healthcare, finance, manufacturing, retail and every other industry. High-quality training data plays a critical role in the performance, accuracy and quality of responses from a custom LLM — but robust datas
macOS 10.15 Catalinaへのアップグレードで作成されるユーザーデータ・ボリューム「Macintosh HD – Data」を消去するとどうなるのか？
macOS 10.15 Catalinaアップグレード後に作成されるユーザーデータ領域「Macintosh HD – Data」を消去するした場合どうなるのかを確認してみました。詳細は以下から。 先週末、macOS 10.15 Catalinaへアップグレードされた方から「macOS Catalinaにアップグレードした後、『Macintosh HD – Data』というボリュームを削除したんだけど…」という連絡を頂いたのでその時の備忘録です。 結論からいうと、以下(Fig.1)の”APFS Container A”からユーザーデータボリュームを削除するとmacOSが起動しなくなります。既知の通り、AppleはmacOS CatalinaでAPFSコンテナの機能を利用しmacOSのシステムボリュームとユーザーデータボリュームを分けるレイアウトを採用、システムボリューム(Macintosh
Welcoming Dataform to BigQuery: Create and manage your data transformations within your data warehouse | Google Cloud Blog
Dataform is joining Google Cloud: Deploy data transformations with SQL in BigQuery The value of data—and the insights it contains—only continues to grow, and Google has invested in technologies to empower teams to do more with that data for more than a decade. We were honored to be named a Leader in Gartner’s first-ever Magic Quadrant for Cloud Database Management Systems (DBMS). BigQuery, our clo
Bonfire Data Analyst #2 に参加してきた ( テーマ：データの可視化 ) #yjbonfire | DevelopersIO
今年6月末に第1回が開催されたヤフーさん主催の「Bonfire Data Analyst」。 この度、第2回のイベントが開催されていたので「ブログで感想枠」にて参加してきました。当エントリはその参加レポートとなります。 Bonfire Data Analyst #2 - connpass 目次 イベントレポート イントロ＆乾杯 ベンチャーから始めるデータの可視化 ヤフーにおけるデータの可視化 データ可視化の研究って何をしているの？何の役に立つ？ まとめ イベントレポート 開催会場はヤフー株式会社 LODGE@紀尾井町。 LODGE -Yahoo! JAPANのオフィス内に誕生した日本最大級のコワーキングスペース- 広大(マジ広かった！)なフロアの一角に設けられたスペースを利用する形でイベントが進められました。 イントロ＆乾杯 まずはじめに、ヤフー株式会社 藤木 貴之氏より乾杯の挨拶とイベン
Server Actions and MutationsServer Actions are asynchronous functions that are executed on the server. They can be used in Server and Client Components to handle form submissions and data mutations in Next.js applications. 🎥 Watch: Learn more about forms and mutations with Server Actions → YouTube (10 minutes). Convention A Server Action can be defined with the React "use server" directive. You c
Toyota Suffered a Data Breach by Accidentally Exposing A Secret Key Publicly On GitHub
Toyota Suffered a Data Breach by Accidentally Exposing A Secret Key Publicly On GitHub
OpenMetadata: The Best Open Source Data Catalog Solution
OpenMetadata SaaS Trial Offer! Go ahead & access the full suite of features to rebuild trust in your data. OpenMetadataA Single Place to Discover, Collaborate and get your Data RightUnlock the value of data assets with an end-to-end metadata management solution that includes data discovery, governance, data quality, observability, and people collaboration.
GitHub - codenotary/immudb: immudb - immutable database based on zero trust, SQL/Key-Value/Document model, tamperproof, data change history
Don't forget to ⭐ this repo if you like immudb! 🎉 23M pulls from docker hub! Detailed documentation can be found at https://docs.immudb.io/ immudb is a database with built-in cryptographic proof and verification. It tracks changes in sensitive data and the integrity of the history will be protected by the clients, without the need to trust the database. It can operate as a key-value store, as a d
User Privacy and Data Use - App Store - Apple Developer
User privacy and data use The App Store is designed to be a safe and trusted place for users to discover apps created by talented developers around the world. Apps on the App Store are held to a high standard for privacy, security, and content because nothing is more important than maintaining users’ trust. In order to submit new apps and app updates, you need to provide information about some of
20230421_DS協会のChatGPTセミナーが凄かった件(大城、正式版、4/23、4/24更新)｜ChatGPT部 Produced by NOB DATA
おはようございます、ChatGPT部、部長の大城です。今日は私も所属しているDS協会の本体の方のセミナーについての参加後レポートです。 (先日こちらの速報でも投稿させて頂いたものですね。4/21のもの。) なお4600人という参加者の影響か、前半、techplayが繋がらず、後半直接youtubeのURLに切り替わりましたが最初は配信トラブル等ありましたので、後日参加者には資料やアーカイブが配信されると思いますので、一旦ドラフト版という形でUPしておきます。(ChatGPT関係の開発をやっていく人は今からでももし申し込めるなら申し込んだ方が良いかも・・？？MS社員の方によるすごくいいセッションでした) 2023/4/24追記：動画アーカイブも公開されました・・！！https://twitter.com/hiro_gamo/status/1650350145815592960?s=20 #D
MySQLのREPEATABLE READとREAD COMMITTEDのロック状況をdata_locksから観察する - $shibayu36->blog;
前回MySQLのREPEATABLE READとREAD COMMITTEDの違いを知るために色々試した - $shibayu36->blog;という記事を書いたところ、yoku0825さんにMySQL 8.0以降だとperformance_schema.data_locksが使えると教えてもらったので試した。 ちなみに、後ろからロックがぶつかるクエリを実行しなくても、MySQL 8.0だとSELECT * FROM performance_schema.data_locksでロックの範囲を確かめることができます。 ギャップつきロックがInnoDBのスタンダードで、X lockがレコードとギャップのロック、X not gapが単なるレコードロックになります— yoku0825 (@yoku0825) February 27, 2024 テーブル定義 CREATE TABLE `posts`
「Data Platform Meetup#1」を開催しました & 全発表レポート #DPM - Retty Tech Blog
こんにちはRettyの二見です。9/5にRettyでData Platform Meetup #1を開催しましたので、イベントレポを考察を兼ねて書きたいと思います！ Data Platform Meetupは、自社のデータプラットフォームを設計/開発/利用している方がノウハウを発表したりカジュアルに情報交換できるイベントです。 発表者は Retty 竹野 @takegue yuzutas0さん @yuzutas0 エウレカ 鉄本さん @tamaki0506 メルカリ 石田さん @shoei と各社から豪華な方々に来ていただきました！ 100名の募集に対して200名近くの応募があり、大盛り上がりのイベントとなりました。 カルチャーとエンジニアリングを繋ぐデータプラットフォーム（Retty：竹野） データレイク構築後の四方山話（yuzutas0さん） DataPlatform構築プロジェクト推
Data Scientist 向けに Wantedly の推薦基盤を支える Argo Workflow や Kubernetes などのインフラ、New Relic や Datadog などの SaaS を紹介する速習会をしました！ | Wantedly Engineer Blog
Data Scientist 向けに Wantedly の推薦基盤を支える Argo Workflow や Kubernetes などのインフラ、New Relic や Datadog などの SaaS を紹介する速習会をしました！ こんにちは。最近 Infrastructure チームから Matching チームへ異動した笠井（@unblee）です。 Matching チームは Wantedly Visit におけるユーザと企業の理想のマッチングを実現するために推薦システムの改良や、データサイエンスを活用したプロダクト開発に責任を持ち、現在 ML 基盤を作るサブチーム 2人（+内定インターン1人）、Data Scientist 4人が所属しています。 この記事は、チーム内の Data Scientist に対して社内で利用しているインフラ周りの知識、具体的には 利用している SaaS（
Compositional LayoutとDiffable Data Sourceを使ってiOSアプリのつくれぽ詳細画面を実装する - クックパッド開発者ブログ
クックパッドの事業開発部でiOSエンジニアをしている角田(id:muchan611)です。普段はクックパッドiOSアプリの検索に関する機能を開発しています。 クックパッドの基本的な機能のひとつである「つくれぽ」を表示する「つくれぽ詳細画面」を、UICollectionViewCompositionalLayoutやUICollectionViewDiffableDataSourceを使って実装したので、その過程や実装方針についてご紹介します。 背景 つくれぽとは、クックパッドのレシピを見て料理をした人が、その料理を他の人におすすめするために投稿するもので、検索ユーザーはつくれぽ通してレシピを探せるようになっています。 事業開発部では「つくれぽからレシピを決める」体験を増やす取組みを行っていますが、各施策の方針を決定するために、多くのユーザーインタビュー(※)や数値分析を実施し判断材料を得て
https://forkwell.connpass.com/event/263245/ こちらのイベントの登壇内容です。
GitHub - redpanda-data/console: Redpanda Console is a developer-friendly UI for managing your Kafka/Redpanda workloads. Console gives you a simple, interactive approach for gaining visibility into your topics, masking data, managing consumer groups, and e
Message viewer: Explore your topics' messages in our message viewer through ad-hoc queries and dynamic filters. Find any message you want using JavaScript functions to filter messages. Supported encodings are: JSON, Avro, Protobuf, XML, MessagePack, Text and Binary (hex view). The used encoding (except Protobuf) is recognized automatically. Consumer groups: List all your active consumer groups alo
Spark(DataProc)からBigQuery MLに移行してコストを削減した話 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 自社開発サービスである「Rtoaster（アールトースター）」は、2019年にユーザー分析機能の「自動クラスタリング機能」をSpark(DataProc)からBigQueryMLに移行しました。 ブレインパッドの新卒2年目の自社サービス開発エンジニアが、新卒1年目で取り組んだ、この大きなプロジェクトでの経験についてご紹介します！ はじめに 背景 ユーザー分析機能と自動クラスタリング 移行前の環境と問題点 BigQuery ML について 実装 モデル移行の実装 結果 料金の削減 実行時間の削減 運用の問題解消 最後に はじめに 本記事は、ブレインパッドの自社サービスである「Rtoaster（アールトースター）」のユーザー分析機能のチームで開発をしている、新卒入社2年目のエンジニア柴内がお送
Kinesis Data Analytics の「時間」と「ウィンドウクエリパターン」について理解する | DevelopersIO
先日より、Kinesis Data Analytics について学習をはじめています。 今回は、Kinesis Data Analytics のアプリケーション内データストリームで時系列データを扱うにあたって重要な「時間」と「ウィンドウクエリパターン」についての理解を深めていきます。 目次 アプリケーション内データストリームにおける「時間」 どの「時間」を使って分析する？ 2 ウィンドウ戦略 3つのウィンドウクエリ・パターン タンブリングウィンドウ Stagger Windows（ずらしウィンドウ） スライディングウィンドウ まとめ アプリケーション内データストリームにおける「時間」 アプリケーション内データストリームでは、以下 3 タイプの時間に分類されます。正しく分析結果を得るためには、それぞれの時間についての意味を正しく理解しましょう。 引用元：Amazon Kinesis Anal
The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches to testing the hypothesis with individual differences data
•Conventional tests of the Dunning-Kruger hypothesis are shown to be confounded. •The Glejser test is argued to be a valid test of the Dunning-Kruger hypothesis. •Nonlinear regression is argued to be a valid test of the Dunning-Kruger hypothesis. •Failed to identify the Dunning-Kruger effect with IQ data and both valid tests. The Dunning-Kruger hypothesis states that the degree to which people can
AWS WAFのログから特定Cookieの機密情報をKinesis Data Firehose + Lambda関数でマスクしてS3に保存するIaCをCDKで実装する - Qiita
AWS WAFのログから特定Cookieの機密情報をKinesis Data Firehose + Lambda関数でマスクしてS3に保存するIaCをCDKで実装するAWSwafaws-cdk AWS CDK Advent Calendar 2023の記事です。終わっても空いてた枠にシュルっと入りました。 NewsPicksのSREチームでセキュリティ周りも担当しているあんどぅといいます。 AWS WAFを利用する中で少しニッチな、しかし重要なロギングについてCDKで実装した例をご紹介します。 ボリュームが多いので、同じような構成でCDKを利用して実装する方の参考になれば幸いです。 WAFのログは重要。プライバシー保護も重要 同じアドカレ内でも書かれていますが、WAFを運用していると誤遮断がつきものなので、WAFのログは非常に重要です。 WAFのルールを適用する際は、COUNTモードで適用
GitHub - bevyengine/bevy: A refreshingly simple data-driven game engine built in Rust
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Announcing the Consortium for Python Data API Standards An initiative to develop API standards for n-dimensional arrays and dataframes 11 minute read Published: 17 Aug, 2020 Over the past few years, Python has exploded in popularity for data science, machine learning, deep learning and numerical computing. New frameworks pushing forward the state of the art in these fields are appearing every year
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mrcjkb.dev - Algebraic data types in Lua (Almost)
Data Engineering Study #9 Classiのデータ組織の歩み
サービス横断の分析を支えるheyのデータマート運用 - hey Data Team Blog
オープンなコミュニティ志向のデータカタログ「data.world」を試してみた | DevelopersIO
Metaが言語・画像・音声など複数分野に適応できる自己学習型AI「data2vec」を発表
Data Fetching: Server Actions and Mutations | Next.js
[DATAで見るケータイ業界] 契約数とARPUのトレンドから、ドコモ・KDDI・ソフトバンク大手3社の状況を整理する
![[DATAで見るケータイ業界] 契約数とARPUのトレンドから、ドコモ・KDDI・ソフトバンク大手3社の状況を整理する](https://cdn-ak-scissors.b.st-hatena.com/image/square/7baaee002258bde5ce5875e529bedfd349b4890f/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1473%2F555%2F20230125_1.png)
[DATAで見るケータイ業界] 楽天モバイルへのプラチナバンド割当問題と携帯各社が保有する周波数を整理する
![[DATAで見るケータイ業界] 楽天モバイルへのプラチナバンド割当問題と携帯各社が保有する周波数を整理する](https://cdn-ak-scissors.b.st-hatena.com/image/square/0d7ebf9e3b89365bec73e1f2ddf8ce5fa50520a9/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1500%2F037%2F20230509_2.png)
[DATAで見るケータイ業界] 「ahamo」「povo」「SoftBank on LINE」の対応機種は？
![[DATAで見るケータイ業界] 「ahamo」「povo」「SoftBank on LINE」の対応機種は？](https://cdn-ak-scissors.b.st-hatena.com/image/square/3705342cf4b44d0227d9308c4c5c60be202fa32d/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1305%2F078%2F01.jpg)
M.2 SSD換装がより手軽に、外付けケース経由でのOS移行にも対応したSamsungのツールを試す 「Samsung Data Migration」が改良、NVMe SSDもUSB外付けケースで引越しOKに text by 芹澤 正芳
『エンタープライズ』という言葉の重さ 〜Data Vault 2.0をやめた2022年冬〜
Announcing the Consortium for Python Data API Standards