Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に
1. 背景 VPCエンドポイントを紹介する記事で「インターフェース型エンドポイント (AWS PrivateLink)」のような表現や、「PrivateLinkとは、AWSへのAPIアクセスをインターネットを経由せずに行えるインターフェースタイプのVPCエンドポイントです。インターフェースタイプはPrivateLinkと呼ばれています」といった説明をよく目にしたことがあるのではないでしょうか。 このような説明により、PrivateLinkがインターフェースVPCエンドポイントと同義だと誤解してしまう方が多いのではないかと懸念されます。 本記事では、AWS VPCエンドポイントの種類、その使い分け、そしてVPCエンドポイントとPrivateLinkの関係について整理します。 AWS VPCエンドポイントには以下の3種類があります。 ゲートウェイエンドポイント（Gateway Endpoint
ゲームファンから見たゲーム特許への願い
ゲームファンから見たゲーム特許への願い パテント 2023 － 40 － Vol. 76 No. 10 目次 1.はじめに・ゲームと一般家電との違い 2.プレイヤーの積み重なる時間と資産 3.プレイヤーの負の心理 4.ゲームの知的財産権について・前章 4.1 かつてゲームはパクられるものであった 4.2 世紀末の転機・コナミによる特許権行使 4.3 ソーシャルゲームの時代・著作権の限界 5.ゲームの特許権について・実例 6.ゲームの特許権で侵害が認定されたら 7.ソーシャルゲーム時代の爆弾 8.ゲーム特許にプレイヤーが希望する展開 9.終わりに・IoT とメタバースへの懸念 1.はじめに・ゲームと一般家電との違い 一家庭に同種の家電が大量にある状況というのはそれほど一般的ではない。各部屋に必須となりつつある冷房は 例外として、冷蔵庫や洗濯機が 3 台ある家はそうそうないだろう（1） 。とこ
中国で続くデフレ圧力が、ここへきて負のスパイラルに陥りつつある。世界２位の経済規模を持つ同国の景気見通し悪化につながりかねず、早期の政策対応を求める声が高まっている。 ９日に発表された中国の消費者物価指数（ＣＰＩ）統計では、所得が減少する中、食品価格を除けば経済の大部分で物価は辛うじて上昇しているに過ぎないことが確認された。 中国のデフレリスク拡大－コアは３年ぶり低い伸び、積極策必要か (3) ＢＮＰパリバなど複数行のアナリストとブルームバーグ・エコノミクスによれば、中国経済全体の物価動向を示す国内総生産（ＧＤＰ）デフレーターは、2025年もマイナスが続く見通し。今年４－６月（第２四半期）まで５四半期連続でマイナスとなっており、予想通りなら1993年のデータ開始後で最長のデフレ局面となる。 モルガン・スタンレーの中国担当チーフエコノミスト、邢自強氏は賃金の減少を挙げ、中国経済が「間違いなく
株式会社HIROTSUバイオサイエンスにより展開されている、線虫を用いた がん検査であるN-NOSEに関し、『臨床核医学』誌2024 Vol.57 No.5において、その性能が調査研究によって評価された事を紹介する記事が掲載されました。 『臨床核医学』誌（2024 Vol.57 No.5） 【PDF】https://www.rinshokaku.com/magazines/2024/57_5.pdf 当該研究は、施設を対象とした、回顧的なアンケートを用いた調査研究である事などから、バイアスに注意して検討する必要があり、N-NOSEの性能について決定的な評価をおこなえるようなものではありませんが、その結果は、 少なくともN-NOSEが高性能であるとは言えない 甲状腺がんなどのリザーバー（人口における、症状をあらわさない疾病を持つ貯蔵庫）を掘り起こしている可能性がある などを示唆しています。N
By Jose Fernandez, Sebastien Dabdoub, Jason Koch, Artem Tkachuk The Compute and Performance Engineering teams at Netflix regularly investigate performance issues in our multi-tenant environment. The first step is determining whether the problem originates from the application or the underlying infrastructure. One issue that often complicates this process is the "noisy neighbor" problem. On Titus,
We Spent $20 To Achieve RCE And Accidentally Became The Admins Of .MOBI
Welcome back to another watchTowr Labs blog. Brace yourselves, this is one of our most astounding discoveries. SummaryWhat started out as a bit of fun between colleagues while avoiding the Vegas heat and $20 bottles of water in our Black Hat hotel rooms - has now seemingly become a major incident. We recently performed research that started off "well-intentioned" (or as well-intentioned as we ever
Exploring Outdated Linux Command Line Tools: Move On to Better Alternatives
Why It’s Time to Move OnLinux is known for its rich command-line heritage, offering a wide array of powerful tools to accomplish almost any task. However, like all technology, some of these tools have become outdated, with better alternatives now available. While many administrators and power users may still rely on these obsolete tools out of habit or necessity, there are compelling reasons to mo
The Pragmatic Programmer for Machine Learning Engineering Analytics and Data Science Solutions Marco Scutari, Mauro Malvestio 2023-04-22 Preface Pitching new ideas by prefacing them with quotes like “Data scientist: the sexiest job of the 21st century” (Harvard Business Review 2012) or “Data is the new oil” (The Economist 2017) has become such a cliché that any audience (in business and academia a
Data Models
Click here for our new Courses on Database Design and Data Modelling. This page shows a list of our Industry-specific Data Models in 50 categories that cover Subject Areas and are used to create Enterprise Data Models. Here is an alphabetical list all of our 1,800+ Data Models . Click here to see where our Models are used. We have written a Short downloadable Tutorial on creating a Data Warehouse
Large Text Compression Benchmark Matt Mahoney Last update: Sept 19, 2024. history This competition ranks lossless data compression programs by the compressed size (including the size of the decompression program) of the first 109 bytes of the XML text dump of the English version of Wikipedia on Mar. 3, 2006. About the test data. The goal of this benchmark is not to find the best overall compress
中国では不動産市場が引き続き経済を圧迫する一方で、残る成長エンジンが息切れの兆しを見せており、ますます困難になる成長目標を達成するには政府の介入が急務だということを浮き彫りにしている。 中国政府が発表した８月の製造業購買担当者指数（ＰＭＩ）は、４カ月連続で活動縮小を示唆。また、住宅販売の落ち込みが深刻化していることが最新データで示されたほか、不動産開発大手の万科企業が発表した今年の上期決算が半期ベースで約20年ぶりの赤字となり、住宅不況の重圧が鮮明となった。 中国の製造業活動を測る民間指標の財新製造業ＰＭＩは８月に50.4と、活動拡大・縮小の境目である50を上回り、節目を割り込んでいた前月から回復したものの、警告サインも発している。生産の原材料コストは５カ月ぶりに低下し、製造業企業は競争力を維持するため販売価格を引き下げた。 China Seen Missing Growth Target
What's new in DevTools, Chrome 129 | Blog | Chrome for Developers
Recorder supports export to Puppeteer for Firefox As part of WebDriver BiDi support, the Recorder panel can now export recordings to Puppeteer for Firefox. With Puppeteer's support of Firefox, you can now record user flows using the Chrome DevTools Recorder panel, export them, and run them against both Firefox and Chrome. For more information, see WebDriver BiDi - The future of cross-browser autom
“Life can only be understood backwards; but it must be lived forwards.” — Kierkegaard I’m very pleased to announce the release of Factor 0.100! OS/CPU Windows Mac OS Linux x86 Source code: 0.100 This release is brought to you with over 1400 commits by the following individuals: Aditya Aryaman Das, Alex null Maestas, Alexander Ilin, Andy Kluger, Bhargav Shirin Nalamati, Charlie Weismann, Dave Carlt
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Parquetフォーマット概観 - 発明のための再発明
AWS PrivateLinkの真実：VPCエンドポイントとの関係性を徹底解説 - Qiita
中国のデフレスパイラル、危険な新局面入り－早期の措置が必要にも
HIROTSUバイオサイエンスの言う《感度》とは何か｜TAKESAN
Noisy Neighbor Detection with eBPF
https://www.npa.go.jp/publications/statistics/cybersecurity/data/R6kami/R06_kami_cyber_jousei.pdf
The Pragmatic Programmer for Machine Learning
Large Text Compression Benchmark
中国経済の逆風強まる、製造業と住宅指標悪化－政府支援強化求める声
Factor 0.100 now available – Re: Factor