データレイクの新しいカタチ：Open Table Formatの紹介 - 流沙河鎮
はじめに Open Table Formatは次世代のデータレイクの基盤となり得る技術で、徐々に導入事例(末尾に列挙)が増えてきているものの、日本での認知度は発展途上な印象がある。本記事ではOpen Table Format登場の背景を紹介する。執筆にあたって、Apache Iceberg: An Architectural Look Under the CoversとAWSにおける Hudi/Iceberg/Delta Lake の 使いどころと違いについてを特に参考にした。 Open Table Formatとは？ Open Table Formatとは、従来のデータレイクの技術的な課題&ユースケースの要請に応える形で登場した、データレイクに最適化されたテーブルフォーマットを指す概念で、上手く活用することでクエリプランニング、実行性能の最適化、効率的なUpdateやDelete、タイム
Hylo
Hylo (formely Val) is a programming language that leverages mutable value semantics and generic programming for high-level systems programming. Hylo aims to be: Fast by definition: Hylo is compiled ahead-of-time to machine code and relies on its type system to support in-place mutation and avoid unnecessary memory allocations. Hylo avoids hidden costs such as implicit copies and therefore avoids h
Analyzing Go Build Times
Go is often praised for its fast build times. While they are pretty quick, they are slow enough that I spend a lot of time waiting for them, enough that it prompted me to go down the rabbit hole of thoroughly analyzing them. This post covers all aspects of what makes Go builds fast or slow. Throughout this blog, we will use Istio as an example of real-world codebase. For reference on its size: $ t
五次元チェスのもう少し詳しい話 - 小文化学会の生活
五次元チェス、あるいは5D Chessというゲームがある。正式には5D Chess With Multiverse Time Travelという名前だ。 2020年の7月にリリースされたこのゲームは、日本語でもいくつかの紹介記事*1*2*3*4 が書かれ、Twitterでも何度か見かけた記憶があるので、それで知った人も多いのではないだろうか。 おそらく、ほとんどの人はこのゲームのコンセプトを知って面白いなと思い、しかし、それだけだっただろう。数％の人は購入を検討したかもしれないが、実際に購入したのは私のようなよっぽどの物好きだけに違いない。 これはいたって自然な流れであり、ネットではよくある話だ。しかし、実際に購入して遊んでみた結論として、このままで終わらせるのは少しもったいないなと私は思った。だから今この記事を書いている。要するに、この記事の目的は、もう少し詳細に五次元チェスを紹介するこ
日本における「名寄せ」と「照合」の黒歴史
健康保険証、銀行口座、年金記録――個人のマイナンバーに別人の情報がひも付けられるトラブルが後を絶たない。多くの事案に共通するのは、自治体や関係機関の職員が氏名や生年月日などを基にマイナンバーや住民データを照会した際に、誤って同姓同名の人の情報を引き出してひも付けてしまうというケースだ。 こうした情報のひも付けをする際、職員が住民データの照合や突合、本人確認に使うのが「氏名」「生年月日」「性別」「住所」、いわゆる基本4情報といわれるものだ。 だがこの4情報は、コンピューターによる自動処理とは絶望的に相性が悪い。例えば氏名は「邊」「邉」など旧字・異体字の揺らぎや外字の処理が煩雑なうえ、婚姻による改名もある。よくある氏名の場合、氏名も生年月日も同一というケースが頻発する。住所は時期によって変わるうえ、人によって書き方が「一丁目四番」から「1―4」まで一意ではない。 こうした曖昧な識別符号を代替す
Fuzzing Farm #4: 0-dayエクスプロイトの開発 [CVE-2022-24834]
著者：Dronex, ptr-yudai はじめに この記事は、Fuzzing Farmシリーズ全4章のパート4で、パート3の記事「Fuzzing Farm #3: パッチ解析とPoC開発」の続きです。 Fuzzing Farmチームでは、前回の記事で紹介したように、1-dayエクスプロイトだけでなく0-dayエクスプロイトの開発にも取り組んでいます。Fuzzing Farmシリーズ最終章では、弊社エンジニアが発見した0-dayと、そのエクスプロイト開発について解説します。 我々は1年以上前の2022年4月の段階で、CVE-2022-24834に該当するRedisの脆弱性を発見し、RCE（Remote Code Execution; 任意コマンド実行）エクスプロイトの開発を完了していました。ベンダ側も修正を急いでくれましたが、利用者側の対応に時間を要したため、前回パート3の記事から今回の投
![Fuzzing Farm #4: 0-dayエクスプロイトの開発 [CVE-2022-24834]](https://cdn-ak-scissors.b.st-hatena.com/image/square/4e5ac5baf736fb766ab8a7937adbafd253f9026c/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEgbIQH5cqe2SUkJLWXDDADjbJrKrPvLiVVuTLPsKWUu9dHp9kJcD9bOjlQcvR6_XSbLYiSr5zclxktrFU_MfirSHvkkvb6dySo-ZzVn9-NKMBLWO30nZ1irAFp4GNvNVqr_-cLxSgR7_QonQXufjQse5SGXsOmtcnnIT0ZfV7speDIV9IQZdVSe_2nvMrLp%2Fw1200-h630-p-k-no-nu%2F02.png)
10NES
I am a big fan of Street Fighter 2. Certainly not the greatest but likely among the nerdiest since I wrote an entire book about its platform[1]. It won't be a surprise to learn that, back in December 1992, I was eagerly waiting for the Super Nintendo port so I could stop sinking my rare 10 Francs coins into the arcades. USA readers may wonder why I was waiting for the release of a game already pub
Simply Parse in C
by Chloe Kudryavtsev People are terrified of parsers and parsing. To the point of using magical libraries with custom syntaxes to learn just to get started. In the hopes of completely shattering this preconception, I will write a parser for the “ini” file format in about 150 lines of pure and readable ISO C99. Furthermore, this parser will be something that's nice to use and has error correcting f
Ferrocene
Ferrocene Rust for critical systems, enabling engineers to ship safe and correct code, faster. Ferrocene is an open source qualified Rust compiler toolchain. With this, Ferrous Systems invested its decade of Rust experience to make Rust a first-class language for mission-critical and functional safety systems. For its first release, Ferrocene 23.06 is a ISO 26262 (ASIL D) and IEC 61508 (SIL 4) qua
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
I'm moving my projects off GitHub | nicole@web
bfs 3.0: the fastest find yet! - tavianator.com
A visual tree iterator in Rust
Windowsのログオン時に実行されるはずのタスクが実行されない謎、答えは至極単純だった
The Most Elegant Search Structure | (a,b)-trees
Getting started with Rust and WebAssembly
The Upcoming Release Postponed Two More Weeks and Lacks Async Functions ⚡ Zig Programming Language