Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に

はじめに 経緯 記事の方針 基本事項共有：ドライバの種類 DDについて BAについて 1DD KEFINE Delci：￥7000～10000 Maestraudio MA910SR アイドルマスターU149Edition：￥8000～10000 SIVGA Que：￥10000～12000 1DD+nBA ND X12：￥4500～7500 KZ ZS12 Pro X（スイッチ付き）：￥4800～8700 nBA KZ AS10 Pro：￥4500～11000 1PD NICEHCK F1 PRO ￥10000～￥15000 あとがき はじめに 経緯 ch1248.hatenadiary.jp ↑の記事を書いた後、古からのオーデイオ・オタクであるc_CさんにTRN ORCAが好評で、「次にもう少し高いイヤホンで良いものは無いか？」と聞かれたため、「これはシャッシャッと優秀なイヤホンを提示

スタッフエンジニアの道 - Forkwell Library #66 での発表資料です https://forkwell.connpass.com/event/323138/ #Forkwell_Library

Web front end for your database Build data entry forms, sheets, and reports Cut development costs Developing and maintaining internal applications to enter and update records in a database is expensive. Now you can significantly lower costs by using Visual DB instead of developing custom applications. No coding skills? No problem! Visual DB is a productivity application, not a developer tool. As s

めまぐるしく変化するテックの世界。技術を身に着けるうえで学ぶべきポイントや学習環境なども年々変わっています。 そこで「もしもいまの環境で、テックのことをイチから学び直すことになったら、自分はどんな風に勉強したいか」というIFストーリーを通じて、技術との向き合い方を考え直してみる企画「テック転生」。 今回は『Rust実践プログラミング入門』共著者の松本健太郎(@matsu7874)さんに“自分だったらこう進めたい、Rustの学習ロードマップ”をご寄稿いただきました。 無理なく2ヶ月でWeb開発をRustで始めるロードマップ 株式会社estieでソフトウェアエンジニアをしているmatsu7874です。2024年8月の今、イチからRustを学び直すロードマップ（あるいはリソースガイド）を考えてみました。仕事の合間にやっていくとして数週間、長くとも2ヶ月くらいでRustで開発している会社に入っても

スクラムガイドの目的 スクラムは複雑なプロダクトを開発、提供、保守する為のフレームワークである。このガイドではスクラムを定義している。定義には役割、イベント、作成物とそれらをまとめるルールが含まれている。フレームワークの各要素は特定の目的を有し、スクラムによって実現される価値と成果にとって不可欠な要素となる。スクラムの考え方や構造を変えたり、要素を省いたり、ルールを無視する事は問題を隠し、スクラムから得られる価値を限定したり、無意味な物にしてしまうのである。 Ken Schwaber と Jeff Sutherlandはスクラムのフレームワークを作る事に重要な役割を担った。 LeSS（大規模スクラム）は複数のチームでプロダクト開発をする際にスクラムを適応し、組織のシステムが変化した結果として形作られ、LeSSはLeSSルールにて定義をされている。LeSSルールは、各チームのレベルではスクラ

DuckDBを触っていて特に興味を持った機能を中心に雑解説します。

2024/08/27 のHRmethod Meetup - 組織課題のタスク管理 ( https://hrmethod.connpass.com/event/326745/ ) で公開した発表 開発業務では当たり前になってきているタスク管理ですが、人事領域や開発関係者における組織課題の管理において…

こんにちは。データエンジニアリングの支援を行っているstable株式会社の代表の宮﨑（@ikki_mz）です。先日、Findyさん主催の「大規模データの負債解消への道のり Lunch LT」というイベ...

いわゆる「ソフトウェア設計書」が設計ではなく、ソースコードが設計であるという話。 随筆です。考えマトメ中なので、ツッコミはそのあたり踏まえていただければ。 追記：ブコメに「設計の定義は？」とあったので末尾に追加しています。 追記(2024/8/15)：設計書ってなんだろう？というのも書いておきました。 ソフトウェアの「設計書」とはなんなのか - きしだのHatena このエントリで書いたのですけど、もうすこしちゃんと。 建築では多重下請けでやれてるのに業務システムでだめなのはなぜ？ - きしだのHatena このエントリでは次のように書いています。まあ、これで全てではあるのだけど。 「建築などの施工図面に相当するのはソースコードで、建築現場で多重下請けでやってる作業は、ソフトウェアだと(でも？)ビルドです」 あと「継続的デリバリーのソフトウェア工学」からの抜粋。 「継続的デリバリーのソフト

2024年度リクルート エンジニアコース新人研修の講義資料です

ついでに俺の好きそうな作品を教えてくれると助かる。 ・漫画 「BLAME!」弐瓶勉 「なるたる」鬼頭莫宏 「ドロヘドロ」林田球 「レベルE」冨樫義博 「スティール・ボール・ラン」荒木飛呂彦 「「おもいでエマノン」鶴田謙二 「大正野郎」山田芳裕 「フリージア」松本次郎 「ニッケルオデオン」道満晴明 「うずまき」伊藤潤二 「夢幻紳士」高橋葉介 ・ゲーム ゼノギアス 俺の屍を越えてゆけ ブレス オブ ファイアV ドラゴンクォーター 真・女神転生Ⅲ　マニアクス ドラッグオンドラグーン（無印） 高機動幻想ガンパレード・マーチ ダークソウル（無印） ゆめにっき SILENT HILL 2 シルバー事件 ・アニメ serial experiments lain GHOST IN THE SHELL / 攻殻機動隊 新世紀エヴァンゲリオン 劇場版 Air/まごころを、君に もののけ姫 劇場版 魔法少女まど

2024/07/27 TechRAMEN 2024 Conference 概要: 私にとって何番目の言語になるかはもう数えていませんが、昨年 Rust を学び、 OSS の開発ができるところまでやってきました。私はそれまで Rust の学習に何度か挫折しており、今回ようやくその壁を乗り越えたので…

はじめに こんにちは、皆さん。今日は、シェルスクリプトを使った高度な自動化のベストプラクティスとパターンについて解説します。これらは、ちょっとした知識で実行でき、作業を大幅に効率化できるTipsです。シェルスクリプトは、特にUNIX系システムでの自動化タスクに欠かせないツールです。適切に使用すれば、複雑なタスクを効率的に、そして信頼性高く実行できます。 トイルとは、反復的でマニュアルな作業のことを指します。これには、例えば、手動でのシステムのスケーリングや、エラーのトラブルシューティング、ルーティンなメンテナンス作業などが含まれます。トイルを特定し、それを自動化することで、エンジニアはより創造的なタスクやプロジェクトに焦点を合わせることができます。 トイルを判別する方法としては、以下のような基準が挙げられます： 手作業であること 完全な手作業だけでなく、「あるタスクを自動化するためのスクリ

2000年以降の小説ランキング NewYork Timesが、数百人の小説家、学者、編集者、ジャーナリスト、評論家、出版社、詩人、翻訳家、書店員、図書館員、などあらゆるジャンルの著名人にアンケートを募り、21世紀のベスト小説100を作成。 ランキングの集計の仕方も面白く、 それぞれに「何がベストなのか？」の定義を聞いたり、 ランダムに2冊選び、各々にコメントを求めたりしたとのこと。 あのスティーブン・キングも選定者として参加。 www.nejimakiblog.com ・The 100 Best Books of the 21st Century (※下記リンクより全文読めます) www.nytimes.com 読んだことある・読んでいる途中の作品 掃除婦のための手引書 / ルシア・ベルリン(79位) 掃除婦のための手引き書 ――ルシア・ベルリン作品集 (講談社文庫 へ 11-1) 作者:

大吉祥寺PM 2024

ってなんかあるの？ 都心にある国立博物館美術館は人多すぎるし知ってるからそれ以外で 府中市美術館、八王子市夢美術館はとても良かったのでそういうのを教えて欲しい あそこらへんみたいな郷土に必ずしも関係ないのに割と尖った展示ができるところこそ真に東京じゃないとできない美術館と個人的には思った (追記) 元増田です まさかこんなに伸びるとは！ みんなありがとう！行ったことないところたくさんあるわ おすすめしてくれてる人が多い佐倉の歴博と江戸東京建物園、横須賀美術館は増田もお気に入りだ 少し離れると混雑が幾分緩和されていいところ多いよね 上野の国立博物館系は一昔前なら常設ならそこまで混まなかったけど、最近はヤバくてフラッと行けるレパートリーが減ったなと思ってたから色々とありがたい 特に区立の美術館とか全然手を伸ばしてなかったわ しかしやっぱ東京の東側より西側の方がいい美術館博物館多いよなあ