CSV Files: Dethroning Parquet as the Ultimate Storage File Format — or Not?
File Formats CSV Files Data is most commonly stored in human-readable file formats, like JSON or CSV files. These file formats are easy to operate on, since anyone with a text editor can simply open, alter, and understand them. For many years, CSV files have had a bad reputation for being slow and cumbersome to work with. In practice, if you want to operate on a CSV file using your favorite databa
【１５分で解説】TEE（Trusted Execution Environment） のチュートリアルでどんなことをやっているかまず理解しよう。 - Qiita
【１５分で解説】TEE（Trusted Execution Environment） のチュートリアルでどんなことをやっているかまず理解しよう。Azureチュートリアルtee秘密計算sgx @kenmaroです。 普段は主に秘密計算、準同型暗号などの記事について投稿しています。 秘密計算に関連するまとめの記事に関しては以下をご覧ください。 秘密計算エンジニアを始めて２年半が経った。 秘密計算エンジニアを始めて3年が経った。 勝手に秘密計算アドベントカレンダーについて この記事は の「１１日目」の記事 としようかと思っています。 興味のある方はアドベントカレンダー参加してみませんか？ ご連絡お待ちしております。 概要 １５分もあれば本記事の内容は理解できるようになっていますので、気軽に読んでみてください。 前回やったこと 前回の記事で、 【３０分でできる】TEE（Trusted Execut
ぐるなびにあった２億ファイルをAWSにデータ移行しました - ぐるなびをちょっと良くするエンジニアブログ
こんにちは！店舗開発チームの滝口です。 ぐるなびでは、認証・認可のプラットフォーム開発に携わったのち、現在はレストランデータの運用をしつつ、ぐるなび掲載ページや、店舗向け管理画面の開発をしています。 はじめに このたび、オンプレで稼働していた「非構造化データストレージ（通称：UDS）」をAWSに移行しました。 UDS は NAS に保存されているファイルを REST API を介して CRUD 操作できるシステムで、ぐるなびで掲載している店舗の画像や CSS 、Javascript 等の保存に利用されています。 この記事では NAS に保存されたファイルをどのようにして AWS に移行したのか、その移行方式や AWS アーキテクチャを紹介します。 目次 はじめに 目次 UDS 基本情報 今回使った主な AWS AWS を活用して実現したいこと AWS 導入におけるアーキテクチャ AWS へ
Google Cloud launches Filestore High Scale, a new storage tier for high-performance computing workloads | TechCrunch
Google Cloud launches Filestore High Scale, a new storage tier for high-performance computing workloads Google Cloud today announced the launch of Filestore High Scale, a new storage option — and tier of Google’s existing Filestore service — for workloads that can benefit from access to a distributed high-performance storage option. With Filestore High Scale, which is based on technology Google ac
CRIU で Mount namespace を再現する - ローファイ日記
人としてやっていると、いろいろなことがあります。今日はタイトルのことをまとめます。 コンテナとMount namespace LinuxのNamespace機能を用いて、コンテナの中で独立してマウントポイントの情報を持たせることができます。 具体的な例として、以下のようなマウントポイント構成でやっていくとします。これに近いマウントポイント戦略はよくあるかと思います。 rootfsが /var/lib/haconiwa/rails-sample にある procfsを /var/lib/haconiwa/rails-sample/proc にマウントする devtmpfsを /var/lib/haconiwa/rails-sample/dev にマウントする こういう構成をまずはシェルのコマンドで再現してみます。 ファイルシステム作成とコンテナ立ち上げ まずunshare(1)でMount
btrfs? Dropboxさん, あなたが見ているのはext4ですよ - Gentoo metalog
注意: この記事の内容はわりと危険な部分があります. 使いたくなってもよく注意して理解して使ってください わたしもまだ大して実動テストしてません. Dropboxの中身が消失したり, FSがこわれたり, なんかおもしろいことになっても責任は一切とれません. 技術的な観賞用に留めるのが無難です はじめに Dropboxがext4しか対応しなくなるらしいですね. btrfs愛用者としてはハチャメチャめんどいです. ということで, なんとかしたくなりますね. 1つの方法として, 下の記事のようにbtrfs上にext4のイメージファイルを作ってあげるという方法があります. qiita.com ただこの方法だと, kernelの中で無駄にext4をDropboxのためだけに動かすことになりますね. ext4のmoduleなんか置いておきたくない. そう思いませんか システムコールの結果を書きかえる
Linux Filesystem Events with inotify | Linux Journal
A common application is testing for the arrival of new files. Since inotify must be given the name of an existing filesystem object to watch, the directory containing the new files is provided. A trigger of interest is also easy to provide—new files should be complete and ready for processing when the close_write trigger fires. Below is an example script to watch for these events: #!/bin/sh unset
New NOVA Filesystem | Linux Journal
Andiry Xu (working with Lu Zhang, Steven Swanson and others) posted patches for a new filesystem called NOVA (NOn-Volatile memory Accelerated). Normal RAM chips are wiped every time you turn off your computer. Non-volatile RAM retains its data across reboots. Their project targeted byte-addressable non-volatile memory chips, such as Intel's 3DXpoint DIMMs. Andiry said that the current incarnation
リモートマシンのルートファイルシステムをぶっ飛ばした話 - 覚書
はじめに 表題の通り、新年早々やらかしました。備忘録として、あるいは、もしかして誰かの役に立つかもしれないので、事象発生から復旧までの流れをまとめたものを簡単に書いておきます。 1/4 朝: 移動 締め切りが非常に厳しい仕事をかかえる中、自宅から300kmほど離れた場所に移動。作業用マシンにはリモートアクセスできるので仕事には支障なし。の、はずだった。 1/4 夕方: 破壊 目的地に着いて、もろもろ落ち着いたので仕事を開始。テスト用のパーティションに書き込みをする簡単なプログラムを動かしていた。ここでタイプミスしてルートファイルシステムの先頭1GBくらいにランダムなデータを書いてしまうことにより、ぶっ飛ばした。即死はしなかったが、dmesgを見ると案の定カーネル(の中のファイルシステム)のバックトレースが出た上で、ルートファイルシステムが読み出し専用マウントされていた。 余談だが、ここでパ
知っておきたいLinuxファイルシステムの概念 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ファイルシステムとは ファイルシステムとは、データとメタデータをある構造に従ってストレージデバイス上に格納したものを指す。 ファイルシステムの作成には mkfs(8) コマンドを使用する。 全体アーキテクチャ 以下の図の通りである。詳細は以下で説明する。 ファイルシステムの構造 ここでは、古典的ファイルシステムであるext2をベースに説明する。 ファイルシステム内で領域を割り当てる基本単位を論理ブロックという。ディスクデバイスの連続する物理ブロックから構成される。論理ブロックサイズ1024,2048,4096バイトのいずれかを選択できる
C++のfilesystemライブラリが膨大すぎる
C++17の参考書はほぼ書き終えて、あとはfilesystemライブラリの解説を残すだけになっている。 EzoeRyou/cpp17book: textbook for C++17 ファイルシステムライブラリは、ext4とかbtrfsのようないわゆるファイルシステムに対するライブラリではなく、ディレクトリとファイルに対する操作を提供するライブラリだ。具体的にはファイルパスの文字列処理や、ファイルのコピーやリネーム、ディレクトリ構造のトラバースといった雑多なファイルシステム操作を提供する。 C++のファイルシステムライブラリは、原則としてPOSIX互換になっている。POSIXの規定するライブラリをモダンなC++風のライブラリとして設計したものだ。例えば、カレントディレクトリにあるファイルをすべて表示するプログラムは以下のように書ける。 #include <filesystem> #inclu
CernVM File System
About CernVM-FS The CernVM File System provides a scalable, reliable and low-maintenance software distribution service. It was developed to assist High Energy Physics (HEP) collaborations to deploy software on the worldwide-distributed computing infrastructure used to run data processing applications. CernVM-FS is implemented as a POSIX read-only file system in user space (a FUSE module). Files an
ドワンゴがRustで分散ファイルシステムを作っているらしい
第2回 大量トラフィックを支えるインフラ～独自プロトコル，ファイルシステムの実装もいとわない！～ ドワンゴが分散ファイルシステムを作っているというニュースを見た. しかもRustで. ニュース以上のことも知りたくなったがツテがないし, あったとしても教えてくれるわけがないので外側から推測することにした. 実は分散ファイルシステムも独自に開発しました。もともと既存のオープンソースのファイルシステムを使っていたのですが，それだと期待する性能が出ないことがわかり，独自に調査開発を進めることにしました。 Rustという言語で，ガベージコレクションがなく，C++にメモリ安全性の機能を付加したようなものです。ニコニコの動画・生放送の配信基盤開発ではErlangを使うことが多いのですが，レイテンシを細かく制御したい分散ファイルシステムの分野では，どうしてもガベージコレクションが気になってきます。たしかに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
openenclave/samples/README.md at master · openenclave/openenclave
GitHub - ToniWestbrook/repeatfs: RepeatFS
ストレージの基礎
GitHub - x-motemen/blogsync: Push and pull blog entries from/to local filesystem
GitHub - forest-lang/forest-compiler: A multi-syntax functional programming language that compiles to WebAssembly.
File System in User space example
Service Unavailable