Writing a C compiler in 500 lines of Python
A few months ago, I set myself the challenge of writing a C compiler in 500 lines of Python1, after writing my SDF donut post. How hard could it be? The answer was, pretty hard, even when dropping quite a few features. But it was also pretty interesting, and the result is surprisingly functional and not too hard to understand! There's too much code for me to comprehensively cover in a single blog
Why Is SQLite Coded In C
Note: Sections 2.0 and 3.0 of this article were added in response to comments on Hacker News and Reddit. Since its inception on 2000-05-29, SQLite has been implemented in generic C. C was and continues to be the best language for implementing a software library like SQLite. There are no plans to recode SQLite in any other programming language at this time. The reasons why C is the best language to
eBPF assembly with LLVM
From C to Object File Down to the Instructions eBPF Step by Step with LLVM Compiling from C to eBPF Assembly Assembling to an ELF Object File A Human-Friendly Output with llvm-objdump Inline Assembly Conclusion This post was left aside as a draft for a long time. Most of it was written in December 2017. I publish it with the hope it can still be helpful today, even though the Cilium guide also cov
GitHub - scandum/quadsort: Quadsort is a branchless stable adaptive mergesort faster than quicksort.
PostgreSQL ソースコードリーディング | Youki Shiraishi
PostgreSQL Server PostgreSQL のアーキテクチャを頭に叩き込んでおこう． 上の図は PostgreSQL サーバーの主要なコンポーネントとそれらの関係を表している． PostgreSQL は，クライアントサーバーモデルに基づく共有メモリ型のアーキテクチャを採用している． サーバープロセス postgres は，クライアントからコネクション要求を受け取るとフォークしてバックエンドプロセス postgres を生成する． 生成されたバックエンドプロセスは，以降，そのクライアントとのやりとりを担う． クライアントは，バックエンドプロセスと通信してクエリを送信したり，結果を受け取ったりする． PostgreSQL のすべてのプロセス間で共有されるメモリ領域は，共有メモリと呼ばれる． 共有メモリは，主に低速なストレージへのアクセスを減らすバッファとして機能する． ストレージ
セルフホスティングCコンパイラを書いた - 茅の下
セルフホスト(自分自身をビルド)できるCコンパイラnoccを書きました。 github.com はじめに 去年の夏あたりからCコンパイラを書くのが流行っていたのでやってみました。 例によって@rui314さんの8cc、9ccと低レイヤを知りたい人のためのCコンパイラ作成入門を参考にしていますが、バックエンドにはLLVMを使用しています。 工夫した点 以下、作る上で工夫した点です。 言語仕様に制限をつける C言語の全仕様を網羅しようとすると到底完成は不可能なのでサポートする言語仕様に制限をつけまくりました。 制限には例えば以下のようなものがあります。 変数宣言が初期値を取れない。 複数の変数をコンマ区切りで宣言できない。 typedef宣言や型のconst修飾などはその語順を固定している。 型解析時は型のconst修飾を無視する。 関数のプロトタイプ宣言はトップレベルでのみ行える。 関数ポイ
Efficient string copying and concatenation in C | Red Hat Developer
Among the most heavily used string handling functions declared in the standard C <string.h> header are those that copy and concatenate strings. Both sets of functions copy characters from one object to another, and both return their first argument: a pointer to the beginning of the destination object. The choice of the return value is a source of inefficiency that is the subject of this article. T
こわくないLLVM入門！ - Qiita
対象読者 LLVMを勉強し始めたけど何からして良いのかわからない方 アセンブリがちょっとわかる 目標 LLVMの基本的な文法がわかるようになる 環境 Mac Mojave 10.14.6 LLVM 8.0.0 clang 8.0.0 (trunk 348837) LLVMってなに...? LLVMは一言で言えば、プログラミング言語を作成する為の基盤です。プログラミング言語はコンパイラによってバイナリに変換され実行することができます。それを言い換えれば、自分が考えたプログラミング言語のコンパイラを作ることで自作プログラミング言語を作れます。 そして、コンパイラは通常フロントエンド、ミドルエンド、バックエンドに分けられ、各プロセスで様々な処理をしています。特にミドルエンド、バックエンドでは中間言語や各アーキテクチャに対するたくさんの最適化を施さなければなりません。この最適化を預けてフロントエン
The SYZBOT CTF
目次 第０章 概要 0.1 syzbot とは？ 0.2 主な登場人物紹介？ 0.3 自己紹介：熊猫の Linux との関わりについて 0.4 今日のお話「バグハンティング」 第１章 Linux カーネルについて 1.1 Linux カーネルの規模について 1.2 Linux カーネルの制約事項について 1.3 Linux カーネルのデバッグ支援機能について 第２章 カーネルメッセージを読めるようにするための試行錯誤について 2.1 printk() に求められているものとは？ 2.2 複数行分のメッセージをバッファリングする試み（２０１７年４月～） 2.3 メッセージ本文中にコンテキスト情報を埋め込む試み（２０１８年４月～） 2.4 １行分のメッセージをバッファリングする試み（２０１８年６月～） 2.5 再び１行分のメッセージをバッファリングする試み（２０１８年９月～） 2.6 再挑戦（
Your Guide to the CPython Source Code – Real Python
Are there certain parts of Python that just seem magic? Like how are dictionaries so much faster than looping over a list to find an item. How does a generator remember the state of the variables each time it yields a value and why do you never have to allocate memory like other languages? It turns out, CPython, the most popular Python runtime is written in human-readable C and Python code. This t
mimalloc のメモリ管理 - Qiita
Microsoft の mimalloc は面白い割り切り方で、小さいソースコードで高速なアロケータを実装しています。 確保するメモリブロックのサイズを、 Small (~8KiB), Large (~512KiB), Huge (512KiB~) の3つに分類し、 Small と Large は同じアルゴリズムで管理し、 Huge は OS 任せにして、 Small と Large は同じアルゴリズムをうまく利用しています。 基礎 OSはpage (x86では基本 4KiB) ごとにメモリをプロセスに割り当てています。 しかしアプリケーションではずっと小さいメモリブロックが必要になることが多くあります。また、必要になるたびに毎回OSからメモリを割り当ててもらうのはパフォーマンスも悪いです。 mimalloc やその他の malloc 実装 (以降 malloc と呼びます) は OS か
「低レイヤを知りたい人のための Cコンパイラ作成入門」を読んで、オレオレコンパイラを作り始めた - Moiz's journal
はじめに 表題通りですが、Rui Ueyama氏の「低レイヤを知りたい人のための Cコンパイラ作成入門」というPDF本を読んでCコンパイラ的なものを作り始めましたよ、というダラっとした内容です。 はじめに 発端 とりあえず書いてみる 別のコンパイラ入門書をよんでみる 次にどうする？ 書くぞ、書くぞ、書くぞ リポジトリー 便利な資料 セキュリティキャンプの参加者のリポジトリー オンラインコンパイラGodbolt セキュリティキャンプ講師のスライド C言語規格のドラフト 書籍 Compilers: Principles, Techniques, and Tools 2nd By Alfred V. Aho Intel® 64 and IA-32 Architectures Software Developer Manuals 発端 ツイッター等で知ったのですが、セキュリティキャンプというイベン
3(0)日でできる！ Cコンパイラ自作入門 - Google スライド
3(0)日でできる！ Cコンパイラ自作入門 2018-11-09 hikalium @ コンパイラ勉強会
低レイヤを知りたい人のための Cコンパイラ作成入門
はじめに このオンラインブックは執筆中です。完成版ではありません。フィードバックフォーム この本には一冊の本に盛り込むにはやや欲張りな内容を詰め込みました。本書では、C言語で書かれたソースコードをアセンブリ言語に変換するプログラム、つまりCコンパイラを作成します。コンパイラそのものもCを使って開発します。当面の目標はセルフホスト、すなわち自作コンパイラでそれ自身のソースコードをコンパイルできるようにすることです。 この本では、コンパイラの説明の難易度が急に上がりすぎないように、様々なトピックを本書全体を通じて次第に掘り下げていくという形で説明することにしました。その理由は次のとおりです。 コンパイラは、構文解析、中間パス、コード生成といった複数のステージに概念的に分割することができます。よくある教科書的アプローチでは、それぞれのトピックについて章を立てて解説を行うことになりますが、そのよう
cachegrindを使って高速化してみる - Qiita
細かすぎて伝わらないエラトステネスの篩の高速化に触発されてプログラムを書いていた時にキャッシュを意識しないと高速化できなかったので、cachegrindを使ってその影響を調べてみました。 cachegrindとは バイナリ書き換えを使用したデバッグツール群Valgrindの中の、キャッシュプロファイラプログラム。valgrind --tool=cachegrindとして実行する。 ぷろんご。 環境 Core i7-4771@3.5GHz L3cache:8MB bash on Windows clang 3.8.0-2ubuntu4 -O3 -march=native valgrind-3.11.0 キャッシュを汚さないようになるべく小さなデータ構造を使うと高速化する まずは普通に実行時間を計測してみる #include <stdio.h> #define MAXVAL 200000000
EchoサーバーをI/O Multiplexingに育てる - 思考録++
グリーンスレッドの実装を考えていたらいつの間にかタイトルのようなことをやっていた。 実装した全部載せはリポジトリに置いてあるので、何を考えたかを吐き出す。 github.com simple echo echo サーバー（ "hello" と受け取って "hello" と返す）のように、 クライアントからの読み込みと書き込み間でコンテキストが発生する通信のサーバーの実装を考える。 シンプルに単一な accept ループを使う場合、一つのクライアントとの読み書きを終えるまで次のクライアントとは何もできない。 read/write の処理ではブロックするし、同期的に全ての読み書きが処理される。 なので処理中に現れる新規のクライアントは listen で指定された backlog に積まれ、次の accept が来るのを待つことになる。 simple_echo.c int main(int ar
例え話をしないC言語のポインタの説明 | 右や左の旦那様
まえおき 巷では「プログラマーになりたい人に初学者にとって、ポインタという考え方がわけわかめ」という話がよくあります。 そこでいろいろな人が「ポインタは住所だ」とか「変数がハコで」とか手を変え品を変え分かりやすいように説明してくれています。 それでもなお「ポインタがわかりづらい」という人が後を絶ちません。 もういっそのこと、例え話をやめてド直球で攻めたらいいんじゃないでしょうか。 Hello, Worldより簡単に サンプルコード 以下のコードを考えます。 void main() { int a; int b; int c; a = 1; b = 2; c = a + b; } 「#include <stdio.h>」なんていう謎のオマジナイはこの際ナシです。あんなもの無くたってC言語は成り立ちます。 まぁ見ての通り、どこにも何も出力されませんが。 このプログラムは、「c = a + b」
libfuse で Hello World !
GlusterFS でも利用されている FUSE を使って、Hello World を試して見た。 今回は libfuse を使って、仮想ファイルシステム上のファイルを cat すると Hello World ! が出力されるまで。 $ cat fuse/hello Hello World! FUSE (Filesystem in Userspace) FUSE は、linux 2.6.14 で追加されたカーネルの機能で、ファイルシステムをユーザ空間の プログラムで実装できる仕組み提供する。これにより、カーネルコードを修正することなく、 ユーザ空間で独自のファイルシステムを作成できるようになる。 Wikipedia によると、Linux だけでなく、*BSD や MAC とかでも実装があるらしい。 環境 確認はいつものごとく Vagrant で。 Vagrant.configure("2"
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
C Compiler written in Ruby
GoでC/C++パーサーを作った時のflatbuffersの知見 - CA.go #3
