Making connections with TCP and Sockets for Workers
Making connections with TCP and Sockets for Workers2021-11-15 Today we are excited to announce that we are developing APIs and infrastructure to support more TCP, UDP, and QUIC-based protocols in Cloudflare Workers. Once released, these new capabilities will make it possible to use non-HTTP socket connections to and from a Worker or Durable Object as easily as one can use HTTP and WebSockets today
Socket migration for SO_REUSEPORT (Part 1) - Kuniyuki Iwashima
TCP ソケットと `SO_REUSEPORT` オプションに関する問題を解決するために Linux カーネル v5.14 から取り込まれる予定のパッチセットについて 2 回に分けて解説します。 - https://lore.kernel.org/bpf/20210612123224.12525-1-kuniyu@amazon.co.jp/ - https://git.kernel.org/pub/scm/linux/kernel/git/bpf/bpf-next.git/commit/?id=1f26622b791b6a1b346d1dfd9d04450e20af0f41 Part 1 では `SO_REUSEPORT` オプション、カーネルの挙動と問題点、パッチセットの効果について解説し、 Part 2 ではカーネルの実装と修正方法、追加した eBPF の機能について解説します。 ##
「Working with TCP Sockets」を読んだ - Fire Engine
最近Golangを書いていると、自分でTCPをListenしたり、Acceptしたりする処理を書くことがよくあるのですが、何をやっているのか全くイメージが沸いてなかったので、「Working with TCP Sockets」を読んで勉強しました。 Working With TCP Socketswww.jstorimer.com だいたいこの手のソケットプログラミング関連の本は、C言語で解説されていることが多いと思うのですが、本書はサンプルコードが全てRubyなので、非常に読みやすいです。残念ながら英語版しかありません。 以下、私がポイントだと思ったことだけをまとめた読書ノートです。 読書ノート 前半はソケットとは？から始まり、ソケットプログラミング自体の入門的な内容で、そのあたりの理解が曖昧だった私にはとても勉強になりました。 後半は、ソケットプログラミングを使った実用的なアーキテクチ
Container Runtime Meetup #1でNOTIFY SOCKETについて話してきました | うなすけとあれこれ
Container Runtime Meetup #1 - connpass に参加して NOTIFY_SOCKET について調べたことを話してきました。 この記事ではその内容の書き起こしと、その場で行われた会話についてのメモについて書きます。 参加するきっかけ @udzuraさんにそそのかされたことがきっかけです。 @yu_suke1994 情報です https://t.co/U5zsvUlz30 — Uchio KONDO 🔫 (@udzura) August 27, 2019 あまりよくないExecuteをすると、普段はRails APIを運用していてRubyしか書いておらず、Goも数年前にCLI toolを作った程度で、GoやLinuxのコンテナ回りに詳しいという訳ではありません。 読む対象について connpassのイベント概要に 少人数の輪読形式です。「参加枠1」の方々に
When TCP sockets refuse to die — Idea of the day
This article was first published on Cloudflare blog: When TCP sockets refuse to die Accompanying scripts While working on our Spectrum server, we noticed something weird: the TCP sockets which we thought should have been closed were lingering around. We realized we don't really understand when TCP sockets are supposed to time out! In our code, we wanted to make sure we don't hold connections to de
When TCP sockets refuse to die
While working on our Spectrum server, we noticed something weird: the TCP sockets which we thought should have been closed were lingering around. We realized we don't really understand when TCP sockets are supposed to time out! Image by Sergiodc2 CC BY SA 3.0 In our code, we wanted to make sure we don't hold connections to dead hosts. In our early code we naively thought enabling TCP keepalives wo
Why does one NGINX worker take all the load?
Why does one NGINX worker take all the load?2017-10-23 Scaling up TCP servers is usually straightforward. Most deployments start by using a single process setup. When the need arises more worker processes are added. This is a scalability model for many applications, including HTTP servers like Apache, NGINX or Lighttpd. CC BY-SA 2.0 image by Paul Townsend Increasing the number of worker processes
DMM inside
昨年より2倍の受賞数！『EXNOA AWARD 2023』レポート ～エンタメ企業で働く人の情熱ってスゴイ～
Network Protocol Breakdown: Ethernet and Go
I am moving my blog content to mdlayher.com. Please see the updated version of this content at: https://mdlayher.com/blog/network-protocol-breakdown-ethernet-and-go/ If you’re reading this article right now, chances are pretty good that there’s an Ethernet (IEEE 802.3) link somewhere between your device and the server hosting this blog. The Ethernet family of networking technologies are a fundamen
Python: ソケットプログラミングのアーキテクチャパターン - CUBE SUGAR CONTAINER
今回はソケットプログラミングについて。 ソケットというのは Unix 系のシステムでネットワークを扱うとしたら、ほぼ必ずといっていいほど使われているもの。 ホスト間の通信やホスト内での IPC など、ネットワークを抽象化したインターフェースになっている。 そんな幅広く使われているソケットだけど、取り扱うときには色々なアーキテクチャパターンが考えられる。 また、比較的低レイヤーな部分なので、効率的に扱うためにはシステムコールなどの、割りと OS レベルに近い知識も必要になってくる。 ここらへんの話は、体系的に語られているドキュメントが少ないし、あっても鈍器のような本だったりする。 そこで、今回はそれらについてざっくりと見ていくことにした。 尚、今回はプログラミング言語として Python を使うけど、何もこれは特定の言語に限った話ではない。 どんな言語を使うにしても、あるいは表面上は抽象化さ
Epoll is fundamentally broken 1/2 — Idea of the day
In previous articles we talked about: The history of the Select(2) syscall Select(2) being fundamentally broken This time we'll focus on Linux's select(2) successor - the epoll(2) I/O multiplexing syscall. Epoll is relatively young. It was created by Davide Libenzi in 2002. For comparison: Windows did IOCP in 1994 and FreeBSD's kqueue was introduced in July 2000. Unfortunately, even though epoll i
User Namespaces: Sharing the Docker UNIX socket
User Namespaces: Sharing the Docker UNIX socket by estesp · Published April 8, 2016 · Updated April 20, 2016 4/20/2016 Note: Please read my follow-up blog post on this topic based on the comments regarding open access to all Docker APIs via the methods discussed below. A recent question I received asked for ideas on sharing the Docker UNIX socket when you have user namespaces enabled in the Docker
Linux カーネルと FreeBSD カーネルのソケット構造
縁あつて、 Linux カーネルと FreeBSD カーネルの双方を見る機会があり、 両者で、ソケットを表現する構造が大きく異なっていることに気付きました。 ここでは、それぞれのソケットの構造について、調べたことを書いてみたいと思います。 FreeBSD では、ソケットの実体となるのは <sys/socketvar.h> で定義される socket 構造体 です。以下のようなものから構成されています: ソケットの型 (SOCK_STREAM, SOCK_DGRAM など) ソケットの状態 (接続済みかどうかなど) 受信ソケットバッファを表す構造体 (struct sockbuf 型) 送信ソケットバッファを表す構造体 (同上) accept で使用される、接続のキュー Protocol Control Block ここで、 Procotol Control Block とは、プロトコルごと
How do Unix Domain Sockets differentiate between multiple clients?
TCP has the tuple pairs (IP Addr/port/type) to tell one client from another. UDP passes the client IP and port. How does the unix domain keep track of different clients? In other words the server creates a socket bound to some path say /tmp/socket. 2 or more clients connect to /tmp/socket. What is going on underneath that keeps track of data from client1 and client2? I imagine the network stack pl
Unix Domain Socket: Using datagram communication between one server process and several client processes
I would like to establish an IPC connection between several processes on Linux. I have never used UNIX sockets before, and thus I don't know if this is the correct approach to this problem. One process receives data (unformated, binary) and shall distribute this data via a local AF_UNIX socket using the datagram protocol (i.e. similar to UDP with AF_INET). The data sent from this process to a loca
【libev】Lighttpd ソースコードリーディング – FiS Project
今回はLighttpdについて細かく書いている日本語サイトがないので書いてみました。 CONTENTS LighttpdはApacheやnginxと比較すると知名度が低く全体の1%も使われていないようですが,省メモリで高速なHTTPサーバとして定評があります。 まず公式サイトからLighttpdをダウンロードしましょう。Lighttpd-1.4.33/src 以下でmodのprefixがついているのがプラグインモジュール郡です。 複数のフックエントリが用意されており,用途にあわせて簡単にプラグインを作成できます。 今回扱うのは以下の内容です。 ・イベントループ ・サーバの状態遷移 ・httpリクエストの分解 ・httpレスポンスの生成 ・ソケット通信による送受信 イベントハンドリング イベントハンドラと言えばjavaScriptで書けるサーバnodejsではlibev, あるいはmemca
wrkでunix domain socketなHTTPサーバをベンチマーク - blog.nomadscafe.jp
wrkに無理矢理なpatchをあてて、unix domain socket経由でHTTPサーバをベンチマークできるようにしてみました。 kazeburo/wrk at unixdomain pullreqはしてない。 GazelleやRhebokといったアプリケーションサーバを作っていますが、TCP経由のベンチマークではEphemeral Portの枯渇やTIME WAITの上限にあたってしまい、ベンチマークがしづらいという問題があります。 そこでnginxをreverse proxyとして設置し、nginxとアプリケーションサーバ間をunix domain socketで繋いでベンチマークをとっていましたが、nginxがボトルネックになりやすく、直接アクセスしたいなと考えていたので、やってみました。 これを使ってRhebokとUnicornの “Hello World” ベンチマークを行
)
Unix Domain Socket において keep-alive が性能に与える影響 (Gazelle vs Meinheld) - methaneのブログ
id:kazeburo さんが Gazelle という高速な Perl 用の Web アプリケーションサーバーを公開されました。 Gazelle - Plack Handler for performance freaks #yokohamapm from Masahiro Nagano Gazelle の特徴のうち幾つかは、 id:mopemope 作の Meinheld と同じです。 IO周りは全てCで書かれている accept4 や writev などの Linux 独自のシステムコールを利用している 一方で異なる点もあります。 Meinheld は HTTP/1.1 に対応していて、 keep-alive が利用できる。 Meinheld は greenlet というコルーチンを利用して、 long polling や SSE に対応している。 Meinheld が http-pa
Pythonのsocketでプロセス間通信をして価格データ等を送信する
どうも、お久しぶりです。キリンです。 取り敢えず1ヶ月ほど、連続でブログの更新を続けてみたのですが、それ以降更新が途絶えてしまっていました。本業（FXの運用）のほうが今鳴かず飛ばずなので、なんとか盛り返そうと頑張ってます。 その中で、どうしてもプロセス間通信(IPC, Inter Process Communication)をしなければならない事案に遭遇してしまったので、忘備録も兼ねてPythonでSocketを使ったプロセス間通信の方法を調べる際に学習したことと、実際に作成したプログラムをご紹介します。きちんとTCP/IPの通信について勉強したわけではないので、間違った理解、解釈があるかと思います。その際はご指導いただけると助かります。 プロセス間通信がしたい Linux上でしか動かないPythonライブラリ Linux上でしか動かないPythonのライブラリをどうしても使いたいという事
perlipc - Perl のプロセス間通信 (シグナル, fifo, パイプ, 安全な副プロセス, ソケット, セマフォ) - perldoc.jp
perlipc - Perl interprocess communication (signals, fifos, pipes, safe subprocesses, sockets, and semaphores) The basic IPC facilities of Perl are built out of the good old Unix signals, named pipes, pipe opens, the Berkeley socket routines, and SysV IPC calls. Each is used in slightly different situations. Perl uses a simple signal handling model: the %SIG hash contains names or references of use
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
