大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog
以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてます はじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。 ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92
Etsukata blog: FreakOut DSP 入札サーバの CPU 使用率を 30% 削減する Performance Tuning
はじめに 勤務先の FreakOut 社では RTB で広告枠を買い付ける DSP の開発・運用を行っています。RTB とは、インターネット広告のインプレッションが生じる毎に、広告枠の競争入札を行う仕組みです。 DSP とは、 RTB において、競争入札をする側のシステムになります。広告枠/広告を見ている人 に対し、最適な広告を、最適なタイミングで届ける機能を広告主に提供する仕組みです。 FreakOut DSP は最適な広告探索・入札価格調整のため、非常に多くのデータを参照し、沢山の演算処理を行います。広告を見ている人が過去にアクセスした Web ページの情報や検索ワード、さらに 広告がクリックされる予測確率(過去のログから機械学習で算出) などを参照し、入札価格を決定するのです。そのため、DSP で入札を担当するサーバは CPU がボトルネックになっており、台数も数百台に嵩んでいます。
runtime.js – JavaScript library operating system for the cloud
Overview runtime.js is an open-source library operating system (unikernel) for the cloud that runs JavaScript, can be bundled up with an application and deployed as a lightweight and immutable VM image. It's built on V8 JavaScript engine and uses event-driven and non-blocking I/O model inspired by Node.js. At the moment KVM is the only supported hypervisor. It tries to be compatible with npm modul
Docker 1.0 でDBを動かすときの共有メモリの設定 - 技術野郎の復習
Docker長らくブログ書いてなかったので、どうでもいい話をちょっと書こう。Blue-Greenでチヤホヤされる運命のDockerで、DBを動かすという需要はあんまりないとは思いますが、コンテナでDBを動かすというのもそれはまた一興です。DBを動かすとなると共有メモリをたくさん使うことになるかと思います。そういう共有メモリの設定に関して、バージョン1.0が出てからいままでのやり方が通用しなくなったので、それについて書きます。これまでこれまで、僕はDockerでPostgreSQLコンテナを動かすとき、まずコンテナ内で起動スクリプト的なシェルを実行するようにしていました。そのなかで、以下のようにカーネルパラメータshmmaxの値を大きくしていました。 sysctl -w kernel.shmmax=4418740224 なぜならコンテナ内のshmmaxの値がなぜか小さく設定されているために、
User provided kernels - Amazon Linux 2
If you need a custom kernel on your Amazon EC2 instances, you can start with an AMI that is close to what you want, compile the custom kernel on your instance, and update the bootloader to point to the new kernel. This process varies depending on the virtualization type that your AMI uses. For more information, see Linux AMI virtualization types in the Amazon EC2 User Guide. HVM AMIs (GRUB) HVM in
Linux Torvalds、最近のCPUのPage Faultのコストにご不満の様子
Linus Torvalds - Google+ - One of the things I end up doing is do a lot of performance… Linus Torvaldsが、最近のIntelのCPUは、通常以外の処理のコスト、つまりPage faultのコストが上がっているので、問題であるとしている。 俺はよくカーネルコードのパフォーマンスプロファイリングをやる。特に、VMとかファイルシステム周りに対してだ。 俺がよくやるのは、「うまくいってるとき」に対する計測だ。つまり、だいたいほぼ完璧にキャッシュされてる状況だな。というのも、俺はもちろんIOのことは気にかけているが、俺の個人的なワークロードはたいてい、うまくキャッシュされてるからだ。たとえば、俺にとってよくあるロードは、pullした後のフルカーネルビルドだ。これにどのくらいの時間がかかるかが問題になる
Linus様がSystemdにぶちきれる
systemdは、/proc/cmdlineをパースして、もし、その中に"debug"という文字列を発見した場合、大量の冗長なデバッグメッセージをdmsegに出力する。これは様々な問題を引き起こす。まず、"debug"というあまりに一般的すぎる文字列に勝手に反応してしまうことがひとつ。dmseg、すなわちカーネルのリングバッファーをsystemdの冗長なデバッグメッセージだけで溢れ返させてしまうことがひとつ。そして、なぜかLinuxカーネルのブートに失敗してしまうことがひとつ。 Bug 76935 – Do not parse "debug" command line parameter カーネルコマンドラインに"debug"を与えると、systemdによりパースされる。適当なassertに引っかかると、こんな風にぶっ放される。 [ 150.308000] systemd-journald
小さいLinux環境の作り方
小さいLinux環境の作り方 Presentation Transcript 小さい Linux環境の 作り方 Naomasa Matsubayashi 保存するアイコン フロッピーディスク 2000年代初頭 フロッピーディスクに必要な物が全部入った Linuxディストリビューションが流行った floppix http://floppix.com/ HAL91 http://chris.silmor.de/hal91/ tomsrtbt http://www.toms.net/rb/ 3.5インチフロッピーディスクの容量 1D 2D 1DD(Mac) 1DD 2DD(Mac) 2DD(PC-98) 2DD 2HD(PC-98) 2HD(PC/AT,Mac) 2ED 2TD 160KiB 360KiB 400KiB 360KiB 800KiB 640KiB 720KiB 1232KiB 1440
SPDYとLinuxの間でGoogleマップがハマった落とし穴 - ぼちぼち日記
tl;dr 書いていたら思わず長文の大作になってしまいましたので、プロトコルオタ以外の方は文章の多さに退屈されるかと思います。GoogleマップサービスでSPDYの問題が発覚し、GoogleがLinuxカーネルに修正を加えて対応したというお話です。将来 Linux + nginx + SPDY を使いリバースプロキシでサービス運用を検討されている方は参考になるかもしれません。 1. はじめに、 プロトコルに執着する年寄りエンジニアの老害が叫ばれて久しい。 年甲斐もなく自分好みのパケットを追っかけるおやじエンジニアの姿を見て眉をひそめる若者も多いと聞く。 そんな批判に目もくれず、今日も一つ、プロトコルオタのネタをブログで公開したいと思いますw 今回はちょうど１年ほど前に書いたブログ記事 「GmailがハマったSPDYの落とし穴」の続編です。といっても今度の舞台は、Googleマップ。ネタ元も
LWN.net - Linux Weekly News
LWN.net is a reader-supported news site dedicated to producing the best coverage from within the Linux and free software development communities. See the LWN FAQ for more information, and please consider subscribing to gain full access and support our activities. [Development] Posted Aug 16, 2024 15:52 UTC (Fri) by daroc Python has had formatted string literals (f-strings), a syntactic shorthand f
How to rewrite the OS using C by strong type
This document outlines a plan to rewrite an operating system kernel using the C programming language with strong typing. It discusses problems that arise from using C like buffer overruns and page faults in the kernel. It proposes using techniques like algebraic data types and type classes to add flexibility without weak types. It presents existing strongly typed OSes and why they have not seen wi
Core algorithms deployed
Algorithms that are the main driver behind a system are, in my opinion, easier to find in non-algorithms courses for the same reason theorems with immediate applications are easier to find in applied mathematics rather than pure mathematics courses. It is rare for a practical problem to have the exact structure of the abstract problem in a lecture. To be argumentative, I see no reason why fashiona
Linuxカーネル3.12公開、オフライン重複排除などを実装
Linuxカーネルの新バージョン「Linux 3.12」が公開された。Btrfsファイルシステムのオフライン重複排除機能などを実装した。 Linuxカーネルの新バージョン「Linux 3.12」が2013年11月3日、公開された。Btrfsファイルシステムのオフライン重複排除機能などが特徴である。 リーナス・トーバルズ氏はリリースのタイミングについて、「来週は旅行に出かけて非常にインターネットに接続しにくくなるので、リリースを遅らせたくなかった」と説明した。また、カーネル4.0についても触れている。 Linux 3.12で加わったBtrfsのオフラインデータ重複排除は、ファイルシステム内で重複するデータのコピーを削除する機能。仮想マシンのOSのように、同じデータが複数含まれることの多いワークロードでは大きなメリットがあるとしている。 オフラインでの重複排除プロセスは、ファイルシステムがマウ
Linux カーネル開発者の高齢化が進んでいる | スラド
LWN.net の編集長 Jonathan Corbet 氏は「Linux カーネルの開発者は高齢化が進んでおり、若い開発を惹きつけていない」と指摘したそうだ (InformationWeek の記事、japan.internet.com、本家 /. 記事より) 。 これは 4/14 〜 16 の日程でサンフランシスコで開催されていた Linux Foundation Collaboration Summit のパネルディスカッションでの発言。Linux カーネルの開発者 Andrew Morton 氏も開発者の高齢化を認めており、それと共に開発者らが「疲れてきており、以前のようなやる気や熱気で開発に取り組む人々は減った」と指摘する。ただし、これは開発者がより深いレベルでカーネルを理解し、修正に伴う複雑さに取り組む姿勢があることも意味しているという。コードも人も複雑になり、現在の開発プロセ
Linus Torvalds、Linuxの32bit版の優先度は低いと表明
[Phoronix] Linus Acknowledges 32-Bit Linux As Less Important 32-bit版のLinuxカーネルにおける、既存のある問題を修正したLinuxカーネル3.12に対するパッチのpullが、Linusによって退けられた。理由は、Linusは3.12のリリースを遅らせたくないからだという。すでに壊れていて、それほど問題になっていない問題を修正するのに、カーネルのリリースを遅らせたくないこと、それに、32-bit版の優先度は低いと言っている。 Linux-Kernel Archive: Re: [git pull] fixes for 3.12-final On Sun, Nov 3, 2013 at 11:54 AM, Al Viro wrote: > たしか、前にこういうことで32bit版のiget()が深刻に壊れて、 > それで、もう
GitHub - cormander/tpe-lkm: Trusted Path Execution (TPE) Linux Kernel Module
=============================================================================== Trusted Path Execution (TPE) Linux Kernel Module, Version 2 =============================================================================== About this module Trusted Path Execution is a security feature that denies users from executing programs that are not owned by root, or are writable. This closes the door on a whol
The Secret to 10 Million Concurrent Connections -The Kernel is the Problem, Not the Solution - High Scalability -
Now that we have the C10K concurrent connection problem licked, how do we level up and support 10 million concurrent connections? Impossible you say. Nope, systems right now are delivering 10 million concurrent connections using techniques that are as radical as they may be unfamiliar. To learn how it’s done we turn to Robert Graham, CEO of Errata Security, and his absolutely fantastic talk at Shm
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windows10では個人でのドライバ開発が不可能に？ | スラド セキュリティ
Open Source | ZDNET
urbit.org
