Etsukata blog: Docker を支える Linux Kernel の機能 (概要編)
はじめに Docker はコンテナ型仮想化技術を使ってOSレベル仮想化を実現するコンテナ管理ソフトウェアです。類似のコンテナ管理ソフトとしては、Docker の他にも libvirt、 lxc-tools などがありますが、 Docker には以下の大きな特徴があります。 Infrastructure as Code の思想に基づき、コンテナをコード(Dockerfile) で管理できる docker index で、コンテナイメージを手軽に取得、共有できる Docker は上記のような特徴を持つため、アプリケーションのポータビリティを大きく向上させることができると期待されています。 参考：Naoya Ito 氏 "Dockerアプリケーションのポータビリティを考える" 大変便利な Docker ですが、Docker によるコンテナ管理は、実は数多くの Linux Kernel の機能に
Linuxのしくみを学ぶ - プロセス管理とスケジューリング
「Linuxのしくみを学ぶ - プロセス管理とスケジューリング」公開ページ こちらのページはSoftware Design誌 2009年12月号の記事「Linuxのしくみを学ぶ - プロセス管理とスケジューリング」の公開ページです。 「ハイパーバイザの作り方」も公開中ですので、こちらも是非ご覧ください。 公開中の記事 HTML PDF ePub mobi Kindle 原稿データ 全ての原稿データはgithub上で公開されています。 Pull RequestやIssuesを通じて文章の誤り訂正や解説の追記、各フォーマットの表示の改善などのコントリビューションを受け付けています。 改善された記事は随時このページにアップロードしていきます。 記事に関するご質問 記事を読んで何かわからなかった点があったり、疑問に思ったことがあれば以下の連絡先に問い合わせてください。 Twitter: @syuu
CoreOS 入門 - Qiita
CoreOS は Alex Polvi が設立した会社であり、OS、新しい Linux Distribution である。OSS で公開されている。 Polvi 氏といえば Rackspace に 買収された CloudKick を立ち上げ、その後も Rackspace 働いていたクラウドの専門家とも言えるだろう。 その Polvi 氏以外にも Googler や Linux 関連の人材、アドバイザーに Linux の stable branch のメンテナ を迎えるなど、Linux に関する知識がかなり豊富なメンバーが集まっている。 その彼らが作っているのが CoreOS である。 CoreOS は Google や Facebook などの環境を参考にしており、柔軟にスケールし、さらにはインフラ構築その もののプロセス自体も効率よく合理的に行えるよう設計されている。 また運用、管理（セ
Amazon EC2(Linux)のswap領域ベストプラクティス | DevelopersIO
ども、大瀧です。 Linuxのメモリ管理で欠かせないのがswapですよね。EC2のディスク管理には独特な仕様があるのでその辺りを踏まえつつ、EC2(Linux)でどのようにswap領域を用意するのが良いのかまとめてみたいと思います。 理屈をこねながらの解説になるので、先に本エントリーの結論を。 公式AMIにはswap領域が含まれない m1.small、c1.mediumには900MBのスワップ領域がおまけでついてくる(Amazon Linux AMIであれば、Cloud-initによって自動マウントされる) swap領域には、インスタンスストア(別名Ephemeral Disk)を使うべし では、それぞれ見ていきます。 公式Linux AMIの初期構成にはswapパーティションが無い Amazonから提供される公式のLinux AMIのブートディスクには、swapパーティションが含まれてい
新208.5日問題、LinuxカーネルのバグとXeonのバグの合わせで発生 | スラド Linux
かつてLinuxカーネルで発見され修正されていた「起動後208.5日経過すると勝手に再起動する」不具合が、完全には直っていなかったことが明らかになったようだ（新208.5日問題 - Systems with Intel® Xeon® Processor E5 hung after upgrade of Red Hat Enterprise Linux 6M）。 新たに発見された問題はXeon E5シリーズのCPUのみで発生するもので、「起動後208.5日経過すると勝手に再起動する」ではなく、「最後に電源停止を行ってから208.5日経過後に再起動を行うと再起動時にハングアップする」というもの。 そもそもの問題（Red Hatのサポートページ）は、駆動クロックに応じてカウントアップされるCPUの「Time Slice Stamp Counter（TSC）」というカウンタに対する処理と、この値を
Docker コンテナにアプリケーションを立てて Graphite でいい感じに可視化するまで - wtatsuruの技術方面のブログ
このときにやった可視化部分の話。急いで作ったのでいろいろ雑な部分が多い。 開発合宿でDockerとMesosを使っていい感じにリソース提供とデプロイするやつを作ってた - wtatsuru's blog はじめに 元のやつから内部情報を削ったサンプルを置いておきます。適当にサーバ名など修正すれば使えるかもしれません。 https://github.com/tatsuru/docker-sample-app 全体の仕組みについてはここの図がわかりやすいと思います Docker + Mesos + Marathon + Graphite + Fluentd + Sensuを組み合わせたデプロイ管理ツールの話 - ゆううきブログ やりたいこと 目的はアプリケーションの現状を俯瞰できるダッシュボードを作ること。 それぞれのDockerコンテナは短命なので、下記の情報をうまく集約してやる必要がある。
RHEL(CentOS)6系でトラフィックをたくさん捌くサーバが死ぬ問題は6.5のkernel-2.6.32-431.el6以降で多分直る - このブログはURLが変更になりました
タイトルで言いたいことはすべて言った。 経緯 うちの場合はLVS+keepalivedなロードバランサなんだけど、ちょくちょくkernel panicになる問題が発生してた。 そこでcrashコマンドで解析してみた。crashコマンドの使い方はこちらが参考になる。Linux crash dump 読み方入門 # crash /boot/System.map-2.6.32-279.14.1.el6.x86_64 /usr/lib/debug/lib/modules/2.6.32-279.14.1.el6.x86_64/vmlinux /var/crash/127.0.0.1-2013-09-27-16\:21\:01/vmcore (snip) SYSTEM MAP: /boot/System.map-2.6.32-279.14.1.el6.x86_64 DEBUG KERNEL: /usr
米Facebook、SSDをキャッシュとして利用するための技術「FlashCache ⒊0」を公開 | OSDN Magazine
米Facebookは10月10日、Linux向けの汎用キャッシュ技術「FlashCache ⒊0」を公開したことを発表した。SSDをキャッシュ用ストレージとして利用するための技術で、コストを抑えつつ性能を強化できるという。 FlashCacheはSSDをキャッシュデバイスとして使用するためのオープンソースプロジェクトで、Facebook社内で2010年にスタートした。Linuxカーネルデバイスラッパーのターゲットとして実装するというソフトウェアベースのアプローチをとる。データ書き込み時にHDDと同時にSSDにも書き込みを行い、読み出し時にはSSDを参照する。Facebookがユーザーデータを保持しているというMySQLとInnoDBエンジンと連携して動作するよう開発されているが、Linuxシステムのキャッシュシステムとしても利用できるという。 ⒊0は新しいブランチとなり、読み出しと書き込み
ITインフラで起きる「もしも」のための12個のコマンド
こんにちは。斎藤です。 ITインフラの障害は、多くの場合「予期せぬ」タイミングで発生します。特に、CPUリソースを多量に消費したり、Disk I/Oが輻輳している場合、その切り分けは困難な状況に陥りやすいものです。 そこで、本日はITインフラ、特にOS・ミドルウェアを支えるにあたって、問題解決を助けてくれるであろう12個のコマンドを取り上げてみます。「必ず押さえておきたい」5つのものと「更に覚えると便利なコマンド」7つの2節に分けてお話しします。 ※CentOS 6.4 (64bit)を前提に取り上げます 必ず押さえておきたいコマンド もしITインフラ管理者になりたてな方はぜひ サーバサイドのプログラマをやっていたのだけれど、ある日突然「君、サーバ管理担当ね！」と、バトンを渡される方っていらっしゃると思います。私も以前はそのクチでした...。そうなってしまったとき、まずは覚えておきたい5つ
/etc/hosts はホスト数が増えるとDNSより遅くなる
/etc/hosts にホスト名を書いて配るというのは、数台のマシンを管理する状況では誰しもやったことがあると思います。DNSクエリが発生しないのでとても早く、また単一障害点が発生しないメリットがあります。その反面、台数が増えてくると全部を更新するのがとても大変になるだけでなく、致命的な速度低下をもたらします。 テスト環境は OS: CentOS 6.4 64bit, Linux 3.10.2 CPU: Intel Core i7-2600 @ 3.4GHz です。 テストにはひたすら getaddrinfo(3) し続けるプログラムを作成し、名前を解決しました。 /etc/hosts には 10.234.130.1 host1301 10.234.130.2 host1302 10.234.130.3 host1303 のように適当なアドレスとホスト名を並べたものを作り、利用しました。な
Linuxカーネル3.9リリース、SSDをキャッシュとして利用する「dm-cache」やAndcroidエミュレータ機能などを新たに搭載 | OSDN Magazine
Linus Torvalds氏は4月29日、Linuxカーネル3.9のリリースを発表した。SSDをハードディスクのキャッシュとして利用できる「dm-cache」や、新しい省電力モードの追加、Android環境のエミュレーション環境などが加わっている。 2月後半にリリースされたLinuxカーネル3.8から10週間での最新版リリースとなり、BrtfsでのRAID 5/6サポートやSSDキャッシュデバイスサポート、Androidエミュレータ機能、いくつかの新アーキテクチャサポートの追加、省電力機能の強化などが特徴となる。 Brtfsでは従来RAID 0/1のサポートのみが行われていたが、今回新たにRAID 5および6の実験的サポートが加わった。ただしクラッシュセーフではないため、テスト目的での実装というステータスとのこと。また、スナップショット情報を意識したデフラグ（Snapshot-aware
RSS対応NICなのに割り込み処理が複数コアに分散しない…のはirqbalanceが動いてなかったから - 酒日記 はてな支店
タイトルがすべてでございます。 NICの割り込み処理が1コアに集中してしまい、ボトルネックになって性能が出ない場合があるという話は最近広く知られていると思います。 NICのハードウェアレベルで割り込みを分散してくれる RSS(Receive Side Scaling) という仕組みがあり、それを利用すれば特になにもしなくても複数コアに分散されるはず、と思っていたのですが、どうも特定のマシンでそうならない。 # cat /proc/interrupts CPU0 CPU1 CPU2 (省略) CPU11 64: 1256214 0 0 ... 0 IR-PCI-MSI-edge eth1-0 65: 225711 0 0 0 IR-PCI-MSI-edge eth1-1 66: 402906 0 0 0 IR-PCI-MSI-edge eth1-2 67: 723539 0 0 0 IR-P
DSAS開発者の部屋
12/27 から年末年始をはさんだ5日間で、技術系インターン「KLabサーバーサイドキャンプ」を開催しました。 今春3月に第2回も企画しているので、 その宣伝も兼ねて開催報告をします。 （尚、エントリー最終締切日が1/24（月）に迫っているので興味を持って頂けた方はお早めにご応募ください） キャンプの目的 このキャンプは、主にこれから就職活動を始める学生を対象にサーバーサイド開発を体験してもらい、今後の進路を考える上で参考にしてもらうことを目的としています。 そのため、Pythonでのある程度のプログラミング経験は前提としつつ、SQLやSSHなどを触ったことがない方でも参加できるように講義や課題を準備していました。 キャンプの内容 題材として、実際に遊べるリズムゲーム（音ゲー）を用意しています。 このゲームにはユーザー登録機能と、複数人で同一曲を同時にプレイする機能があります。この2つの機
Linuxカーネル3.5リリース、ファイルシステムやネットワーク、ドライバ関連で多くの強化が行われる | OSDN Magazine
Linus Torvalds氏は7月21日、Linuxカーネル3.5 をリリースした。ext4ファイルシステムにおけるメタデータチェックサムサポートやユーザースペースにおけるパフォーマンスプロファイリング機構、システムコールをフィルタリングできるサンドボックス化機構など、多くの新機能や機能強化が含まれている。 Linuxカーネル3.5は5月22日にリリースされたLinux 3.4に続くLinuxカーネルの最新版。7回のリリース候補（RC）版リリースを経ての公開となった。 大きな変更点として、まずext4ファイルシステムにおいてメタデータに対するチェックサムを格納できるようになった。tune2fsコマンドやmkfsコマンドで「-O metadata_csum」オプションを付加することでこの機能が有効になる。 また、Linuxには「Kprobes」という、実行中のLinuxカーネル中に動的にブ
中小企業向けエンプラサーバOS「SME Server 8.0」公開
SME Server is a leading Open Source distribution for small and medium enterprises. SME Serverプロジェクトは25日(米国時間)、SME Serverの最新版「SME Server 8.0」を公開した。SME(Small to Medium Enterprise) Serverは、中小企業向けのエンタープライズサーバOSとして開発されているLinuxディストリビューション。同じLinuxディストリビューションであるCentOSをベースにしている。 SME Serverは高価なプロプライエタリサーバの代替サーバとなることを目的に開発されているオープンソースのOS。ファイル共有やプリンタ共有、インターネット接続の自動化、メール、ファイアウォール、リモートアクセス、ディレクトリサービス、Webホスティング、
システム復旧用1CD Linux「SystemRescueCd 2.7.0」リリース | OSDN Magazine
SystemRescueCd開発チームは5月12日、オープンソースのシステム回復・バックアップツール最新版「SystemRescueCd 2.7.0」をリリースした。rpmおよびdeb形式パッケージに向けたパッケージ管理ツールが新たに追加されたほか、最新ファイルシステムのサポートも改善されている。 SystemRescueCdはCDやUSBメモリといったデバイスから起動できるLinuxシステム。GNU PartedやGParted、Partimageといったディスク/パーティション操作ツールやテキストエディタ、ファイラ、ネットワークツールといったツールが含まれており、システムクラッシュ時のデータ復旧やバックアップ、パーティション操作といった用途に利用できる。対応ファイルシステムはext2/3/4やreiserfs、btrfs、XFS、JFSなど。VFATやNTFSにも対応し、Windows
dstat が便利 | Carpe Diem
dstat という vmstat, iostat, netstat, nfsstat, ifstat 用の置き換えとして使える多機能ツールがあることを知ったので、CentOS でさっそく試してみました。 まず、インストール方法ですが、公式に dstat パッケージが提供されているので yum 一発でインストールすることができます。 $ sudo yum install dstat /usr/bin/dstat にインストールされます。 dsat は多機能ツールですが、使い方は dstat –help するとたくさん表示されます。 まず、オプションを指定しないで実行してみます。 $ /usr/bin/dstat —-total-cpu-usage—- -dsk/total- -net/total- —paging– —system– usr sys idl wai hiq siq| read
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
11.2.7. 802.1Q VLAN タグの設定 | Red Hat Product Documentation
Engadget | Technology News & Reviews
RedHat Linux 技術的な質問(Part2) FAQ