多機能なコンテナクラスタ構築ツール「Kontena」 | OSDN Magazine
Dockerの普及に伴い、昨今ではDockerを使ったさまざまなクラスタ構築ツールが登場している。今回紹介するKontenaもそのようなクラスタ構築ツールの1つで、多機能かつ構成が容易で、またさまざまな環境で利用できるのが特徴だ。 多機能でかつ構成が容易なDockerクラスタ構築ツール Linuxによるインフラ関連において、ここ数年で最も注目されていると言っても過言ではないDockerだが、開発当初は単一のサーバーでの利用にのみフォーカスして開発が進められており、複数のマシンを連ねたクラスタ環境でDockerを利用するためには、サードパーティ製のツールが必要となっていた。その代表的なものに「Kubernete」や「CoreOS」があるが、今回紹介するのはそれらとは別のアプローチを採用したコンテナクラスタ環境構築ツール「Kontena」だ。 KontenaもKuberneteやCoreO
【Jenkinsを使った自動テスト環境を作る】Dockerコンテナを使って自動ビルドを実行する | OSDN Magazine
継続的インテグレーション（CI）ツールとして有名なJenkinsは、ソフトウェア開発におけるテストやビルドと言った作業を自動化するツールだ。後編となる今回は、Dockerを使ってコンテナ内に構築したビルド環境をJenkinsから利用する例を紹介する。 Jenkinsの「マスター/スレーブ」機能 前回記事では、Jenkinsをインストールしたサーバー内でソフトウェアのビルドやテストを行うことを前提に環境を構築していった。Jenkinsをインストールしたサーバーと、対象とするソフトウェアのビルド/実行環境が同じで構わなければこれで問題はないが、たとえばそれぞれビルド/実行環境が異なる複数のソフトウェアをJenkinsで管理したい場合、このやり方では複数台のサーバーを用意しなければならない。 Jenkinsではこういった問題を解決するため、Jenkinsがインストールされたサーバーとは異なる
【Dockerの最新機能を使ってみよう】マルチホストネットワークで複数ホスト間を繋ぐ仮想ネットワークを作る | OSDN Magazine
新たなサーバー環境構築ツールとして普及が始まっているDockerは、その開発も積極的に行われている。そこで本連載記事では、4回に渡って最近Dockerに実装された新機能について紹介していく。まず第1回となる今回は、Dockerのネットワーク周りの新機能について紹介する。 進化しているDockerのネットワーク機能 DockerはLinuxカーネルが持つ名前空間（namespace）機構を使い、プロセスやリソースを隔離するツールとして開発が始められた。そのような背景もあってか、開発当初はネットワーク関連機能としては仮想ブリッジとiptablesを使ったパケットルーティング程度の機能しか備えられていなかった。そのため、Dockerを使ってコンテナを動かすマシン（Dockerホスト）を複数台用意して動かすような環境の場合、別途仮想ネットワーク構築ツールを用意する必要があった。 この状況が変わり始
カスタムLinux構築のためのドキュメント「Linux From Scratch 8.0」が公開される | OSDN Magazine
Linux From Scratch（LFS）開発チームは2月25日、カスタムLinuxを構築するためのドキュメンテーション「Linux From Scratch 8.0」および「Beyond Linux From Scratch 8.0」をリリースした。標準版とsystemd版の2種類が用意されている。 Linux From Scratch（LFS）はソースコードからカスタムなLinuxシステムを構築するために必要な作業を段階ごとに記したドキュメント。また、それ以外にも完成したLFSインストールをよりカスタマイズしたシステムにするための作業を記した「Beyond Linux From Scratch（BLFS）」や「Automated Linux From Scratch（ALFS）」、「Cross Linux From Scratch（CLFS）」といったドキュメントや、各種支援ツール
バッチとストリーミング処理のための分散処理ツール「Apache Beam」がトップレベルプロジェクトに | OSDN Magazine
Apache Software Foundation（ASF）は1月10日（米国時間）、分散処理ツール「Apache Beam」がトップレベルプロジェクト（TLP）となったことを発表した。 Apache Beamは、バッチとストリーミング処理の両方を任意の実行エンジンで動かすことができるユニファイドプログラミングモデルを提供するソフトウェア。Apache SparkやApex、Apache Flink、Google Cloud Dataflowなどの実行環境を利用でき、PythonとJavaでデータ処理パイプラインを定義できるSDKを含む。拡張性にも優れるとしている。 当初はGoogleでMapReduceシステムの流れを汲むデータ処理の取り組みの一部として開発されたもので、2016年1月にApache Software Foundation（ASF）に寄贈された。 GoogleはApac
GoogleがオープンソースのRPCフレームワーク「gRPC 1.0」を発表 | OSDN Magazine
Googleは8月23日、オープンソースのRPC（リモートプロシージャコール）フレームワークの最新版「gRPC 1.0」公開を発表した。HTTP/2に対応し、大規模な分散システム向けの機能を備えるもので、運用環境で利用できるとしている。 gRPCはGoogleが2015年に発表したRPC（リモートプロシージャコール）フレームワーク。HTTP/2を標準とし、クラウド、マイクロサービスなど最新の利用に適したサーバー間通信プロトコルを目指す。それまで「Stubby」として社内開発、利用されていたものをオープンソースで公開した。同社ではgRPCを利用して毎秒100億単位のリクエストを処理しているという。 双方向ストリーミング、フロー制御、ヘッダー圧縮、多重リクエストなどの機能を持つ。フレームワーク内で複雑な処理を行うため、分散システムでの接続、運用、デバッグをローカルでの関数呼び出しのように容易に
無償SSLサーバー証明書Let’s Encryptの普及とHTTP/2および常時SSL化 | OSDN Magazine
Webサイトの暗号化（SSL化、HTTPS対応）はこれまでEコマースやプライバシを守る目的で部分的に導入されてきたが、SHA1からSHA2への切り替え、モバイル端末の普及やHTTP/2の登場によって、サイト全体を常にHTTPS通信にする常時SSL化の動きが活発になっている。さらにSSLサーバー証明書を無償で入手可能なLet’s Encryptのサービス開始や主要なWebサーバーソフトウェアの安定版でHTTP/2が利用できるようになったことでその動きは加速している。本稿ではSSL化を取り巻く最近の状況を整理し、NginxとLet’s EncryptによるHTTP/2＆SSL化の実装例も紹介していく。 これまで証明書の無償入手は限定的 HTTPSのWebサイトを運用するには通常、商用の認証局にSSLサーバー証明書の発行を申し込み、必ず費用が発生するものだった。一部限定した目的では無償で利用でき
FUSE: Filesystem in Userspace (2) | OSDN Magazine
FUSEは、ユーザ空間のプログラムにファイルシステムを実装するための インタフェースを提供する。FUSE導入の経緯を紹介した前回に引き続いて今回は， FUSEの構造を簡単に説明し、FAQとFUSEファイルシステムの簡単な実装例を紹介する。 FUSEの構造 FUSEは、以下に示す3つの主要な 部分から構成される。 カーネルモジュール fuse ユーザ空間ライブラリ libfuse mount/umountプログラム fusermount ファイルを操作するシステムコールをユーザ空間プロセスが発行すると、カーネル 空間においてVFSは各ファイルシステムによって定義される対応する操作関数を 呼び出す。FUSEカーネルモジュールによって定義される操作関数は、それに 対応する要求をファイルシステムを実装するユーザ空間プロセス(FUSEファイル システム・デーモン)に送り、その応答を待つ。FUSEカー
Core i7のSSE4.2にも対応、インテル コンパイラーで作るSSE対応プログラム | OSDN Magazine
インテル コンパイラーの特徴の1つに「自動ベクトル化」がある。これはSSE（Streaming SIMD Extensions）と呼ばれるCPUの機能を利用することで数値演算の高速化を図るものだ。インテル コンパイラーは最新のCore i7といったCPUに搭載されているSSE4.2に対応しており、現行のほとんどのインテルCPUにおいて高速化が期待できる。本記事では、インテル コンパイラーでのSSEの使用と、その効果について解説する。 インテル コンパイラーには生成するプログラムの処理速度を向上させるためのさまざまな機能が備えられているが、その1つに「自動ベクトル化（Auto vectorization）」というものがある。これは、forループなど同一の演算を繰り返すような処理を、インテル製のCPUが持つ「SSE（Streaming SIMD Extensions）」という命令群を利用して複
Chefを使ったDockerのイメージファイル作成を自動化できるツール「Packer」 | OSDN Magazine
KVMやXen、VMware、VirtualBoxといった仮想化ソフトウェアやDockerなどのコンテナ管理ツールを利用する際には、それら仮想マシンやコンテナを起動するためのディスクイメージファイルが必要となる。今回はさまざまな仮想化ソフトウェア/コンテナ管理ソフトウェアで利用できるディスクイメージファイルを作成できる「Packer」というツールを紹介する。 複数の形式のディスクイメージを統一的な操作で作成できる KVMやXen、VMware、VirtualBoxといった仮想化ソフトウェアやDockerなどのコンテナ管理ツールではそれぞれ独自のディスクイメージ形式が採用されており、その作成には専用のツールを利用する。そのため、複数の仮想化ソフトウェアを併用している場合、各ツールごとに設定ファイルを作成したり、対応するコマンドを実行して個々のディスクイメージを作成する必要があった。こういった
簡易的なLinux用仮想化プラットフォームとしてのLguest | OSDN Magazine
これまでのところLinuxカーネルのメインラインツリーには3種類のハイパーバイザ（hypervisor）が取り込まれており、まず最初がカーネル2.6.20段階でのKVMで、その次に2.6.23リリースにおけるXenおよびlguestという順番になる。ここで言うハイパーバイザとは、ホストシステム上で複数のオペレーティングシステムを実行させる技術のことである。これら3つの選択肢の中で、操作と実装という観点から見た場合に最も簡単なのがlguestであり、これから仮想化テクノロジの動作する原理を学習したいというユーザに適したオプションだと言えるだろう。 lguestは比較的新しいソフトウェアであるが、成熟の進んだ他のLinux用仮想化プラットフォームに見られる一部の高度な機能は装備されていない。例えばlguestの基本構成は、カーネルモジュールおよびクライアントランチャという2つに分けられるが、l
Microsoft、オープンソースの機械学習ツールキット「Distributed Machine Learning Tookit（DMLT）」を公開 | OSDN Magazine
米Microsoftは11月9日、機械学習ツールキット「Distributed Machine Learning Tookit（DMLT）」をオープンソースで公開した。米Googleが先日公開した「TensorFlow」に続くものとなり、分散型システムでの機械学習システム構築を簡素化するものとなる。 Distributed Machine Learning Tookit（DMLT）は、Microsoft Research Asiaが開発した分散型の機械学習技術。さまざまな分野で機械学習の活用事例が増える一方で、利用には巨大なコンピューティングリソースを要することから、ビッグデータ処理における機械学習の利用は研究者や利用者にとって課題となっており、これの解決を図るものと位置付けている。オープンソースで公開することでビックモデルのトレーニングをクラスタで効率よく行うことができるようにする、と意
さくらの専用サーバとOpenStackで作るプライベートクラウド 2ページ | OSDN Magazine
OpenStack環境を構築する それでは実際にOpenStack環境を構築する手順について説明していこう。サーバーはさくらの専用サーバの「エクスプレスG2シリーズ」を使用する。以下ではまず1台の制御用ノードにすべてのコンポーネント（keystone、nova、glance、horizon）をインストールしてテストを行い、続いて計算用ノードを追加していく、という流れでOpenStack環境を構築していく。仮想マシンインスタンスのストレージは制御用ノードのローカルストレージをネットワーク経由で使用する形とする。 今回構築する環境の概要を図で示したものが図1だ。 図1 今回使用するネットワーク構成 ローカルのネットワークは192.168.100.0/24とし、計算用ノードのローカルIPアドレスは192.168.100.21とする。また、仮想マシンインスタンスは192.168.200.0/24と
ミニマルなQEMU向けx86ファームウェア「qboot」 | OSDN Magazine
QEMU開発者が5月21日、QEMU向けのミニマルなファームウェアを開発する「qboot」プロジェクトの立ち上げを発表した。QEMU向けのファームウェアで、40ミリ秒での仮想マシン起動も可能としている。 qbootはLinuxをブートさせるためのQEMU向けx86ファームウェア。QEMU上でLinuxをブートさせる場合、今までは500ミリ～700ミリ秒程度がかかっていたが、このファームウェアを利用することでこれを大きく短縮できるという。 設定をスリム化することで短縮を図っており、コードは8KBとコンパクト。kvmtoolsのBIOSを土台とした16ビットBIOSランタイム、ほとんどがスクラッチから作成したというハードウェア初期化ルーティーン、kvm-unit-testsベースのミニマルな32ビットlibc、QEMUのLinuxローダーで構成される。 プロジェクトの開発者によると、Intel
ネットワーク/ストレージの処理能力をチェックするためのベンチマークツール | OSDN Magazine
サーバー上でさまざまなサービスを構築する前に、そのサーバーの処理能力を把握しておくことは重要だ。特にネットワークの帯域やストレージの速度といったリソースはサービスの品質に大きく関わってくる。そこで、今回はこれらの性能を調査するためのベンチマークツールやその使い方を紹介する。 ネットワークの性能を調査するベンチマークツール まずはネットワーク関連の性能を調査するベンチマークについて紹介しよう。ネットワークの性能といっても、その指標は次のように複数ある。 スループット（速度、帯域幅） レイテンシ（遅延） パケットロス（損失パケット） まず1つめは、スループット（ネットワークの速度）だ。帯域幅などとも呼ばれるが、ネットワークの性能としてもっとも重視されるのはこれだろう。ネットワークの速度が早ければそれだけ多くの情報をやり取りできるし、またより多くの接続に対して迅速に反応できるようになる。通常スル
Chefでクラスタが管理できるフレームワーク「Chef Metal」がリリース | OSDN Magazine
米Chef Softwareは3月4日、Chefでクラスタやクラウドの管理を可能にするフレームワーク「Chef Metal」プロジェクトを発表した。アルファ版という「Chef Metal 0.2」も同時に公開された。 Chefは、「レシピ（Recipe）」と呼ばれる設定ファイルの記述に従ってOSやソフトウェアの設定などを自動で実行するツール。Chef MetalはChefでクラスタを管理するためのフレームワークで、Chefでマシンを管理するのと同じようにレシピでクラスタを管理できる。 プラグインモデルを持ち、VirtualBoxやEC2、LXCなど、さまざまな仮想化技術向けの設定を記述できる。これにより、複数台のサーバーを管理・構成するレシピの記述やそれによるクラスタの作成などが可能になる。VirtualBox、VMwareなどの仮想化プラットフォームで利用できるVagrantや、EC2な
Tera Termマクロ活用入門（1）：各種ログインを自動化する | OSDN Magazine
Windows向けのターミナルエミュレータ「Tera Term」(テラターム)には強力なマクロ機能が搭載されており、これを利用することでネットワーク経由でマシンを自動操作したり、管理情報を取得する、といったことが可能だ。本記事ではいくつかのサンプルとともにTera Termマクロの基本的な使い方を紹介する。 Tera TermおよびTera Termマクロの基本 Tera Termのマクロ機能を紹介する前に、簡単にTera Termについて紹介をしておこう。Tera Termはオープンソースで開発されているWindows向けのターミナルエミュレータ（端末エミュレータ）だ。かつてはTelnetクライアントやCOMポート経由でのシリアル接続機能を備えた無償のターミナルエミュレータとして有名だったが、1998年にいったん開発が中断された後にオープンソース化され、現在ではSSHクライアント機能やC
シェルスクリプトで役立つテキスト文字列のパターンマッチングの基礎 | OSDN Magazine
シェルプログラミングでは、文字列に関する操作が大きな役割を果たすことになる。ここで言う文字列とは、連続した任意のキャラクタの並びで構成されるテキストのことで、具体例としてはインプットされるテキストやコマンドの引数などを考えればいい。そして、プロンプトへの応答入力、必要なファイル名の生成、コマンドの出力結果に対する処理を繰り返し実行させる際に必要となるのが、特定の文字列が特定のパターンと一致しているかという確認作業であり、これこそがパターンマッチングと呼ばれているプロセスである。そしてシェルには、パターンマッチング用の様々な機能が用意されているのだ。 本稿は最近出版された『Beginning Portable Shell Scripting』からの抜粋である。 パターンマッチングの機能はgrepやsedなど、多くのUnixユーティリティの形態で提供されている。通常この種のプログラムでは、正規
さくらの専用サーバとOpenStackで作るプライベートクラウド | OSDN Magazine
専用サーバーサービスが共用サーバーやVPSサービスと大きく異なる点として、サーバー上で仮想マシンを動かせる点がある。これは最近増えている利用形態であり、オープンソースのツール群も整ってきている。そこで本記事では「さくらの専用サーバ エクスプレスG2シリーズ」に「OpenStack」という仮想化環境管理ツールを導入し、専用サーバーをいわゆるプライベートクラウドのように利用するための手順を紹介する。 プライベートクラウドとは 数年前から、「クラウド」と呼ばれる技術がブームとなっている。クラウドの定義はさまざまだが、一般的には「自分が所有していないサーバーにインターネット経由で接続して何らかのサービスを利用する」ものがクラウドとされている。クラウドで提供されるサービスはアプリケーションだけでなく、アプリケーションを実行するためのプラットフォームやOSを実行できる仮想環境インフラなどもあり、それぞ
straceを使ったデバッグ | OSDN Magazine
プログラムが機能を果たせない場合には、有用なエラーメッセージを返し、問題を解決する手がかりを提供するのが理想的だ。しかし残念ながら、このような理想的な状況は珍しく、アプリケーションでエラーが発生したときに、手元に何の情報もないことも多い。 ここで、デバッグツールの登場だ。私にとってなくてはならないツールの1つが、straceだ。straceはシステムコールトレーサで、すでに実行されているプログラムによって発せられたコールを追跡する（straceを既存のPIDにバインドする）ことも、テストしたいプロセスをstraceに開始させることもできる。 では、straceの使い方を実例とともに見ていくことにしよう。 KDE起動時の問題 以前、私はKDEを起動する際の問題をデバッグしていた。返されたエラーメッセージからは、何の手がかりも得ることができなかった。 _KDE_IceTransSocketCr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
