「Apache Storm 2.0」リリース、Javaでコア機能を再実装 | OSDN Magazine
Apache Stormコミュニティは5月30日、分散処理システム「Apache Storm 2.0.0」を公開した。約3年ぶりのメジャーリリースとなり、コア機能をJavaで書き直すことで性能を改善したという。 Apache Stormは分散型ストリーミング処理のためのフレームワーク。ClojureとJavaで実装されており、高速、拡張性、信頼性、リアルタイム性などを特徴とする。任意のキューシステム、データベースと統合でき、リアルタイム分析、オンライン機械学習、分散型RPC、ETLなどさまざまな用途に利用できるとしている。 Storm 2.0は、2016年に公開されたバージョン1.0に続く最新版となる。 これまでコア機能の多くがClojureで実装されていたが、2.0ではこれを再構築し、Javaで実装した。これにより性能が大きく改善し、内部APIのメンテナンス性や拡張性も強化できるという。
【Dockerの最新機能を使ってみよう】Dockerコンテナで利用できるリソースや権限を制限する | OSDN Magazine
新たなサーバー環境構築ツールとして普及が始まっているDockerは、その開発も積極的に行われている。そこで本連載記事では、4回に渡って最近Dockerに実装された新機能について紹介していく。今回は、コンテナに割り当てるリソースの制限やDockerが持つ権限分離機構について紹介する。 Dockerが備えるリソース制限機構 仮想化技術を利用するメリットの1つに、柔軟にリソースを管理できる点がある。Dockerでは古くからコンテナに割り当てるCPUリソースやメモリ容量を指定する機能があったが、Docker 1.6以降では割り当てるCPUリソースやメモリをより詳細に指定できるようになった。また、Docker 1.10ではブロックI/Oに関する制限も設定できるようになっている。以下では、これらコンテナに向けたリソース制限機能について紹介する。 稼働中コンテナのリソース使用状況を確認する リソースの制
【Dockerの最新機能を使ってみよう】マルチホストネットワークで複数ホスト間を繋ぐ仮想ネットワークを作る | OSDN Magazine
新たなサーバー環境構築ツールとして普及が始まっているDockerは、その開発も積極的に行われている。そこで本連載記事では、4回に渡って最近Dockerに実装された新機能について紹介していく。まず第1回となる今回は、Dockerのネットワーク周りの新機能について紹介する。 進化しているDockerのネットワーク機能 DockerはLinuxカーネルが持つ名前空間（namespace）機構を使い、プロセスやリソースを隔離するツールとして開発が始められた。そのような背景もあってか、開発当初はネットワーク関連機能としては仮想ブリッジとiptablesを使ったパケットルーティング程度の機能しか備えられていなかった。そのため、Dockerを使ってコンテナを動かすマシン（Dockerホスト）を複数台用意して動かすような環境の場合、別途仮想ネットワーク構築ツールを用意する必要があった。 この状況が変わり始
カスタムLinux構築のためのドキュメント「Linux From Scratch 8.0」が公開される | OSDN Magazine
Linux From Scratch（LFS）開発チームは2月25日、カスタムLinuxを構築するためのドキュメンテーション「Linux From Scratch 8.0」および「Beyond Linux From Scratch 8.0」をリリースした。標準版とsystemd版の2種類が用意されている。 Linux From Scratch（LFS）はソースコードからカスタムなLinuxシステムを構築するために必要な作業を段階ごとに記したドキュメント。また、それ以外にも完成したLFSインストールをよりカスタマイズしたシステムにするための作業を記した「Beyond Linux From Scratch（BLFS）」や「Automated Linux From Scratch（ALFS）」、「Cross Linux From Scratch（CLFS）」といったドキュメントや、各種支援ツール
米Yahoo、継続的デリバリプラットフォーム「Screwdriver.cd」をオープンソースで公開 | OSDN Magazine
継続的デリバリはコードに変更が生じた際にビルド、テスト、運用側の作業を自動化するもので、これを利用することでソフトウェア開発チームはソフトウェアの変更リリースに関連した作業を迅速にテスト環境や運用環境に適用できるようになる。Screwdriver.cdは継続的デリバリのプラットフォームで、合理化されたビルトとリリースのためのツール。 Yahoo!社内では継続的デリバリを製品と開発の品質を改善する戦略的技術と位置付けており、5年前に開発された。製品のコミットから運用まで自動化を進めることで製品提供の改善を図っているとのこと。単一の共有エントリーポイントとして1日1万2000件のgitコミット、2万5000件以上のビルドを処理しているという。 複数のプログラミング言語をサポートし、仮想マシンとコンテナベースのビルドおよびデプロイの両方をサポートする。コンテンツ向けのフロントエンド、ユーザーのイ
Goで実装された仮想ターミナル上で動作するテキストエディタ「Micro 1.0.2」リリース | OSDN Magazine
Goで作成されたテキストエディタ「Micro」の開発者が9月4日、「Micro 1.0.2」を公開した。8月末に公開したバージョン1.0系のポイントリリースとなる。 Microは仮想ターミナル上で動作するテキストエディタ。nanoエディタの後継を目指しており、モダンなターミナルの機能を活用できると同時に、容易に直感的に使えるという。Luaベースのプラグインシステムを持ち、機能を拡張できる。Go言語がサポートするすべてのプラットフォームで動作し、さまざまなショートカットキーサポート、マウスのサポート、自動文法チェックおよびエラー通知、75以上の言語向けのシンタックスハイライトなどの機能を持つ。 Microは8月末にバージョン1.0を公開しており、1.0.2は1.0系のポイントリリースとなる。新たに「Bracketed Paste Mode」のサポートが加わった。また、設定ファイルではjson
全文検索ライブラリ「Apache Lucene 6.0」リリース、新たに多次元データをサポート | OSDN Magazine
オープンソースの非営利団体Apache Software Foundation（ASF）は4月8日、全文検索ライブラリ「Apache Lucene 6.0.0」およびLuceneベースの検索プラットフォーム「Apache Solr 6.0.0」をリリースした。 Apache LuceneはJavaで実装されたテキスト全文検索ライブラリ。分野を問わず、全文検索を必要とするほぼすべてのアプリケーションに利用できるとしている。また、SolrはLuceneを使って構築された検索プラットフォーム。 Lucene 6では、Java 8が最小要件となった。また、新たに二次元/三次元などの多次元データがインデックスやドキュメント、コーデックAPIでサポートされるようになった。kd木ベースのデータ構造を使って処理を行うもので、これにあわせてIntFieldやLongFieldといった数値型フィールドタイプは
Packerを使ってVirtualBoxやKVM/Xen向けの仮想マシンイメージを作成する | OSDN Magazine
PackerにはVirtualBoxやQEMU（KVMおよびXen）などの仮想マシンイメージを作成する機能が用意されており、仮想マシン作成を自動化できる。今回は、Packerを使ってVirtualBoxおよびQEMU（KVM）用の仮想マシンにOSをインストールしてディスクイメージを作成する例を紹介する。 Packerを使って各種仮想マシン用のディスクイメージを作る 前回記事ではPackerを使ってDocker用のイメージを作成する方法を紹介したが、今回はDockerではなく仮想化ソフトウェア向けのイメージを作成する方法を紹介していこう。 Packerではさまざまな仮想マシンやクラウドインフラ向けのディスクイメージを作成できるが、今回はCentOS 7のインストールISOイメージを元に、VirtualBoxとQEMU（KVM）向けのディスクイメージを作成する流れを紹介する。 VirtualB
Ruby向けWebサーバー「PUMA 2.16」リリース | OSDN Magazine
Ruby向けWebサーバー「PUMA」の開発チームは1月27日、最新版となる「PUMA 2.16.0」をリリースした。プロジェクトのWebサイトから入手できる。 PUMAは高速で高い並列性をもつRuby/Rackアプリケーション向けのHTTP 1.1サーバー。3条項BSDライセンスで提供されている。Cに最適化されたRagel拡張を利用して要求を処理し、内部のスレッドプールからのスレッドでリクエストを処理するのが特徴。メモリの使用はRainbows!やUnicornより大幅に少なく、速度（並列リクエストに対して1秒間に処理されたリクエスト数）はこれらよりも高いという。すべての拡張Rack対応アプリケーションで利用できる。開発および運用の両方で利用できるとし、またスループットを出すためにはRuniniusやJRubyなどのRuby実装の利用を推奨している。 PUMA 2.16は2015年11月
AWS Lambdaを容易に実装・管理できる「Apex」 | OSDN Magazine
米Amazon Web Servicesの提供するサービス「AWS Lambda」向けの実装・管理ツール「Apex」が登場した。AWS Lambdaを容易に利用するためのソフトウェアとなり、早期版「Apex 0.4.1」をダウンロードできる。 AWS Lambdaは2014年にAmazon Web Services（AWS）が発表したサービスで、イベンド駆動型のコンピューティングサービス。クラウド上でサーバープロビジョニングなしでコードを実行でき、Amazon S3パケットのオブジェクト変更、Amazon DynamoDBのテーブル更新など多数のイベントからAWS Lambda関数を呼び出すことができる。 ApexはGoで作成された軽量のプログラムで、AWS Lambdaを利用したサーバーレスアーキテクチャを管理できる。Apexを開発したTJ Holowaychuk氏は、ライブラリをインス
「Git 2.7」リリース、多数の機能強化などが行われる | OSDN Magazine
オープンソースの分散バージョン管理ソフトウェアGit開発チームは1月4日、最新版となる「Git 2.7」を公開した。複数の異なるディレクトリにローカルブランチを作成できるコマンド「worktree」に関連した強化など、多数の機能が加わっている。 Git 2.7は2015年9月に公開されたGit 2.6に続く最新版で、性能、開発、ユーザーインターフェイス（UI）、ワークフローなど多くの改善が行われている。 2.5で導入された「git worktree」コマンドで、新たにリポジトリのワークツリーを表示する「list」サブコマンドが追加された。また「git bisect」コマンドはworktreeごとに独立して実行できるよう変更されている。さらにgit bisectで利用されている「good」と「bad」という単語は状況によっては混乱を招くとして、新たに「old」や「new」という用語が導入され
Microsoft、オープンソースの機械学習ツールキット「Distributed Machine Learning Tookit（DMLT）」を公開 | OSDN Magazine
米Microsoftは11月9日、機械学習ツールキット「Distributed Machine Learning Tookit（DMLT）」をオープンソースで公開した。米Googleが先日公開した「TensorFlow」に続くものとなり、分散型システムでの機械学習システム構築を簡素化するものとなる。 Distributed Machine Learning Tookit（DMLT）は、Microsoft Research Asiaが開発した分散型の機械学習技術。さまざまな分野で機械学習の活用事例が増える一方で、利用には巨大なコンピューティングリソースを要することから、ビッグデータ処理における機械学習の利用は研究者や利用者にとって課題となっており、これの解決を図るものと位置付けている。オープンソースで公開することでビックモデルのトレーニングをクラスタで効率よく行うことができるようにする、と意
「docker import」コマンドでDockerコンテナをゼロから作る | OSDN Magazine
Docker向けのコンテナを公開するDocker Hubでは多数のコンテナが公開されており、これらをベースにして独自のコンテナを作成できる。しかし、新規に独自のコンテナを作成したい場合もあるだろう。今回は、Dockerコンテナにおけるファイル/ディレクトリ情報の格納方法について解説するとともに、新規にコンテナを作成するのに必要な作業手順を紹介する。 Dockerにおける一般的なコンテナ作成手順 Dockerではよく使われるOS環境を含むコンテナがあらかじめ用意されており、それをベースに独自のコンテナを作成できる。しかし、公開されているコンテナではなく、ゼロからコンテナを構築したいという場合もある。 たとえばコンテナを公開できるリポジトリサービス「Docker Hub」で提供されている公式のCent OSのコンテナでは、ファイル容量削減のためか一部のファイルが削除された状態になっており、それ
米Netflix、データフェッチのためのJavaScriptライブラリ「Falcor」を公開 | OSDN Magazine
米Netflixは、データフェッチのためのJavaScriptライブラリ開発プロジェクト「Falcor」を発表した。ネットワークから効率よくデータを取得してクライアントにキャッシュすることを目指すという。 Falcorはリモートにあるデータを単一の仮想的なJSON Graphとして表現し、そこへのアクセスを提供するミドルウェア。JavaScriptライクなパス・シンタックスを持ち、get/set/callといった操作によりデータを取り込むことができるという。 キャッシュ機能を有しており、データがクライアントのメモリ上に格納している場合でも、リモートサーバー上にある場合でも同じコードでデータにアクセスでき、必要に応じてデータのフェッチを非同期で行う仕組み。これにより、アプリケーションのネットワークリクエストの効率性を高めるという。 Netflix自身もモバイル、デスクトップ、TVの各アプリで
ITインフラ自動化ツール「Chef 12」がリリース、オープンソース版と商用版でコードを統一化 | OSDN Magazine
米Chef Software（旧社名：Opscode）は9月8日、ITインフラ設定管理ツール「Chef」の最新版「Chef 12」をリリースした。高可用性、レプリケーションなどの機能が加わり、WindowsやVMwareとの統合も強化した。Chefはまた、オープンソース版と商用版のコードベースを単一にしたことも発表した。 Chefはサーバーの設定を自動化するツール。RubyとErlangで作成されており、米Facebook、米Splunkなど多数の導入実績を持つ。「インフラをコードに」を標榜しており、開発と運用を一体化して考える「DevOps」を実践するソフトウェアとして位置付けている。設定情報などを管理する「Chef Server」と設定対象サーバー側で処理を実行する「Chef Client」、開発キットなどで構成されており、Apache License 2で公開されているオープンソース
Docker管理を容易に、オープンソースの管理ツール「Panamax」が登場 | OSDN Magazine
データセンター事業を行っている米Centurylinkは8月12日、Docker環境の管理ツール「Panamax」をオープンソースソフトウェアとして公開した。複雑なコンテナのデプロイをテンプレートを利用して容易に行えるという。 Panamaxはコンテナを使ってクラウドインフラストラクチャを構築するツール。Dockerを利用しているという同社の開発チームが、9か月の開発作業を経て公開した。Dockerを使って複数のコンテナやサーバーを組み合わせた環境を構築する場合、開発者はさまざまな新しい技術を学んで選択したうえ、さらにDocker専用の知識やベストプラクティスを習得する必要があった。PanamaxはDockerコンテナの構築や設定とベストプラクティスを組み合わせることで、このプロセスを不要とするという。なお開発チームによると、PanamaxはあくまでDocker管理ツールであってPaaS環
ネットワーク/ストレージの処理能力をチェックするためのベンチマークツール | OSDN Magazine
サーバー上でさまざまなサービスを構築する前に、そのサーバーの処理能力を把握しておくことは重要だ。特にネットワークの帯域やストレージの速度といったリソースはサービスの品質に大きく関わってくる。そこで、今回はこれらの性能を調査するためのベンチマークツールやその使い方を紹介する。 ネットワークの性能を調査するベンチマークツール まずはネットワーク関連の性能を調査するベンチマークについて紹介しよう。ネットワークの性能といっても、その指標は次のように複数ある。 スループット（速度、帯域幅） レイテンシ（遅延） パケットロス（損失パケット） まず1つめは、スループット（ネットワークの速度）だ。帯域幅などとも呼ばれるが、ネットワークの性能としてもっとも重視されるのはこれだろう。ネットワークの速度が早ければそれだけ多くの情報をやり取りできるし、またより多くの接続に対して迅速に反応できるようになる。通常スル
独自のDebパッケージやaptリポジトリを作ってみよう | OSDN Magazine
DebianやUbuntuでは、Debパッケージという形式でソフトウェアが配布されているが、公式に配布されているパッケージを利用するだけでなく、パッケージを自分で作成して利用することも可能だ。本記事では独自のDebパッケージを作成する方法や、apt-getコマンドで独自に作成したパッケージをインストールできる独自リポジトリの作成方法を紹介する。 独自のDebパッケージを作るメリットとは DebianやUbuntuなどDebianから派生したディストリビューションでは、dpkgなどのツールを使ったパッケージ管理が行われている。これにより、Debパッケージ（拡張子は.deb）という形式で配布されているソフトウェアやファイルをインストールしたり、インストールしたソフトウェアのアップデートやアンインストールなどの管理を行える。 一般的に使われているソフトウェアの多くは、各ディストリビューションによ
独自のRPMパッケージやyumリポジトリを作ってみよう | OSDN Magazine
Red Hat系のLinuxディストリビューションでは、RPMパッケージという形式でソフトウェアが配布されており、yumコマンドを利用してパッケージをインストールしたり、アップデートを行うことができる。今回は既存のRPMパッケージをカスタマイズして独自のパッケージを作成したり、独自のyumリポジトリを作成してパッケージ管理を行う方法を紹介しよう。 プライベートyumリポジトリを活用してサーバーをデプロイする Ret Hat Enterprise LinuxやCentOSといったRed Hat系のLinuxディストリビューションでは、RPMパッケージ（ファイルの拡張子は.rpm）を使ってソフトウェアをインストールするのが一般的だ。 RPMは「RPM Package Manager」の略で、Red Hatが開発したことから当初は「Red Hat Package Manager」と呼ばれていた。
Webアプリケーション向けのセキュリティスキャナ「skipfish」を使う | OSDN Magazine
近年では多くの分野でWebアプリケーションが使われるようになり、大量の個人情報や重要な秘密情報を扱うようなアプリケーションも少なくない。そのため、Webアプリケーションも攻撃対象として狙われやすくなっている。今回はWebアプリケーションのセキュリティ対策として、Googleが公開しているセキュリティ調査ツール「skipfish」を使ったセキュリティスキャンを紹介する。 Webアプリケーションに特化したセキュリティ調査ツール「skipfish」 今日では、Webブラウザ経由でさまざまな操作を行えるWebアプリケーションが広く浸透している。Webブラウザは最近のほぼすべてのPCにインストールされており、専用のクライアントを用意せずにアプリケーションを操作できるというのがその浸透の理由の1つだ。しかし、Webアプリケーションでは簡単にその一部（HTMLやJavaScript）のソースコードを閲覧
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
