Using Cloud Dataflow to run parallel predictions with your TensorFlow model - めもめも
Suppose that you've finished training your prediction model with TensorFlow, yeay! Now you have to make predictions with the trained model for tens of thousands of data. How will you do it? I will show you one of possible choices. You can use Cloud Dataflow for general parallel batch processing and it's not hard to apply machine learning models in this framework. What is Cloud Dataflow? Cloud Data
OpenStack&Dockerを操作するデモでAnsibleの本質を考えてみる - めもめも
何の話かと言うと OpenStackをさらに”使う”技術 - OpenStack&Docker活用テクニック from Etsuji Nakai www.slideshare.net 上記のセミナーで、OpenStackとDockerを組み合わせた活用方法を紹介して、例として下記のような環境を構築しました。 MySQLとEtherpad-Lite(nods.jsのアプリ）を別々のVMインスタンス上にコンテナでデプロイして、連携動作させるという環境です。 そして、このセッションの後、さいとうさんが、この環境構築をAnsibleで自動化するデモを実施してくれました。 Okinawa Open Days 2015 Handson - Ansible from Hideki Saito www.slideshare.net このデモの内容をベースにして、Ansibleで複数の処理を自動化する際のプ
Literate Automation（文芸的自動化）についての考察 - めもめも
何の話かというと Literate Computing for Infrastructure - インフラ・コード化の実践におけるIPython (Jupyter) Notebookの適用 from No Bu www.slideshare.net 上の資料で解説されている "Literate Computing for Reproducible Infrastructure" という取り組みを進めているチームの方と一緒に仕事をさせていただく機会があり、この取り組みの「心」を聞かせていただいたのですが、むしろこれは、「Literate Automation（文芸的自動化）」と呼んだ方がしっくりくる気がして、ちょっと、私なりの観点でまとめてみました。 Ansibleの悩み所 Ansibleで運用オペレーションをPlaybook化して自動化するという動きが広がっていますが、実運用で本格的に使っ
「TensorFlow Tutorialの数学的背景」シリーズの目次 - めもめも
TensorFlowを使って、実際にコードを動かしながら、DeepLearningの仕組みを段階的に学んでいきましょう。 目次 ・No.1 TensorFlow Tutorialの数学的背景 − MNIST For ML Beginners（その1） 平面上の2種類のデータをロジスティック回帰で直線的に分類するという、機械学習の基礎を説明します。 ・No.2 TensorFlow Tutorialの数学的背景 − MNIST For ML Beginners（その2） 線形多項分類器とソフトマックス関数で、3種類以上のデータを分類する方法を説明します。 ・No.3 TensorFlow Tutorialの数学的背景 − TensorFlow Mechanics 101（その1） No.1で説明した問題に対して、もっとも単純なニューラルネットワークを適用して、複雑な境界を持つ分類を実現します
Systemd入門(4) - serviceタイプUnitの設定ファイル - めもめも
この連載では、Fedora 17での実装をベースとして、systemdの考え方や仕組み、利用方法を説明します。今後出てくる予定のRHEL7での実装とは異なる部分があるかも知れませんが、その点はご了承ください。 今回は、serviceタイプのUnitについて、設定ファイルの書き方を説明します。 Unit設定ファイル 参考資料 ・systemd.unitのmanページ：設定ファイルの一般的な説明 ・systemd.serviceのmanページ：serviceタイプUnitの設定オプションの説明 「Systemd入門(1) - Unitの概念を理解する」で説明したように、各Unitの設定ファイルは、/usr/lib/systemd/system/以下と/etc/systemd/system/以下にあります。両方のディレクトリに同名の設定ファイルがある場合は、後者（/etc/systemd/sys
Systemd入門(2) - Serviceの操作方法 - めもめも
この連載では、Fedora 17での実装をベースとして、systemdの考え方や仕組み、利用方法を説明します。今後出てくる予定のRHEL7での実装とは異なる部分があるかも知れませんが、その点はご了承ください。 前回は、systemdの基本概念となるUnitの説明をしました。今回は、日々のオペレーションで必要となる、serviceの操作方法をまとめます。旧来のchkconfigコマンド、serviceコマンドに相当する部分ですね。 サービスの確認 現在稼働中のサービス一覧 # systemctl list-units --type=service UNIT LOAD ACTIVE SUB JOB DESCRIPTION auditd.service loaded active running Security Auditing Service crond.service loaded act
RHEL7/CentOS7を満喫するための情報まとめ - めもめも
全般 ・Red Hat Enterprise Linux 7がやってきた ・Red Hat Enterprise Linux 7が超わかる本（日経BP Next ICT選書） systemd ・Software Design 2015年2月号 第1特集 Linux systemd入門 あなたの知らない実践技 ・systemd徹底入門 ・RHEL7/CentOS7のjournaldについてのもろもろ Network ・RHEL7/CentOS7 NetworkManager徹底入門 ・RHEL7/CentOS7でipコマンドをマスター ・NetworkManagerの設定変更、nmtuiとnmcliについてまとめたよ！ ・nmcliで仮想ブリッジ作成 ・RHEL7のNICのネーミングルール ・firewalld徹底入門！ Docker ・"Docker is NOT Container."
OpenStack上の仮想マシンインスタンスの可用性について - めもめも
OpenStackで、仮想マシンインスタンスが稼働するCompute Nodeが障害停止した際に、仮想マシンインスタンスを復旧する方法／考え方について整理しておきます。（ハイパーバイザーはLinux KVMの前提です。） 仮想ディスクの構成について まず、前提として、仮想ディスクの構成を理解しておきましょう。ゲストOSが導入された起動ディスクについては、仮想マシンインスタンスを起動する際に、「エフェメラルディスク」、もしくは、「ブロックボリューム」のどちらかが選択可能です。 エフェメラルディスクは、Compute Nodeのローカルディスクに仮想ディスクイメージが配置されるため、Compute Nodeが障害停止するとアクセス不能になります。他のCompute Nodeで再利用することはできません。 ブロックボリュームは、Cinderが提供するディスク領域で、一般的には、外部のストレージ装
Dockerコンテナー内のbashからアプリケーション停止処理を実施するTIPS - めもめも
Dockerのコンテナーでアプリケーションを起動する場合、専用の起動スクリプトからアプリケーションを起動して、最後に（後からdocker attachできるように）bashを起動しておくことがあります。 次は、httpdサービスを起動するコンテナーを作成する簡単なDockerfileですが、コンテナー起動時にスクリプト「init.sh」を実行するようにしています。 Dockerfile FROM centos:centos6 MAINTAINER enakai RUN yum -y install httpd ADD src /var/www/html RUN chmod -R 644 /var/www/html/* ADD init.sh /usr/local/bin/init.sh RUN chmod u+x /usr/local/bin/init.sh CMD ["/usr/loca
Dockerイメージのレイヤー構造について - めもめも
何の話かというと Dockerイメージは複数のレイヤーが重なった形になっています。このあたりを内部構造とあわせて解説します。前提の環境は、CentOS7です。（つまり、ローカルのイメージ管理は、dm-thinが前提。） # rpm -q docker docker-0.11.1-22.el7.centos.x86_64 ローカルにイメージをpullする時の動作 まず、ローカルのイメージをすべて消してキレイな体にしておきます。 # systemctl stop docker.service # rm -rf /var/lib/docker/* # systemctl start docker.serviceCentOSの公式イメージをpullします。この時、4つのイメージ（b1bd49907d55、b157b77b1a65、511136ea3c5a、34e94e67e63a）がダウンロードさ
quickrdoでRDO/Havanaのデモ環境構築（Heatも使えるよ） - めもめも
Fedora19を利用して、Heatも使えるRDOのデモ環境（All-in-one構成）を最短手順で構築します。 構築するデモ環境の全体像 物理NICを２個持つサーバーを用意して、両方のNICを同一のパブリックネットワークに接続します。 em1にはIPアドレスを割り当てて、外部から管理接続する際に使用します。SSHでログインしたり、WebブラウザでHorizonを使用する際のIPアドレスです。em2にはIPアドレスを割り当てません。これは、VMインスタンスがパブリックネットワークと通信する際のNICとして使用します。ネットワーク環境（IPアドレス）については、下記の情報を事前に決定してください。 項目 値の例 サブネット 192.168.199.0/24 ゲートウェイ 192.168.199.1 DNSサーバ 8.8.8.8 IPアドレスプール 192.168.199.100〜192.16
Dockerにおけるコンテナのライフサイクル - めもめも
「docker run/stop/start/rm/commit」の各コマンドの役割を整理しておきます。全体像はこんな感じ。 前提環境はこちらです。 # cat /etc/redhat-release Fedora release 20 (Heisenbug) # uname -a Linux fedora20 3.14.6-200.fc20.x86_64 #1 SMP Sun Jun 8 01:21:56 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux # rpm -q docker-io docker-io-1.0.0-1.fc20.x86_64まず、「docker run」で新たなコンテナを起動します。「--name」オプションで名前「web01」を付けておきます。「docker ps」は起動中のコンテナを表示します。 # docker run -it
「オープンソース・クラウド基盤 OpenStack入門」が発売されます！ - めもめも
日本OpenStackユーザー会・会長の中島さんと一緒に執筆させていただきました。 Amazonで予約開始していますが、先行して、「まえがき」と「目次」を掲載しておきます。 「半年ごとに改訂するの？」という皮肉にもくじけず（笑）、特定バージョンに依存しない、OpenStackを支えるテクノロジーの「本質」を伝えることにフォーカスして執筆しました。LinuxやKVMの基礎知識は必要となりますが、OpenStackに本格的に取り組むための「第一歩」となり、「その後も長く役立つ底力」を身につけるための書籍です。 まえがき まずは、本書を手にとっていただきありがとうございます。本書は、OpenStackを利用したクラウド基盤の構築に興味がある方々に向けた書籍です。OpenStackは、今もなお日進月歩の開発が続いている、最先端のソフトウェアの1つです。その一方で、まとまった情報を日本語で入手するこ
RHEL7のDockerとsystemdとcgroups - めもめも
Dockerでコンテナを起動する際に、次のようにcpu-sharesとmemory-limitを指定することができます。 # docker run -c 256 -m 512m hogehogeこれは内部的にはcgroupsを使っていますが、RHEL7のDockerでは、systemdと連携してcgroupsの制御を行っています。この辺りの解説です。cgroupsそのもの説明は下記を参照下さい。 ・Control Groups (cgroups) コンテナから生成されるUnit まず、テスト用にContOS6のコンテナを起動して、中でtopコマンドでも実行しておきます。 # docker run -it -c 256 -m 512m centos /bin/bash bash-4.1# top別の端末からログインして、コンテナIDを確認します。 # docker ps CONTAINER
Dockerのネットワーク管理とnetnsの関係 - めもめも
RHEL7RC+EPEL版Dockerの前提で解説します。RHEL7RCを最小構成で入れて、次の手順でDockerを導入します。 # yum -y install bridge-utils net-tools # yum -y install http://download.fedoraproject.org/pub/epel/beta/7/x86_64/epel-release-7-0.1.noarch.rpm # yum -y install docker-io # systemctl enable docker.serviceDockerが設定するiptablesの内容を見るために（見やすくするために）、firewalldを停止した上でdockerサービスを起動します。 # systemctl stop firewalld.service # systemctl mask firew
OpenStack Nova Tuning Guide的な何か - めもめも
変更履歴 2014/03/19 ver1.0 作成 このドキュメントの目的 Compute Nodeが数百台の規模でNovaを利用する場合、実用的な性能を実現するには、OS/QPID/Novaなどのさまざまなパラメータを調整する必要が出てきます。このドキュメントでは、調整するべきパラメータの候補をざっくりとリストアップすることを目指します。RHEL6 + RDO（Grizzly/Havana）あたりを前提にしています。 まだまだ歴史の浅いOpenStackですので、いきなりすべての情報を網羅するのは難しい部分もありますが、みなさまからの情報を元に随時アップデートしていければいいなー、と思ってます。設定するべき具体的な値については、環境依存の要素も多く、実環境での経験を元に「Best Practice」を見出す必要があります。具体的な設定値についても、今後、できるだけ情報を追加していきたいと
Systemd入門(1) - Unitの概念を理解する - めもめも
Linuxの起動処理は、これまでinit/upstartと呼ばれる仕組みで行われていました。Red Hat Enterprise Linux 7 (RHEL7)では、これが、systemdと呼ばれるまったく新しい仕組みに置き換わります。Fedoraでは、すでに先行してsystemdが採用されていますが、この連載（？）では、Fedora 17での実装をベースとして、systemdの考え方や仕組み、利用方法を説明していきます。今回は、systemdの動作の基礎となる「Unit」の概念を理解します。 systemdを採用したFedoraでLinuxの基礎を学びなそう！という方には、「「独習Linux専科」サーバ構築/運用/管理――あなたに伝えたい技と知恵と鉄則」がお勧めです。(^^/ systemdの考え方 参考資料 ・Rethinking PID 1：systemdの開発者であるLennart
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
