NextremerをScale upする機械学習環境 Shiva - Qiita
Nextremer Advent Calendar 2017 3日目の記事です Nextremer ではお手軽にGPUマシンを利用できる Shiva という機械学習の開発環境を構築しています 今回はその Shiva の開発に至った経緯とその仕組みをご紹介します Shiva の開発にあたっては、昨年RettyのCTO樽石さんが公開された Retty流『2200万ユーザを支える機械学習基盤』の作り方 を大いに参考にさせて頂きました このような貴重なノウハウを公開されていることは本当に素晴らしいですし、この記事がなければ私が Shiva を開発することはなかったです そんな樽石さん、Rettyさんへの尊敬と感謝の思いを込めて、Nextremerの Shiva についてのノウハウを公開します！ Shiva 開発に至った経緯 Nextremer の研究開発PJでは深層学習を利用した自然言語処理、強化
Ceph(luminous)のインストール方法 - Qiita
1 環境 VWare上のゲストマシン3台構成です。OSはCentOS7.3 3台のホスト名はadmin,s01,s02です。 adminが管理サーバ、s01,s02がOSD兼MONの役割をします。 +---- admin ---+ +----- s01 ----+ +----- s02 ----+ | | | | | | | CentOS7.3 | | CentOS7.3 | | CentOS7.3 | | | | OSD/MON | | OSD/MON | | | | | | | +----- eth0 ---+ +----- eth0 ---+ +----- eth0 ---+ | .100 | .110 | .120 | | | ---------------------------------------------------------------------- 192.168
Dockerコンテナがフェイルオーバーしたとき、ストレージも自動的に切り替えてくれる。オープンソースの「REX-Ray」をDell EMCが無償公開中［PR］
Dockerコンテナがフェイルオーバーしたとき、ストレージも自動的に切り替えてくれる。オープンソースの「REX-Ray」をDell EMCが無償公開中［PR］ Dockerコンテナを利用することで、手もとのノートPCで開発したアプリケーションを簡単にオンプレミスのテスト環境やクラウド上の本番環境などへ持ち運んで展開、実行できるようになります。 Dockerコンテナは軽量で簡単にアプリケーションの実行環境を生成、移動、削除できる点が大きな特長になっています。しかし一方でそのアプリケーションで処理されるデータは、簡単に消えてもらっては困ります。 そこでDockerにはデータを永続化するための仕組みがいくつか用意されています。 Dockerのデータを永続化する4つの方法 Dockerコンテナでデータを永続化するには、すなわちアプリケーションが生成するデータを失わないためには、何らかの方法でデータ
DeNAにおけるOpenStack運用#3 | BLOG - DeNA Engineering
DeNAのOpenStackインフラ運用を担当している窪田です。 最後にご紹介するのはSDS Cephについてです。採用の背景と、これまで運用していく中で直面したパフォーマンスの問題、それをどのようにシューティングしたのかについてご紹介します。 採用の背景 第一回の小野の記事 で、Ceph導入によって実現されたこととして、OpenStackとの連携、ストレージプールの外部化、ライブマイグレーションを取り上げました。実のところこれらのことはCephでなくても近年リリースされている商用ストレージやSDSをうたうプロダクトであれば大抵できることで、これらの実現の他にも重要視していることがありました。 決め手となったのはOSSプロダクトであることです。OSSだとなぜいいのかというと、ソースコードが公開されていることによって、やろうと思えばソフトウェアの振る舞いを詳細に把握することが可能ですし、そう
DeNAにおけるOpenStack運用#1 | BLOG - DeNA Engineering
DeNAでシステムインフラを運用しています小野です。 今回から3回に渡って、OpenStackの運用についてご紹介したいと思います。 OpenStackとは OpenStack とは、いわゆるクラウド環境を構築/運用管理するためのOSS platformです。2010年にRack Space社とNASAのjoint projectとして始まり現在ではOpenStack Foundationが管理しています。 OpenStackは多数のOSSで構成されています。mysqlやrabbitmqなどお馴染みのOSSもbackendに使われていますが、OpenStack固有のOSSが主要コンポーネントになっています。例えばcomputing(vmやcontainer)の管理をするnova、ネットワークを管理するneutron、WebUIを管理するhorizonなどなどです。 こちら でどういったコン
Stateless OSD servers
This post appeared originally in our sysadvent series and has been moved here following the discontinuation of the sysadvent microsite When building a Ceph-cluster, it was important for us to plan ahead. Not only does one usually start out with a minimum of ~5 servers, but one should also expect some growth in the cluster. Running the cluster also means patching the operating system and Ceph itsel
コラム - クラウド時代のオープンソース実践活用 | 第45回 一味違うCephの「オブジェクトストア」とは？｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第45回 一味違うCephの「オブジェクトストア」とは？ (中井悦司) 2014年6月 はじめに 本コラムで宣伝するのをすっかり忘れていたのですが、アスキー・メディアワークスより筆者の新しい著書が発売されました。「オープンソース・クラウド基盤OpenStack入門～構築・利用方法から内部構造の理解まで」―― タイトル通り、OpenStackの技術解説書です。ページ数はそれほど多くありませんが、その分、「OpenStackの技術的本質」を濃縮した内容となっています。書店で見かけた際は、一度、手にとっていただければ幸いです。 さて、今回は、前回に続いて、Cephの話題をお届けします。前回は、Cephの基礎となるオブジェクトストア技術「RADOS」の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Storage Classes
ベテラン技術者が新しい環境で大失敗した話
Reddit - Dive into anything
Case Study Red Hat Ceph Storage and Samsung NVMe SSDs for intensive workloads Power emerging OpenStack use cases with high-performance Samsung/ Red Hat Ceph reference architecture Case Study 2 Optimize storage cluster performance with Samsung NVMe and Re
Reddit - Dive into anything
Proxmox ve 4.4 でCephサーバを構築する - Qiita
Venkat Kolli -- Ceph on All-Flash Storage
2016-FEB-03 :: Ceph Developer Monthly
2016-JAN-26 -- Ceph Tech Talks: High-Performance Production Databases on Ceph
分散ストレージソフトウェアCeph・アーキテクチャー概要
Ceph Hammer: Building a iSCSI target out of an RBD.
Backing up the Rados Object Gateway
IBM Developer
