おうちで「おうち Kubernetes インターン」を実施しました | CyberAgent Developers Blog
こんにちは。AI事業本部の青山（@amsy810）です。 2020年版「おうちKubernetesインターン」を実施したため、事後レポートをブログにまとめたいと思います。 コロナ禍のため、機材一式を学生とメンター宅に郵送し、フルリモートでの実施となりました。 またそれに合わせて3 Daysだったものを7 Daysに伸ばして、初日と最終日以外は夕会だけをコアタイムとしたフレックス性で実施しています。 メンターは私以外に、徳田、川部、漆田、源波、中西、岩立、長谷川が参加しています。 概要 今回のおうちKubernetesは Raspberry Pi 4 の 8GB モデル 3台 を使ってクラスタを構成しました。 単純な仕様だと、12 core + 24 GB Memory のクラスタです。もはやノートパソコンに近しい性能ですね。 また、今回 Raspberry Pi 4 になってから最低 2.
Cost-efficient and scalable ML-experiments in AWS with spot-instances, Kubernetes and Horovod
UPDATE (February 27, 2020): I thank everyone for the interest, questions and suggestions during ScaledML 2020 poster session. The poster PDF is available for download here. In the coming days I will be updating this blog post with the most recent version of the k8s manifests we use for training. At Rosebud AI we invent new tools for authoring and editing visual content. We combine established comp
Terraformで最新のECS Optimized AMIのidをとってくる方法 - まーぽんって誰がつけたの？
もっといい方法があったので一番下に追記 最新のAMIみたいな情報は今どきはSSMで提供してくれるようになってきています。 Amazon ECS 最適化 AMI バージョン - Amazon Elastic Container Service aws ssm get-parameters --names /aws/service/ecs/optimized-ami/amazon-linux-2/recommended --query "Parameters[0].Value" --output text { "schema_version": 1, "image_name": "amzn2-ami-ecs-hvm-2.0.20200623-x86_64-ebs", "image_id": "ami-08d175f1b493f205f", "os": "Amazon Linux 2", "ec
はじめてのElasticsearchクラスタ
The First Elasticsearch Cluster 2018-07-25 JJUG ナイトセミナー「Elasticsearch特集」Read less
1万個の「Raspberry Pi」でスパコンを作る--米ロスアラモス国立研究所
Liam Tung （Special to ZDNET.com） 翻訳校正： 石橋啓一郎 2017-12-07 10:00 米ロスアラモス国立研究所（LANL）は、750個の「Raspberry Pi」で構成されるクラスタからなるスーパーコンピュータのテストベッドを導入した。また2018年には、Raspberry Piを1万個まで増やす計画があるという。 低温のRaspberry Piの基板で作られた大規模クラスタは、LANLが所有する巨大な「Trinity」（Cray製で、世界最速のスーパーコンピュータ上位10台の1つ）などの、エクサスケールコンピュータ用ソフトウェアを開発する際に直面する課題に対する回答だ。 開発したソフトウェアを、それらの高価なシステムでテストすることは難しい。これは、システムが実際の科学研究のための膨大な計算処理に専有されているためだ。 LANLはRaspberry
Raspberry Pi + Cluster Hat でクラスタリングしてみた【ヘッドレスインストール】 - Mana Blog Next
Linuxマシンをクラスタリングしてみよう 用意するもの Pi Zero のmicroSDカードを節約したい場合 Cluster Hat v2.0について ポイントや注意点など セットアップ作業(ヘッドレスインストール) (1) Raspbian イメージのダウンロード (2) SDカードのフォーマット (3) イメージファイルをコピーする (4) SSH を有効にする (5) Raspberry Pi にmicroSD をセットする Pi 3 (Controller)からClusterの制御 ネットワーク構成の確認 ネットワーク構成の確認 Controller(Pi3)から計算ノードにログインする 計算ノード(Pi Zero)がインターネット接続できるようにする(Pi Zero W の場合は不要) 計算ノード(Pi Zero)で静的ルーティングを追加する ソフトウェアアップデートを行う
IPython clusterによるバカパラ（分散並列処理） - Qiita
分散並列処理の基本かつ強力なアプローチとして，Single Program Multiple Data (SPMD) があります．これは，複数のプロセッサが同一のプログラムを実行し，その際に各プロセッサは別々のデータを処理する，というモデルです．大規模なデータを独立で処理できる単位に分割し，小分けのデータを複数のプロセッサで並列に処理することで，データ全体の処理時間を大幅に短縮できます． 例えば，a01.txt, a02.txt, a03.txt, a04.txtを入力ファイルとしてjobというコマンドを実行し，実行結果（出力）をそれぞれ，b01.txt, b02.txt, b03txt, b04.txtに格納することを考えます．次のコードは，この処理をbashシェルスクリプトで実現するものです． このforループ内の処理内容は互いに独立ですので，容易に並列化できますし，全体に要する処理時
MySQLの高可用性構成の展望2017年版 | Yakst
MySQL高可用性オプションについて3つパートで説明された記事。この記事では最初のパートThe Elders（長老たち）の技術を紹介している。 MySQLに比較的新参の人に向けて書かれており、「レプリケーション」「共有ストレージ」「NDB Cluster」の技術について、メリットとデメリットを説明している。 このブログでは、さまざまなMySQL高可用性オプションについて考察します。 ダイナミックなMySQLエコシステムは、MySQLを中心に構築された多くの技術を急速に進化させています。これは、MySQLの高可用性（HA）の側面に関連する技術に特に当てはまるでしょう。 私が2009年にPerconaに入社したとき、こういったHAの技術のいくつかは非常に人気がありましたが、それ以来ほとんどは忘れられています。その同じ期間で、新しい技術が登場しました。読者にいくつかの視点を提供しながら、出来れば
クラスタ不要で柔軟な Docker ホスティングが行える Hyper.sh を試してみた - しばやん雑記
Hyper.sh - Clusterless Docker Hosting Hyper.sh の特徴とメリット 個人的にはクラスタ不要で Docker が使えるというだけでかなりのメリットになるのですが、それ以外にもいろいろと特徴とメリットがあったので少しだけ書いておきます。 Docker と同じコマンド体系で利用できる Hyper.sh が提供している CLI は Docker とほぼ同じコマンドが使えるようになっています。具体的には docker を hyper に置き換えるだけで使い始めることが出来ます。 # docker の場合 docker pull shibayan/decode-demo:v5 docker run -d -p 80:80 -it shibayan/decode-demo:v5 # hyper の場合 hyper pull shibayan/decode-de
Elasticsearch クラスタをマルチノードでインストールする - Tech見習い
前回はElasticsearch を Linux上、Dockerコンテナでシングルノードでインストール起動しました。 前回のエントリは下記をご参照ください。 sfujimoto.hatenablog.com 今回も Linux上、Dockerコンテナそれぞれでのクラスタ構築を実施します。 Elasticsearch クラスタ on Linux まずは Linux OS 上で Elasticsearch クラスタを構築します。ノード数は2台とします。 環境 プラットフォーム : VirtualBox on Mac OS : CentOS 7.3 ツール : vagrant Elasticsearch : 5.1.1 ノード1 IPアドレス : 10.255.0.100 ノード2 IPアドレス : 10.255.0.101 Elasticsearch インストール Elasticsearch
JupyterからSpark clusterを操作できるlivy + sparkmagicを試してみた - once upon a time,
Spark Summit 2016でもトークがあったSparkのREST serverであるlivyですが、MicrosoftがHDInsight上のSpark clusterとJupyterをlivyを使って繋げられるようにしたと聞いて、早速試してみました。 Jupyterって何？という方は簡単に言うと、ブラウザで各種言語のREPLが動くものと思ってもらえばいいです。 詳細は過去に書いた以下の記事を読んでみてください。 techlife.cookpad.com livyとは livyはSpark clusterをコントロールするためのREST Serverです。 Microsoftはこれとjupyter notebookのsparkmagicを使ってHDInsightとjupyterをつなげるようにしているそうです。 MSの取り組みはSpark Summit 2016のトークがわかりやす
Galaxy Community Hub - Galaxy Community Hub
This content has a new home at https://docs.galaxyproject.org/en/latest/admin/cluster.html. You will be redirected in 5 seconds. Cancel This page has been migrated to the Galaxy docs, please check there for up-to-date information. usegalaxy.org is supported by NIH and NSF Grants HG006620, 1661497, and 1929694. Computational resources are provided by the Advanced Cyberinfrastructure Coordination Ec
CoreOSを使ってDockerコンテナを動かす——15分でできるCoreOSクラスタの作り方 | さくらのナレッジ
Dockerを利用する際に、コンテナを動かすための環境の1つとしておすすめしたいのがCoreOSだ。CoreOSでは簡単にコンテナの実行環境を構築でき、さらに複数台のCoreOSマシンを組み合わせて連携させる機能も用意されている。今回はCoreOSを使ってサービスを構築するための基礎知識と、実際の作業の流れを紹介する。 Dockerなどを使ったコンテナの利用に特化したCoreOS 近年注目されている「コンテナ」技術は、VMwareやXen、KVMといった仮想化技術と同様にハードウェアやOSとは独立した環境を構築でき、また仮想化を利用するよりも低コストで利用できることで注目を集めている。しかし、Dockerを使ってサービスを実際に運用する場合、どういった環境を用意すれば良いか迷うケースもあるだろう。その解答の1つに、コンテナを稼動させることに特化したLinuxディストリビューションであるCo
Apache SparkのSpark Standalone Modeを動かしてみる - CLOVER🍀
前回SparkでHello World的なことをやりましたが、今回はSpark Standalone Modeを試してみることにします。 Spark Standalone Mode https://spark.apache.org/docs/latest/spark-standalone.html が、そもそもこれってSparkでとりうるDeployment Modeの一種らしく、クラスタについての用語を見ておく必要がありそうです。 Cluster Modeの用語を読む Cluster Mode Overview https://spark.apache.org/docs/latest/cluster-overview.html ここでのGlossaryという項目に着目すると、それぞれこんな感じ…？ 用語 意味 Application ユーザーがビルドした、Spark上に載せられるもの。ク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - aws/aws-parallelcluster: AWS ParallelCluster is an AWS supported Open Source cluster management tool to deploy and manage HPC clusters in the AWS cloud.
20180729 Preferred Networksの機械学習クラスタを支える技術
Proxmox ve 4.4 でCephサーバを構築する - Qiita
VPN(Point To Site)接続する際の注意点 – SIOS Tech. Lab
kontena.io
Bootstrap your Ceph cluster in Docker | Sébastien Han