はてなブックマーク

はじめに Kubernetes v1.22にてPVC/PVの新しいAccessModeとして登場したReadWriteOncePod (RWOP)について、これまでのAccessModeのReadWriteOnce (RWO)との違いを動作検証を交えながら紹介します。 AccessModeとは PVC/PVにて使用するオプションで、これによりマウントする際のアクセス権が指定されます。 Kubernetes v1.21まではReadWriteOnce (RWO), ReadOnlyMany (ROX), ReadWriteMany (RWX)の3つがありました。 このAccessModeに、Kubernetes v1.22 ではアルファ機能としてReadWriteOncePod (RWOP)が新たに追加されました。 ReadWriteOnceとReadWriteOncePodの違い Read

はじめに 本ドキュメントでは、Kubernetes v1.21 にAlphaとして登場予定のContainer Object Storage Interface(COSI)について紹介します。 なお、本内容は2020/10/20にマージされたKEPの内容をベースにしており、Kubernetes v1.21 or later向けには大きく変更される可能性があります。 KubernetesコミュニティのSIG-StorageのCo-Chairの発表ではCOSIを「コーズィー」と発音していました。 COSIの概要 これまでKubernetesではブロックストレージとファイルストレージをターゲットにCSIが提供されてきました。 これに加え Kubernetes v1.21 からはAlphaとしてオブジェクトストレージをターゲットにしたCOSIが登場する予定です。 ブロックストレージ・ファイルストレ

はじめに 本検証では、Kubernetes NativeのバックアップツールKanisterの動作検証を行います。 Kanisterは、Veeam社のKasten(K10)のベースとなっているOSSです。Kanisterは、Kubernetes上で実行されているアプリケーションのデータをオブジェクトストレージへバックアップします。 Kanisterは、アプリケーションセントリックを特徴としていることもあり、アプリケーションごとのテンプレート(Blueprint)が用意されています。Blueprintには、アプリケーションごとのバックアップの前準備、後始末などの処理が実装されているため、アプリケーションに優しいバックアップを実施することができます。 2020/12時点でBlueprintが用意されているアプリケーションは以下になります。 Cassandra Couchbase Elastic

はじめに Kubernetesで、パフォーマンスやキャパシティの監視を行う際、Prometheusなどを使い各種メトリクスを収集しGrafanaなどでグラフ化している人も多いのではないでしょうか。 本ドキュメントでは、KuberntesにてPV(Persistent Volume)を利用する際、モニタリングにて利用できるストレージ関連のメトリクスを紹介します。 ※ Kubernetes 1.17.3, Node exporter 0.18.1時点のメトリクスになります。 PVのマウントと監視範囲 PVがどのようにマウントされているのかを一例を用いて説明します。 以下の図は、外部ストレージから提供されているiSCSI VolumeがPod内のコンテナのディレクトリにマウントされるまでの、各デバイスファイルとディレクトリのマウントについて示しています。 まず、外部ストレージにより提供されたVo

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに Persistent Memoryは不揮発メモリ(Non-volatile memory)を使いメモリとして利用できるメディアです。2018年にGoogleがGCPでPersistent Memory搭載のVMをα版としてサポートのニュースを見られた方もいるかと思います。大まかにPersistemt Memoryを説明すると、SSDなどと同様に不揮発メモリを利用しているため、従来のDRAMのメモリと異なり電源を落としてもデータは消えないメモリです。もちろん、メモリですので、ディスクとして利用するSSD(Flashドライブ)よりも低レイテンシです。物理的にはDRAMと同じサーバのDIMMスロットに挿します。Persistent Memoryの詳細な説明はSNIA/educationをご参照ください。 今回は、SNIA(US)が主催するSDC2019のPersistent Memor

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 Topology-Aware Volume Provisioningが、Kubernetes 1.12で追加されました。この機能により、ZoneやRegionを指定し、Podとそれに関連するPersistentVolume(PV)を指定したZoneやRegionにて作成し割り当てることができるようになります。この機能をつかうためには、KubernetesのNodeだけでなくストレージも対応している必要があります。 2019/3時点では以下のストレージが対応しています。 AWS EBS Azure Disk GCE PD CSI(alpha:https://kubernetes-csi.github.io/docs/topology.html) Region, Zoneとは Region, Zoneに馴染みの薄い人もいるかと思うので、Region, Zoneについて簡単に説明します。

はじめに 機械学習(ML: Machine Learning)を勉強し始めの人にありがちなケースとして、MNISTなどのチュートリアルを使ってアルゴリズムなどを勉強してはみるものの、その後、機械学習をつかったサービスを作ろうとして挫折する人も多いかと思います。どれだけ機械学習のアルゴリズムを勉強しても、画像認識を使ったスマホアプリやWebサービスを作るのは困難ではないでしょうか。サービス化を行うためには、機械学習にて学習したモデルを使った画像認識などのAPIサーバを立ち上げ、アクセスが集中した際に性能がスケールできるようにインフラも含めてサービスを構築することも重要です。しかし、機械学習の知識と、サービス化する知識は違うため、なかなか両立できている人は少ないのが現状です。言い方を変えると、AIのアルゴリズム、確率統計学や各産業のドメインナレッジを強みとするデータサイエンティストと、Web技

Kubernetes Persistent Volume の概要 Kubernetes では，Persistent Volume として，外部ストレージに Pod のデータの格納する方法が提供されています．Persistent Volume を使うことにより，(1）Pod の削除してもデータを保存し続ける，(2)複数Pod間でファイルを共有することが可能となります．また，Persistent Volume では，外部ストレージにデータが保存されるため，外部ストレージが持つバックアップ機能やリモートコピー機能によりPodのデータを超長期保存やデザスタリカバリに備えることが可能となります． Kubernetes v1.9 までは，Kubernetes volume plugin として，Kubernetes のソースコードに直に組み込まれた実装("in-tree")がされていました．そのため，

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Kubernetes Local Volume の概要 Kubernetesではv1.10からBetaとしてLocal Volumeがサポートされました。Local Volumeとは、KubernetesのNodeのサーバ内蔵ディスク(SSD含む)をPodから利用する機能です。これにより、Podが削除されても、データを削除することなくNodeのサーバ内蔵ディスクに、データを保存し続けることが可能となります。 外部ストレージを準備できない環境や、内蔵ディスクに余力がある方は使ってみると良いかと思います。ただし、あくまで内蔵ディスクですので、外部ストレージと異なりRAIDやErasure Codingなどのデータ保護は出来ませんので、Node障害でデータが消えてしまったり、アクセスできなくなって困るようなデータの格納には向かないので注意してください。 Kubernetes v1.10での制限と

はじめに 今回は、Kubernetesで異なるアーキテクチャのNodeを一元管理するための設定を試します。多くのユーザは、サーバやPCで多く利用されているIntel互換の命令セットのアーキテクチャ(以降amd64と略します)のCPUと、RaspberryPiなど小型PCで利用されているARMの命令セットのアーキテクチャ(以降armと略します)のCPUを持っている人が多いのではないでしょうか。 これまで、クラスタ環境(サーバの集中管理も含む)を組むためには、アーキテクチャを統一するのがセオリーでした。しかし、時代はIoT時代。センサーなどの情報を取得する小型PCなどで構成されているEdgeコンピューティングと、集めたセンサーデータを分析する大型サーバ/クラウドコンピューティング(Coreコンピューティング)を併せて一つのEdge-Coreのサービスを構築しているケースが増えてきました。つまり

Apache Spark on Kubernetes とは Apache Spark(以下、Spark)は、v2.3.0よりKubernetesをNativeサポートしました。これまで、管理者により事前に用意されたSpark/Hadoopと、それに割り当てられたコンピュートリソースを使って並列計算を実行していました。今回のNativeサポートでは、Kubernetesを管理する管理者がSpark用のPod(コンテナ)をあらかじめ準備する必要はありません。Kubernetes環境さえあれば、Spark用に用意されたコンピュートリソースを気にせずに実行することが可能となります。 大まかな実行の流れとしては、SparkのユーザがSparkのCLI(spark-submitコマンド)を実行すると、KubernetesのAPI Serverを通じ、SchedulerにてSparkを実行するコンピュー

CSIの概要 Kubernetes v1.9よりContainer Storage Interface (CSI)がAlphaバージョンとしてサポートが開始され、v1.10にてBetaバージョンとしてサポートされています。v1.13でGAになりました。v1.8 までのKubernetesのストレージ関連の機能は、Kubernetesのソースに直に組み込まれる実装("in-tree")で提供されていました。そのため、外部ストレージの開発を行う3rd パーティベンダは、Kubernetes のソースコードへアップストリームする必要があり、リリースのタイミングをKubernetesの開発チームと歩調をあわせる必要がありました。また、v1.8にて追加されたFlexvolumeでは、Kubernetesの Node, MasterのRoot FileSystem にアクセスが必要であり、デプロイが煩

Rook とは Rookは，Cloud Native環境向けのストレージとして2018年1月にCNCFに加わりました． Rookの現在のバージョン(v0.7)では，Software Defined Storage(SDS)のCephをコンテナ化し,Kubernetes上にPodとして実行しています．これにより，Cephがもともと備えるブロックストレージ，ファイルストレージ，オブジェクトストレージの3つのタイプのストレージを提供しています．また，データの格納場所については，KubernetesのFlexVolumeを使っています． Rook の主な特徴 RookはCloud Nativeなストレージとして次のような特徴をもっています． KubernetesのSelf-healingにより，Rook自身もSelf-managing serviceを実現 Rookはアプリケーションと合わせてスケ

この記事はシスコの同志による Advent Calendar の一部として投稿しています https://qiita.com/advent-calendar/2017/cisco ・はじめに Open Source IPSとして歴史のある Snortを中核にした商用 IPS/IDSである Firepowerは、多くの APIを持っています。 今回は Firepowerが持っている REST APIを利用してネットワーク設定を入れる、外部脅威情報（TXT と STIX）を取り込むことをやってみました。 オープンソース版はこちらから：https://www.snort.org/ ・機材と環境の説明 Firepower IPS/IDS をまとめて管理する Firepower Management Center（通称：FMC）を配置しています。 FMCは複数の Firepower IPS/IDSを

from modshogun import BinaryLabels # ランダムに5つのラベルを生成 label = BinaryLabels(5) label.get_num_labels() → 5 label.get_values() → array([ 2.00000000e+000, 2.00000000e+000, 1.38338381e-322,0.00000000e+000, 0.00000000e+000]) from modshogun import CSVFile # あらかじめ用意したCSVファイルからでも作成可能 label_from_csv = BinaryLabels(CSVFile(file_path)) from modshogun import RealFeatures import numpy as np # 3x3のランダム行列 feat_arr

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?