こんにちは。amsy810です。 春といえば新しいことを始める時期ですね。 4/1 より さくらインターネット研究所 さんに 客員研究員 としてジョインしました。 新しい経験もしてみたいと思い下記のようなツイートをしたところ、ありがたいことにお誘いを頂いたため新しい挑戦を始めることになりました。 せっかく Portfolio 作ったのと、新しいことを初めてみたくなったので、副業等を探しはじめてみました。 （もしスキルセット的にお手伝いできることがあればご連絡ください。）https://t.co/pookSVvJX4 https://t.co/u629B3VP1r— MasayaAoyama（青山 真也） (@amsy810) 2019年2月12日 まつもとりーさんからDMで連絡があったのですが、予想外なお話だったので最初は驚きました。 普段からまつもとりーさんのブログなどはウォッチしていた

今日Dockerなどのコンテナ技術は広く普及し、GCP・Azure・AWSがマネージドサービスをリリースしたことなどからも、コンテナオーケストレーションエンジンとしてはKubernetesがデファクトスタンダードだと言えます。 本講演ではKubernetesが必要な理由・機能及びコンセプト・解決できる…

またKubernetesのバージョンやRaspberry Piのバージョンも新しくなったため、事前に検証し直しです。 今回はAUKEYのケースにぴったりサイズのUSB充電器を見つけられたのが物理的に顕著なアップデートだと思っています。 やったこと 今回は90台のRapsberry Pi で、30台の物理的なおうちKubernetesを作成しました。 内定者は1人1台おうちKubernetesを物理的に構築した後、論理的にも構築します。 etcdの構築に始まり、kube-apiserver・kube-controller-manager・kube-scheduler・kubelet・kube-proxy・flannelなど、ここのコンポーネントを1つずつ構築していくことで、Kubernetesのアーキテクチャなど低レイヤも理解してもらう3日間です。 最終日には全てのおうちKubernetes

「Kubernetes学ぼう！学びたい…　なんかどこから学べば良いのかぜんぜんわからん…」 アプリケーション実装環境として、今や猫も杓子もKubernetesのこの時代。エンジニアとしてこれから学んでみようという方も多いと思います。 クラスメソッドでも「Kubernetesモクモク勉強会」を開催したりキャッチアップに励んでいますが、まじで学習コスト高杉くんだと思うんですよ。k8s。ホンマに。これ簡単とかいう人いたら、絶対信用したらあかん。 そんな敷居が高いKubernetesですが、モクモク勉強会でも推薦図書としていた「Kubernetes完全ガイド」が、「なにか本買って学ぶなら、これしかありえないでしょう」というぐらいの素晴らしい書籍だったので、ここにオススメさせていただきます。 （祭） ∧ ∧ Y　 ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉     k8s ﾏﾂﾘﾀﾞﾜｯｼｮｲ |_|＿|

kubeadm とか使わずに Kubernetes を構築するって大変ですよね。 ただ、一から構築することで学ぶことがあると教わりまして重い腰をあげて構築してみました。 結論として順番に組み立ててくと理解深まります。できればハマった方がいいので手順は書きますが、 バージョン変えたりしてハマってみてください。 事前準備 ドキュメントを読む 公式ドキュメントは以下の通りです。予備知識なしでこの通りに進めるのは難しいかなと思いますが、 読んでおくといいです。 https://kubernetes.io/docs/setup/scratch/ 頭に構成を描いておく kubelet がいて api server がいてとかの概要図は以下を見てイメージしておくといいと思います。 ※ 公式 から引用 構築環境 今回、VM 上に作成しようと思います。物理サーバでもいいですし何らか構築環境を準備してください

Certified Kubernetes Application Developer (CKAD) - Cloud Native Computing Foundation 多分、日本人では2番めのベータテスター*1になったのではないでしょうか? CKADのベータ試験を先程受験してきました。 あんまり資格試験とか興味がなかったのですが最近kubernetesに興味を持ち始めていろいろ使うようになってからもっと理解を深めたいけど学ぶ題材がないなぁという状態でした。そこで聞いたCKADのベータ試験が始まると聞いてせっかくだから受験してどういう問題が出るか見てみよう、勉強しようという気持ちで受験してきました。 出題内容もCKAと違ってkubernetesの利用者向けの試験ですので使う私からしたら勉強になるな、という決意です。 受験について 現在はベータ試験のため、ベータ試験に申し込みます。ただし書

First Challenge for Certified Kubernetes Application Developer (CKAD)! (Japanese version is following.) Hello, I’m Masaya Aoyama (@amsy810) at CyberAgent, Inc (Ad-Technology Division). Today, I’d like talk about CKAD! (My first english blog 🙂 ) CKAD is beta release now, so the contents are based on curriculam. I have already passed Certified Kubernetes Administrator (CKA) at #138, and CyberAgent

前回に引き続き、KubernetesのWorkloadsリソースについて解説します。 Pod ReplicationController ReplicaSet Deployment（前回はここまで解説しました） DaemonSet（今回はここから解説します） StatefulSet Job CronJob DaemonSet DaemonSetは、前回説明したReplicaSetの特殊な形ともいえるリソースです。ReplicaSetは、各Kubernetes Node上に合計でx個のPodをNodeのリソース状況に合わせて配置していきます。そのため、各Node上のPodの数が必ず等しいとも限りませんし、各Node上に確実に配置されるとも限りません。一方DaemonSetは、全nodeに1 podずつ配置するリソースとなっています。そのため、レプリカ数などは指定できませんし、2 podずつ配

Workloadsリソースは、クラスタ上にコンテナを起動させるのに利用するリソースです。内部的に利用されているものを除いて利用者が直接利用するものとしては、全部で8種類のWorkloadsリソースが存在します。 Pod ReplicationController ReplicaSet Deployment（今回はここまで解説します） DaemonSet StatefulSet Job CronJob Pod Kubernetes では Workloads リソースの最小単位として、「Pod」とよばれるリソースが存在します。Pod は1つ以上のコンテナから構成されており、ネットワークは隔離されておらず、IP Addressなどは共有しています。言い換えると、2つのコンテナが入ったPodを作成した場合、2つのコンテナが同一のIP Addressを持つこととなります。そのため、Pod内のコンテナ

今回は鮮度が高いまますぐに届く Amazon 産とヨドバシ.com 産の材料を使いました。�メイン食材のラズペリーパイについては RS コンポーネンツから購入しました。クラスタに彩りを添える CyberAgent のステッカーについては産地直送で取り寄せです。 さて鮮度が非常に高いまま到着しました。朝自席に来たときはダンボールの山が積まれた状態でしたが、一旦１つの大きな箱に詰め込みました。 今回は 12 人前の材料を用意しました。 なかなかこの量の Raspberry Pi を用意することも無いかと思います。圧巻の光景ですね。 作り方 さて、いよいよ作っていきたいと思います。 物理的構築自体はだいたい 1 時間ほどで完了するかと思います。 １．Raspberry Pi を開封します。 一番高い部品なので、壊さないよう丁寧に空けましょう。 ２．Raspberry Pi にヒートシンクを取り付

こんにちは。 アドテクスタジオ Central Infrastructure Agency の青山真也 (@amsy810) です。 アドテクスタジオでは「AI Lab」と呼ばれる、機械学習、計量経済学、コンピュータビジョン、自然言語処理、HAI/HRIなどを専門とする研究者がアドテクに関する技術の研究・開発を行う組織があります。 https://www.cyberagent.co.jp/techinfo/labo/ai/ GPU を用いた研究も積極的に進めており、TensorFlow、Keras、PyTorch などを利用して GPU を用いた画像解析・クリエイティブの自動生成・大規模テキストデータ処理などを行っています。 GPU では画像との相性がよく、特に画像解析やクリエイティブ周りでの活用は顕著な性能差が現れます。 他にも大規模テキストデータ処理の場合には、Web 上のメディアのテ

連載の2回目となる今回は、Kubernetes環境を準備するにあたり、どのような選択肢があるのかを紹介する。 第2回はKubernetes環境の準備をする話になります。Kubernetesの環境を利用する場合には、大きく分けると下記の3種類の方法があります。 手元のWindows/Mac上でローカル Kubernetes 環境を立ち上げる 構築ツールを使ってクラスタを構築する パブリッククラウドのマネージド Kubernetes を利用する 環境により一部出来ないこと（外部ロードバランサとの連携やDynamic Persistent Volumeなど）がありますが、基本的にはどのKubernetes環境でも同じ動作をするようにCNCFがConformance Programを提供しています。今回紹介するKubernetes環境はいずれも、Conformance Programにより認定され

はじめに Kubernetesはコンテナ化されたアプリケーションの展開、スケーリング、および管理を自動化するためのプラットフォーム（コンテナオーケストレーションエンジン）です。本連載では、Kubernetesを触ったことがない方でもKubernetesのコンセプトを理解し、実際にアプリケーションをコンテナ化して実行することが出来るようになることを目標としています。 ここ数年でDockerを皮切りにコンテナ技術への注目度が非常に高まり、実際にプロダクションでのコンテナ利用事例も増えてきました。プロダクション利用に耐えうるシステムを構築するにはDockerだけでは難しいため、Kubernetesに代表されるコンテナオーケストレーションエンジンとよばれるプラットフォームを利用することが一般的です。Kubernetesの他にもDocker SwarmやDC/OSなどもありますが、執筆時（2018年

2017.10.13 Kubernetes をいじって Hardware LoadBalancer で “type LoadBalancer” を実現してみた @Kubernetes meetup #7 こんにちは。 Central Infrastructure Agency の青山 真也です。 今回は Kubernetes Meetup #7 で発表してきた話をまとめようと思います。 （CIA にみなさんが予想以上に食いついてきてくださり、緊張がほぐれました。） アドテクスタジオのコンテナ基盤 アドテクスタジオでは、数年前からプライベートクラウドとして OpenStack を導入しています。 また、アドテクシステムではネットワークのレイテンシが許容されないシビアなシステムのため、SNAT や多段ロードバランシングが苦手な背景があります。 また、GKE ライクなコンテナ基盤として AKE

GKE 互換のオンプレコンテナ基盤 AKE (Adtech Container Engine) 誕生秘話とアーキテクチャ完全公開！ こんにちは。 アドテクスタジオの Central Infrastructure Agency（CIA） の青山真也です。 本記事は CyberAgent Developers Advent Calendar 2017 の 1 日目の記事となります。 CIA は 15 名程のアドテクスタジオの横軸インフラ組織として、プライベートクラウドの提供や、プライベート/パブリック両方のインフラサポートを行っています。 ちなみにこの Advent Calendar に CIA は 6 名参加（実に 1/4！）してますので、インフラに興味がある方は是非他の記事も読んでみて下さい。 最近ではアドテクスタジオでも、コンテナによる開発が主流となってきており、GKE で開発することが

2017.12.1 [Kubernetes] オンプレでも GKE Like な Ingress を使うために 自作 Ingress Controller を実装してみた こんにちは。 CIA の青山 真也です。 この記事は Kubernetes Advent Calendar １日目の記事になります。 ちなみに CyberAgent Advent Calndar １日目の記事も「GKE 互換のオンプレコンテナ基盤 AKE (Adtech Container Engine) 誕生秘話とアーキテクチャ完全公開！」というテーマで書いており、まるで夏休み最終日の気分です。 弊社のオンプレコンテナ基盤 AKE の話を詳細にまとめてありますので、こちらも是非お読み下さい。 今回は、SSL 終端や L7 パスベースルーティング及び L7 ロードバランシングを行ってくれる Ingress リソースの話を