Kubernetesに分散ストレージのCephを統合する「Rook」がCNCFの正式プロジェクトに。ファイル、ブロック、S3互換オブジェクトストレージやマルチリージョン対応も
Kubernetesに分散ストレージのCephを統合する「Rook」がCNCFの正式プロジェクトに。ファイル、ブロック、S3互換オブジェクトストレージやマルチリージョン対応も Cloud Native Computing Foundationは、Kubernetesにストレージ機能を統合する「Rook」を15番目のプロジェクトとして承認した。Rookの最初のターゲットはKubernetesにCephを統合することである。 Dockerコンテナを用いた分散アプリケーションのオーケストレーションツールであるKubernetesは、現在のところクラスタ化されたコンテナの死活管理といったオーケストレーション機能を提供するソフトウェアです。 Kubernetesの開発を主導しているCloud Native Computing Foundation（以下CNCF）は、Kubernetesにストレージ管
EMC、分散ストレージソフト「ScaleIO」の無償提供を発表。オープンソースのCephよりも高速だと強調。EMC World Las Vegas 2015
EMCは米ラスベガスで5月4日から4日間開催したイベント「EMC World Las Vegas 2015」で、ブロックストレージ機能を提供する分散ストレージソフトウェア「ScaleIO」の無償提供を発表しました。 ScaleIOはもともと同社が2013年に買収したScaleIO社の製品で、その後EMCの製品としても販売。コモディティサーバにインストールすることでそのサーバをストレージサーバにするもので、最大の特長はスケールアウト機能です。ScaleIOによるストレージサーバをネットワーク上で増やしていくと、台数に応じてI/O性能も向上します。 また、ScaleIOはストレージサーバの動的な追加や削除が可能で、一部のサーバが障害で落ちても全体としての運用は継続可能など、耐障害性も備えています。 分散ストレージによってブロックストレージ機能を実現するソフトウェアとしては、オープンソースのCe
更新履歴 2014/10/11 cephx auth無効化しないでmap imageできたので、修正しました Docker環境ではDBファイル等を保存する永続データストアは、各ホストのローカルストレージに置いてしまうとコンテナがホストを移動できなくなってしまうので、外部共有ストレージを使う必要があります。AWS/GCP等のパブリッククラウドでは、目的に応じてストレージサービスを選べばいい訳ですが、ローカル環境では耐障害性を考慮した外部共有ストレージを用意する必要があります。 高価なNAS/SANストレージにかわる共有ストレージとして注目されている、CephをCoreOS上のDockerコンテナからマウントできるか試してみました。 Cephを使用する方法として、オブジェクトストレージ（AWS S3/Openstack SWIFT互換 REST API)、POSIXファイルシステム、ブロックデ
はじめに こんにちは、Necoプロジェクトのsatです。Necoプロジェクトではサイボウズのクラウド基盤であるcybozu.comのストレージに関する様々な要件を満たすために分散ストレージソフトウェアCephを導入する予定です。本記事ではCephとは何者かについて紹介いたします。Cephが持っている機能は膨大な数にのぼるため、ここでは一部の機能に絞って紹介したいと思います。 概要 Cephはオープンソースの分散ストレージソフトウェアです。2004年以前からカリフォルニア大学で開発され、2006年にオープンソース化されました。現在ではRed Hat社をはじめとするさまざまな企業、あるいは個人によって活発に開発されています。Cephは例えばOpenStack のストレージ機能(Cinder, Swift, やGlanceなど)の選択肢の1つとして使われています。 Cephは複数台のマシン上のス
はむはー！最近計算機には嬉しい気温になってきました。みなさん計算機はいかがお過ごしですか？ 先月 Kubernetes クラスタを部内サーバーに構築したので、その話をします。 きっかけ きっかけは部内 OpenStack クラスタが崩壊したことです。OpenStack かぁ〜立て直すのめんどくさいね〜、って話しているうちに何故か Kubernetes を立てる話が盛り上がり、Kubernetes クラスタを立てることになりました *1。 いろいろ検討 Kubernetes を立てると一言で言っても、 Node の立て方や使うコンポーネント、YAML の管理方法など決めなければいけないことは多岐に渡ります。 まずは要検討事項をまとめた Issue を作りました。 数々の要検討事項 大量です。ここから一つ一つ検討していきました。 Node の立て方 Node を立てる、すなわち kubelet
【参考訳】 Docker 1.9 発表：Swarm とマルチホスト・ネットワーキングのプロダクション対応 | Pocketstudio.jp log3
本投稿は、「Announcing Docker 1.9: Production-ready Swarm and Multi-host Networking」の参考日本語訳です。 ■ Docker 1.9 発表：Swarm とマルチホスト・ネットワーキングのプロダクション対応 今日、私達は Docker 1.0 を発表します。これはとても大きなものです。Docker Swarm とマルチホスト・ネットワーキングはプロダクション（訳注；実サービス・本番向けの意味）対応となりました。Docker Engine は新しいボリューム管理システムを持ち、Docker Compose は複数の環境をよりよくサポートします。これはアプリケーションをプロダクションでスケールするための基礎を構成するものです。 コンテナ化は、インフラの構築のしかたを変えつつあり、作業にあたっては正しいツールを使う必要があります
Kubernetesで利用可能な分散ストレージのOpenEBSを探求してみた - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの池添（@zoetro）です。 サイボウズでは、cybozu.comのアーキテクチャ刷新プロジェクト（Necoプロジェクト）を実施しています。 アーキテクチャ刷新プロジェクト「Neco」の紹介 運用本部長を退任して Neco プロジェクトに専念します Necoプロジェクトでは、現在以下のようなテーマに取り組んでいます。 ハードウェアプロビジョニングの容易化・自動化 障害に強く、スケールするネットワークアーキテクチャの検討 Kubernetesクラスタの構築 高耐久性・高可用性ストレージアーキテクチャの調査 今回は、Kubernetesで利用可能な分散ストレージのOpenEBSを調査したので、その結果を報告したいと思います。 TL; DR OpenEBSのアーキテクチャを解説 設計がシンプルで使い勝手はよさそうだが、耐久性を担保するための機能がやや不足
Japan Rook Meetup #3での発表スライドです。Ceph、完全に理解した」って Tweetしてもらう為に、Cephの基本について解説しています。
データセンター仮想化ツール Placemat v2の紹介 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Necoチームの鈴木です。 Necoチームでは仮想データセンター構築ツールPlacematを使って、データセンターを丸ごと仮想化し、その上でサーバーのプロビジョニングやKubernetesクラスタ構築、Kubernetes上で動作するアプリケーションのTest Suitesを実行しています。 Placematはプロジェクト初期に開発されたツールで、古いツールに依存していたり、実装方式や設計が洗練されていないなどの課題があっため、4ヶ月前からv2を開発開始し、先日リリースしました。 本記事ではその機能と使い方、今後のCI改善 Placemat on Kubernetesについて紹介します。 特徴 シンプルな構成 YAMLの設定ファイルで多彩なデータセンター環境を再現可能 多彩なVM設定 仮想BMC シンプルな構成 Placematはシングルバイナリで構成されています。 使い方もシ
Kubernetesを分散ストレージのプラットフォームにする「Rook」、成熟したソフトウェアに到達したとしてCNCFがインキュベーションからの卒業を発表
Kubernetesを分散ストレージのプラットフォームにする「Rook」、成熟したソフトウェアに到達したとしてCNCFがインキュベーションからの卒業を発表 Kubernetesなどのソフトウェア開発をホストしている団体「Cloud Native Computing Foundation」（CNCF）は、Kubernetesを分散ストレージのプラットフォームにする「Rook」が、十分に成熟したソフトウェアに到達したとして、インキュベーション段階からの卒業を発表しました。 [NEWS] @CloudNativeFdn Announces @rook_io Graduation https://t.co/47DmD0LK2x pic.twitter.com/zsk7YQiQ57 — CNCF (@CloudNativeFdn) October 7, 2020 RookはKubernetesにさま
Prometheusでは、Prometheus Serverが監視対象にアクセスしてデータを収集するアーキテクチャを採用している。このデータ収集のためのアクセス先（エンドポイント）は「exporter」と呼ばれており、さまざまなソフトウェアやハードウェア向けのものが提供されている。今回はこのexporterについて、独自のデータ取得方法なども含めて紹介する。 公式exporterとサードパーティによるexporter Prometheusのアーキテクチャは前々回の記事で詳しく紹介しているが、Prometheus Serverが監視対象にアクセスしてデータを収集するような構成（Pull型アーキテクチャ）となっている（図1）。このようなアーキテクチャにおいては、監視対象ごとにPrometheus Serverにデータを渡すためのexporterを用意する必要がある。 図1 Prometheus
Postfix + Dovecot + OpenDKIM の設定メモを作成(2024.07.20) Let's Encryptの設定メモを更新(2024.07.13) Windows で動作する WebDAV クライアントを修正(2019.05.27) PostgreSQL のトランザクション & MVCC & スナップショットの仕組みを修正(2017.04.04) PostgreSQL のバックグラウンドワーカーの使い方を修正 (2017.04.05) PostgreSQL のメモリ管理関数の解説を修正 (2017.04.02) PostgreSQL の基本データ型とタプルの扱いを修正(2017.04.01) PostgreSQL のテーブルとブロックのデータ構造を更新 (2017.03.04) PostgreSQL のコーディングスタイルを作成 (2017.01.26) Postgre
サイボウズサマーインターン2021 報告 〜 Kubernetes基盤開発コース - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Necoチームの鈴木、石井、そしてストレージチームのsatです。 サイボウズは毎年サマーインターンシップを開催しています。去年に続き、今年もCOVID-19の影響でフルリモート開催でした。 インターンには様々なコースがありますが、本記事ではその中で我々が取り組んだKubernetes基盤開発コースの模様をお届けいたします。ここでいう「Kubernetes基盤」とはKubernetesを用いたサイボウズの次期インフラ基盤Necoのことを指します。 cybozu.co.jp 今年のKubernetes基盤開発コースは8月23日～9月3日(10日間)の日程で開催、7人の学生が参加してくれました。 彼らには本コースが提供する以下3つのチームに分かれて課題に取り組んでもらいました。 コントローラチーム Kubernetesコントローラの実装方法を学び、サイボウズで開発しているKubern
OpenStackで激変するシステム開発・運用 “抽象化”が実現する「究極の自動化」とは：特集：OpenStack超入門（3）（1/3 ページ） 前回はOpenStackの活用ポイントと、今後のシステム開発・運用に与える影響――特に自動化にフォーカスして紹介した。今回は日本OpenStackユーザ会 会長の中島倫明氏が、「OpenStackによる自動化の仕組みと実施法」を分かりやすく解説する。 「80％の自動化」と「100％の自動化」はまったく違う 前回「いまさら聞けないOpenStack ～よく知られた「常識」と知っておくべき「常識」の解説にもあるように、現在も多くのシステムにおいて「全体の80％前後の自動化」は実現可能だといえます。 数値で見ると「80％でも十分じゃないか？」という気になりますが、「100％の自動化が実現された環境」と、「80％止まりの環境」の間には越えがたい溝が存在し
日本よ、これが2014年のHadoopだ！─「Hadoop Conference Japan 2014」基調講演レポート 7月8日、東京・ベルサール汐留において「Hadoop Conference Japan 2014（主催: 日本Hadoopユーザ会）」が開催されました。2009年の初開催以来、今回で5回目となる同カンファレンスですが、今回の参加登録者数約1,300名のうち、65％（約840名）が初参加とのこと。「Hadoopの裾野の拡がりを確実に感じる」（NTTデータ 濱野賢一朗氏）との言葉通り、HadoopもHadoopユーザもこの5年で大きく変化を遂げていることを示したカンファレンスとなりました。 基調講演会場の模様。今回のテーマは「和風」、来場者には扇子が配られ、登壇者は障子をバックにはっぴ姿で講演を行いました 本稿では基調講演の内容をもとに、最初に公開されてから10
GitLab.com melts down after wrong directory deleted, backups fail
Upstart said it had outgrown the cloud – now five out of five restore tools have failed Source-code hub GitLab.com is in meltdown after experiencing data loss as a result of what it has suddenly discovered are ineffectual backups. On Tuesday evening, Pacific Time, the startup issued a sobering series of tweets we've listed below. Behind the scenes, a tired sysadmin, working late at night in the Ne
TechCrunch
The compliance process at pharmaceutical manufacturers is a complicated and prone to errors because many still use paper-based systems to record manufacturing steps. These paper records are reviewed b
潤沢な開発環境でも構築しようかなという目的から、OpenStackに触れ始めました。 システム全体の感覚を掴むのに多少時間がかかりましたが、整備された英語マニュアルと 既に数多くある日本語情報のおかげでかなりスムーズに会得できてるのではないかと思います。 あまりまとまりないですし、Debianよりになっていますが 以下、OpenStackリンク集になります。 目次 公式 概要 構築全般 Open vSwitch Quantum Keystone Glance Cinder Swift Ceph VNC Image Quota その他 公式 OpenStack Open Source Cloud Computing Software 日本OpenStackユーザ会 – Japan OpenStack User Group Japan (JOSUG) openstack.jp 技術文書、プレゼ
サイボウズの新しいインフラ基盤を支えるストレージの本番適用に向けた取り組み - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、Necoプロジェクトのsatです。Necoプロジェクトではサイボウズのクラウドサービスcybozu.comの次期インフラ基盤を開発しています。その根幹となるコンポーネントの一つがお客様のデータをあずかるストレージです。本記事ではNecoのストレージの本番適用に向けた取り組みの一つを紹介いたします。 たくさんの取り組みをしているのですが、ここではストレージシステムの運用にあたって、データを格納するRook/Cephクラスタの運用に必要なオペレーションを作る部分について扱います。 用語解説 ここでは本記事を読むにあたって必要になるCephの用語について、いくつか説明しておきます。 OSD OSDとはCephクラスタに組み込まれる個々のディスク上に存在している、ユーザの実データを保存する領域です。Cephは自身を構成するノード上にあるOSDを束ねてストレージプールを作ります
Kubernetesでローカルストレージを有効活用しよう - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Necoプロジェクトの池添(@zoetro)です。 今回は、Kubernetes向けにTopoLVMというCSI (Container Storage Interface) プラグインを開発したので紹介したいと思います。 TopoLVMは以下のような特徴を持っており、Kubernetesでローカルストレージを有効に利用することができます。 LVM (Logical Volume Manager) によるボリューム管理 トポロジーを考慮したダイナミックプロビジョニング ノードの空き容量に応じたスケジューリング github.com 本記事では、CSIプラグインを自作するに至った経緯とTopoLVMの特徴の紹介、Elasticsearchのストレージとして利用する例を紹介します。 ストレージへの取り組み Kubernetesでストレージを扱うことは難しいとよく言われています。しかし
モバイルゲームの「Mobage」からオンラインショッピング、オークション、キュレーションメディア、最近ではヘルスケア（遺伝子検査）やオートモーティブ（カーシェア、無人運転バス）といった新規事業まで、幅広いインターネットサービスを展開するDeNA（ディー・エヌ・エー）。そのサービスインフラを支えるエンジニア集団が、同社のIT基盤部だ。 DeNAでは今年、OpenStackを中心としてSDN（Software-Defined Network）、SDS（Software-Defined Storage）、LBaaS（Load Balanccer-as-a-Service）などの機能を統合した、新しいITインフラ／プライベートクラウドの利用を開始した。SDN基盤には、ビッグスイッチネットワークス（Big Switch Networks）の「Big Cloud Fabric（BCF）」を採用している
7/8（火）に開催されたHadoop Conference Japan 2014に参加してきました。 【キーノート】 濱野 賢一朗 （日本Hadoopユーザー会, NTTデータ） 実際には私用で10:30ぐらいから参加したので聞いていないのですが、ハッシュタグ#hcj2014をたどる限り今回は参加者が1296名で、初参加が65%だったそうです。新規に参加される方が半分以上というのは裾野が広がったということなんでしょうか？ Doug Cutting （Hadoop生みの親, Apache Software Foundation, Clouderar 『The Future of Data』 途中から聞いたのですが、恐らくThe Future of Data | Cloudera VISIONに書かれている内容を話していたようです。 オープンソースの勝利という部分は相当熱く語っていたようで、T
IBM Developer
IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
cybozu.com の新データセンター「Neco」が稼働開始 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Neco プロジェクトの責任者 ymmt です。 Neco は、2018 年 1 月に開始した cybozu.com のデータセンターを一から刷新するプロジェクトです。 今回は Neco の成果が結実した新データセンターが稼働開始したことをお知らせします。 あわせて、現時点までの活動内容・システムの概要・今後の予定もお伝えいたします。 Neco プロジェクトについて 成果の紹介 2019年9月時点のシステム 移行プロジェクト Maneki を開始 採用イベントのご案内 Neco プロジェクトについて サイボウズの主力クラウドサービスである cybozu.com は自社で構築したデータセンターにて2011年に提供開始しました。 以来順調に業容を拡大し、現在は 30,000 社以上のお客様にご契約いただいております。 一方で、当初 100 台に満たない台数のサーバー向けに設計された
KubeCon + CloudNativeCon Europe 2019参加レポート：CERNによるKubernetesを使ったヒッグス粒子のシミュレーションと、Spotifyの障害復旧話 - ZOZO TECH BLOG
こんにちは！ SREチームでコンテナやパブリッククラウドを使ったインフラの構築や運用などを行っている@_inductor_です。スペインのご飯が美味しすぎて日本に帰るのがつらい気持ちになっています。 本記事は、5月20日から23日にかけて行われているKubeCon + CloudNativeCon Europe 2019（以下KubeConまたはKubeCon EUと表記します）の参加レポートです。 昨年12月にシアトルにて開催されたKubeCon NAの様子についてはこちらの記事をご覧ください。 今回のKubeCon EUはスペインのバルセロナで行われ、およそ8000人が参加しています。昨年のコペンハーゲンでは4000人超程度だったので、その倍の参加者数です！ また、前回のKubeCon NAでは参加者が8000人（+2000人程度のキャンセル待ち）だったため、規模感としてもアメリカに引
サイボウズサマーインターン2020 報告 〜 OSSへの貢献を通して学ぶKubernetes基盤開発 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。Necoチームの池添とsatです。 サイボウズは毎年サマーインターンシップを開催しています。 今年は新型コロナウイルス(COVID-19)の影響で一時開催が危ぶまれました。 しかし、この状況で学生の皆さんの就業体験の機会が失われてしまうのもよくないと考え、フルリモートでインターンシップを実施することとしました。 blog.cybozu.io Kubernetes基盤開発コースは8月と9月の2回開催で、1回目の8月3日～14日(9日間)の日程には4人の学生が参加してくれました。 Kubernetes基盤開発コース担当のNecoチームはサイボウズの中でも、もっともOSSを活用しているチームです。 そこでこのコースでは、Necoチームが取り組んでいるKubernetes基盤開発について、OSSへの貢献を通して知ってもらう機会にしました。単に開発をするだけではなく、サイボウズがどういう
Preferred Networks におけるHadoop - Preferred Networks Research & Development
Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介したいと思います。 写真: PFNカラーリングのストレージサーバー Hadoop導入の経緯 Hadoopが多く利用されているようなログ分析や、エンタープライズ向けのETL処理やデータサイエンスに比べると、深層学習の分野でよく利用されているような規模のデータは比較的小さいです。よく画像認識のベンチマークとされるImageNetの2012年のコンペで利用されたデータセットは200GB程度です。これはそもそ
Resolution for POODLE SSLv3.0 vulnerability (CVE-2014-3566) in httpd - Red Hat Customer Portal
Environment Red Hat Enterprise Linux 5, 6, 7 Red Hat JBoss Enterprise Application Platform (EAP) 5, 6 JBoss Enterprise Web Server (EWS) 1, 2 Inktank Ceph Enterprise (ICE) 1 Red Hat Storage Console Red Hat Enterprise Virtualization Issue How do I avoid impact to httpd from CVE-2014-3566? How do I disable SSL 3.0 in httpd (using mod_ssl or mod_nss)? To avoid this vulnerability, Red Hat recommends di
Canonicalは10月22日(米国時間)、Ubuntu Blogの記事「Ubuntu 20.10 on Raspberry Pi delivers the full Linux desktop and micro clouds｜Ubuntu」において、LinuxディストリビューションであるUbuntuの最新版となる「Ubuntu 20.10」をリリースしたことを伝えた。Ubuntu 20.10には、デスクトップ環境に最適化されたRasberry Pi用イメージが含まれているほか、マイクロクラウドの各種ツールやインフラストラクチャが含まれている。 ARMプロセッサを搭載したシングルボードコンピュータであるRasberry Piは、今では研究や教育分野だけでなく、IoTをはじめとするビジネス基盤としても幅広く活用されている。Ubuntu 20.10では、このRasberry Pi上で完全な
【参考訳】Docker 1.8 公開：Content Trust、Toolbox、Registry とオーケストレーションのアップデート | Pocketstudio.jp log3
【参考訳】Docker 1.8 公開：Content Trust、Toolbox、Registry とオーケストレーションのアップデート Docker 1.8 のリリースに関する Blog 投稿がありました。内容未保証ですが、内容に関して皆さんに共有できればなぁ、という個人的な思いがあり、日本語訳をここで共有させていただきます。例によって、参考程度にどうぞ。 Announcing Docker 1.8: Content Trust, Toolbox, and Updates to Registry and Orchestration | Docker Blog http://blog.docker.com/2015/08/docker-1-8-content-trust-toolbox-registry-orchestration/ ■ Docker 1.8 公開：Content Trus
Linuxの開発を主導するLinus Torvalds氏が7月7日、「Linuxカーネル5.2」のリリースを発表した。オーディオデバイス向けのオープンソースファームウェア開発プロジェクト「Sound Open Firmware」のコアがマージされるなど、さまざまな強化が加わっている。 Linuxカーネル5.2は5月末に公開されたバージョン5.1に続く安定版。開発コードは「Bobtail Squid」で、7回のリリース候補（RC）を経てのリリースとなる。 DSPオーディオデバイス向けファームウェアをオープンソースで開発するプロジェクト「Sound Open Firmware（SOF）」のコアやIntelのオープンソースファームウェアを取り込んだ。SOFはIntelとGoogleが中心となって進めるオープンソースプロジェクト。オープンソースのファームウェアを提供することでファームウェアのカスタ
ストレージデバイスの暗号化に用いる暗号スイート間の性能比較 - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに Necoプロジェクトのsatです。 cybozu.comの次世代インフラ基盤Necoにおいてはストレージデバイスが紛失や盗難にあったときでもお客様のデータの漏洩を防ぐために、ストレージデバイスの暗号化をしています*1。ストレージデバイスの暗号化にはLinuxのdm-cryptを使っています。本記事では、この機能を使うにあたって、どの暗号スイートを使うかを処理速度という観点で決めた際の評価結果、それをもとにした判断基準、および評価の流れについて説明します。 dm-cryptに使える暗号スイートはたくさんありますが、まずは以下の要件を満たすものを選びました。 世間でよく使われている Necoで使用するにあたって十分な強度を持つ 暗号化/復号においてCPUに専用命令がある この観点に絞ったところ、下記4つが候補に残りました。 AES-128-CBC-ESSIV:SHA256 AES-2
運用本部長を退任して Neco プロジェクトに専念します - Cybozu Inside Out | サイボウズエンジニアのブログ
前運用本部長の ymmt です。 1 月 1 日付けで運用本部長を退任して、cybozu.com のアーキテクチャ刷新プロジェクト Necoに専念することにしました。 blog.cybozu.io この記事では運用本部を設立して 4 年間でやってきたことをまとめつつ、Neco プロジェクトについてお伝えします。思いを込めたら少し長めの記事になってしまいましたが、Neco で取り組んでいる Kubernetes を中心にした取り組みを末尾で紹介しています。 運用本部とは 自社の情報システムと顧客向けクラウドサービス cybozu.com の運用をミッションとする本部です。 4 年前に私が初代本部長となって設立したのですが、それ以前は開発本部所属のエンジニアが運用業務をしていました。 開発本部のミッションには運用業務が明示されていなかったこともあり、例えば情報システム部は存在していませんでした
新米SREとしての半年を振り返る
2020年12月22日以前の記事にあるように、かれこれ8年くらいやっていたiOS開発を一旦離れてフルタイムのSREに転向するという決断をした。それから約半年が経ったので、ここまでどのようなことをやったか振り返ってみる。まだまだ経験の浅い分野なので語彙に厳密性が欠けているかもしれない。 やったことKubernetesやはりこれを触ることが一番多い。弊社ではマルチテナントのクラスタが5つあり、うち2つがDCで、3つがAWS上で動いている。アプリケーション開発者やCI/CDパイプラインはGoで書かれた内製のコマンドラインツールを通じてクラスタとインタラクトする。つまり、開発者向けに新機能のサポートする度に、このツールのインターフェースを拡張することになる。 StatefulSets/Cephそうした中でもステートフルなアプリケーションのサポートが一番目立った変更だった。マネージドのサービスをほと
皆様はじめまして。 アメーバ経営本部で開発支援を行っている織田と申します。 今回、Ameba事業本部で執り行っている社内勉強会「Skill U Friday」についてご紹介さし上げます。 アメーバでは、社内外のノウハウや最新動向を持ち寄り部門や職能を越えて勉強会を定期開催しています。 現在アメーバには様々な部門があり、 それぞれの部門のプロジェクトに配属された開発者の数も1,000人※1を超えています。 Skill U Friday は、アメーバ全体の技術・品質の向上と 開発に携わる社員1人1人のスキルアップの一助となる機会のうちの1つとなります。 昨年の夏より取り組み、2013年5月時点で計40回を越えました。 これら過去に行われた勉強会は、資料と映像を記録し 新たに配属された社員や、当日参加できなかった社員でも 参照できるようにしております。 今この記事をご覧の方で将来サイバーエージェ
トラブルの芽を摘むための一歩進んだOSSのアップグレード戦略 - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、ストレージチームの大神です。ストレージチームでは様々なOSSを用いて新しいストレージインフラの開発・運用を行っています。OSSを使っていく上でいつどんな機能追加やバグ修正を取り込むかを決める「アップグレード戦略」を立てる事は重要です。サイボウズでは基本的にリリースごとにリリースノートの内容から変更点をチェックし、緊急のものがあれば即座にバージョンアップし、そうでなければ月一程度の頻度でバージョンアップしています。ここまでは比較的一般的なやり方ではないでしょうか。ストレージインフラに使用しているCephとRookについては、さらに一歩踏み込んだアップグレード戦略を行っており、本記事ではCephのアップグレード戦略について紹介します。 アップグレード戦略の概要 OSSは基本的にGitHubやメーリングリスト等で開発や議論が進むため、これらを定期的にチェックする事により最新
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog OpenStackの運用エンジニアをしている木下です。 今回はマルチプラットフォームCI環境に関する連載の第4弾として、KubernetesとOpenStackの連携を検証した際に分かった、動作させる手順と現在の状況について説明していきたいと思います。 本エントリーでは、「Kubernetesの認証としてKeystoneを利用する方法」、「KubernetesからCinderを利用する方法」の2つを詳しく解説していきます。 本エントリーで検証したKubernetesのバージョンは1.2.2になります。 Kubernetesの認証としてKeystoneを利用する Kubernetesの認証・認可の機構に関して簡単に説明したあと、Ke
こんにちは、Red Hat でストレージを中心にクラウドインフラを生業にしている宇都宮です。 さてみなさん、「ちょっとしたオブジェクトストレージが作りたいなあ」なーんて思ったことはありませんか？オブジェクトストレージを扱うアプリケーションを開発してる方とか。OpenShiftみたいなCloud Nativeなプラットフォームを作ってる方とか。バケットの事を考えると眠れなくなるほどオブジェクトストレージが好きで伝説の樹の下で…ｺﾞﾆｮｺﾞﾆｮ え？本家のS3を使うから大丈夫？確かにそれは一つの答えです。ですが安いとは言えお金がかかるし、インターネットを超えるからスループットやレスポンスは落ちるし、できればオンプレがいいなあ、みたいな。 "ちょっとしたファイルストレージ" ならサクッとNFSサーバーを建てれば当面解決できるんですけどね。オブジェクトストレージはそういうのがあまり無いんですよね。
MesosとCephのクラスタをAWSに構築するTerraformのmoduleを書いた - As a Futurist...
冬休みの宿題として、Mesos+Docker でアプリちゃんと動かしたい！→Shared Filesystem が欲しい →Ceph やりたい！→AWS の orchestration が必要 →Terraform 面白い！という yak shaving を経て、なぜかずっと Terraform をいじってました。とりあえずちゃんと動くのができたので公開。 riywo/mesos-ceph Terraform module for Mesos + Ceph cluster and Packer template – As a SW/Ops/DB Engineer 細かい話は 1 年ぶりの英語で適当に書きなぐったつもりなので、こちらにはポエムでも。 Terraform 面白い このブログとかを移行しようと考えてて、AWS を遊びじゃなくて運用しようとしたら、VPC とかサーバ以外に管理しなき
この記事は エムスリー Advent Calendar 2018 17日目の記事です。 皆さんはじめまして！11月にエンジニアリンググループに入りました、SREの平岡です。今回はSRE・・・というよりインフラ技術に携わるエンジニアとして、OSプラットフォーム周辺での新しい技術について紹介します。 8 が・・・来る！ Stratisとは？ 他のVMFsとの違いは？ 使ってみた インストール＆デーモン起動 プール作成〜ファイルシステム作成 その他にできること プールへのキャッシュデバイスの追加 ファイルシステムのスナップショット作成 サポート予定の機能 所感 余談：注目したいポイント We are hiring! 8 が・・・来る！ 今年（2018年）11月の頭に Red Hat Enterprise Linux (RHEL) 8 のパブリックベータが公開されました。そのリリースノートに挙げら
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CoreOS+DockerコンテナでCephブロックデバイス(RBD)を試してみた - Qiita
分散ストレージソフトウェアCephとは - Cybozu Inside Out | サイボウズエンジニアのブログ
部内サーバーに Kubernetes クラスタを立てました - KMC活動ブログ
「Ceph、完全に理解した」って Tweetする為のセッション ｰ Ceph 101 ｰ
Prometheusでのさまざまな監視データ取得法 | さくらのナレッジ
NAKAMURA Minoru's Home Page
OpenStackで激変するシステム開発・運用 “抽象化”が実現する「究極の自動化」とは
日本よ、これが2014年のHadoopだ！─「Hadoop Conference Japan 2014」基調講演レポート | gihyo.jp
これからはじめるOpenStackリンク集 | 外道父の匠
DeNAがベアメタルSDN「Big Cloud Fabric」を導入した背景を聞く (1/2)
Hadoop Conference Japan 2014に参加してきました | DevelopersIO
Ubuntu 20.10リリース、Rasberry Pi上のデスクトップ環境を完全サポート
「Linuxカーネル5.2」リリース | OSDN Magazine
『社内勉強会制度「Skill U Friday」』
KubernetesとOpenStackを連携させる方法
Ceph Nano、それはお手軽に作るオブジェクトストレージ - 赤帽エンジニアブログ
新ストレージ管理システム Stratis について調べてみた - エムスリーテックブログ