プログラミング初心者に対してどういう情報が役立つのかをぼんやり考えていると、そこそこコードを書けるベテランが、いつ、どういうことにつまづいてきたのかを書くとけっこう有益なのではないかと思ったので書きました。これを読むと直接プログラミング能力が上がるわけではないですが、「ああ、こういうところでつまづいてもいっぱしのプログラマになれている人もいるのだな」と思ってもらうのが目的です。成功談よりも失敗談のほうが役立つとよく言われますが、それと少し似ているのかもしれません。 全段落で「いっぱしのプログラマ」とか言った手前、自分のことを書いておきます。18歳ごろから20年くらい前からプログラミングをしていて、主に有名どころのOSSに向けてコードを書いてきました。昔はLinuxカーネルを10年少々やっていて、ここ最近はCephオーケストレータであるRookの開発とかをしています。プログラマとしてはスーパ
Kubernetes-nativeなアーキテクチャ導入の手引き 先進的なクラウド環境を最強テストベッドで体験｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Kubernetes-nativeなアーキテクチャ導入の手引き 先進的なクラウド環境を最強テストベッドで体験 Kubernetes-nativeなエコシステムを実現する最強テストベッド環境です。さまざまなミドルウェアを運用したマイクロサービスをフルgRPCなサービス間通信で実現するだけでなく、CI/CDと開発環境も用意しています。 こんにちは。株式会社サイバーエージェントのAI事業本部でインフラエンジニアをしている青山真也（@amsy810）と漆田瑞樹（@zuiurs）です。今回は、Kubernetesが好きな2人が考える最強のKubernetes-nativeなお試し環境を構築してみました。記事公開時点で、総コミット数が900に迫るリポジトリになっています。 現在、Kubernetesとそれを取り巻くエコシステムは急速に発達しており、便利なツールやミドルウェアが日々生まれています。これは
はじめに よくソフトウェア技術者にはプログラミング以外にもたくさんの技術が必要といわれます。では具体的に何が必要なのか…というと、実のところ個々人が置かれた状況によって全然異なるので何とも言えません。ただこれだけだと実務経験が無い人には全然ピンと来ないと思うので、現役職業プログラマである私が今の仕事で必要になっている能力について書きます。 私が現在なにを作っているか 私がやっていることはオンプレのインフラ基盤であるKubernetesクラスタの開発、およびその上で動くストレージ基盤であるRook/Cephクラスタの開発です。簡単に言ってしまえばこれらを作るのが現在所属しているプロジェクトのミッションです。 その中でもわたしのわかりやすい仕事はRookの開発です。上記インフラ基盤に必要な機能の開発、バグ修正が中心です。Rookはメンテナとして開発に参加しているので、それ以外にもコードレビュー
1. 細々とした予備知識 1.1 Qemuのデバイスエミュレーション 1.2 QemuのCPUエミュレーション 1.3 Qemuのスレッド 2. 追加のI/OスレッドとAioContext 2.1 追加のI/Oスレッド 2.2 AioContext 2.3 Big Qemu Lock 3. AioContextの各種イベント処理 3.1 AioHandler 3.2 event_notifier 3.3 タイマー、Bottom half 3.5 スレッドプール 執筆者 : 箕浦 真 こういう 仕事をしていると、ときどきQemuの仕組みや内部動作をお客様に説明する必要があることがあるが、そういう時に「Qemuの〜についてはここを見てね」と言えるような文書があるといいなぁと思って自分で作ってみることにした。 1. 細々とした予備知識 1.1 Qemuのデバイスエミュレーション Qemuはコンピ
はじめに わたしは今も昔も仕事としてOSS開発者をしていて、twitterなどでそれなりに名前が知られていることもあって、昔から「どうすればそういうこと(業務としてOSS開発)ができるのか」「どういうキャリアを歩んできたのか」「Linuxカーネル開発者になるにはどうすればいいのか」ということをよく聞かれてきました。当時わたしが置かれた環境と現在の環境では違いがありすぎるので公開に積極的にはなれなかったのですが、一つの過去事例として何らかの意味はあるかもと思って公開することにしました。 書き方が難しかったのですが、うまくまとまらなかったので、自分が書くのが楽な日記みたいになりました。 きっかけ 2000年初頭に学部4年のころにLinuxを触りはじめてから「UNIXとかLinuxってすげえ」「こんなものが無償で使えるのか」「これらのソースコードが全部見られるのか」と感動して、「自分も成果物を公
はじめに gcc v12.1において、C++の正規表現ライブラリstd::regexに、正規表現のバリデーションを改善するパッチ(以下"改善パッチ"と表記)が取り込まれました。改善パッチによって、これまではバリデーションにひっかからなかった不正な正規表現文字列が"正しく"不正なものと認識されて例外が発生するようになりました。 これだけ聞けばいいことだけのように思えるかもしれませんが、実はそうでもなかったりします。経験豊富なかたであれば見た瞬間ゾッとしたかもしれません。本記事では、この一見問題なさそうな改善パッチによって発生しうる問題、および、その具体的例について紹介するとともに、この手のパッチを当てるかどうかは難しい判断になるという知見を共有します。 結論 改善パッチによって発生する問題 発生条件 gcc v12.1以降、あるいは改善パッチをバックポートされた任意のバージョンを使ってC++
はじめに なぜおうちKubernetes？ ハードウェアの選定 クラスタのブートストラップ cybozu-go/neco-apps Metallb cert-manager Contour TopoLVM Rook SealedSecret ArgoCD GitHubアカウントでSSOする gRPC用とWeb UI用でサービスを分ける VictoriaMetrics Grafana operator moco 開発環境 今動いているもの これからやりたいこと バックアップとリストア 監視の充実 まとめ はじめに これはCybozu Advent Calendar 2021 7日目の記事です。是非他の記事も読んでみてください。 Kubernetesの名を聞くようになって久しく、皆様も業務・プライベート問わず日々YAMLを書かれていることでしょう。自分専用のプライベートクラスタが欲しいと思われ
となっています。 構成図 クラスタを構成するものを図にすると以下のようになります。 この中の一部コンポーネントは次節以降で登場します。 Kubernetes基盤 クラスタの基盤部分についてどのような構成になっているのか説明します。 kubeadm クラスタの構築自体については kubeadm を利用しています。 kubeadm を利用したクラスタの構築方法については公式のドキュメントが参考になります。 Static Pod と systemd kubeadm でデプロイすると kube-apiserver 等は Static Pod で、kubelet は systemd 以下で動作するようになります。 kube-apiserver は意外にメモリを食ってしまうのでそのまま動作させているとメモリ不足になることがあります。（ありました） なので kube-apiserver と etcd の
Twitterフォロー&条件付きツイートで「バリーくんぬいぐるみ」を抽選で20名にプレゼント！ 応募期間は2019/11/29～2019/12/31まで。詳細はこちらをご覧ください。 今すぐツイートするならこちら→ フォローもお忘れなく！ 【IIJ 2019 TECHアドベントカレンダー 12/12（木）の記事です】 久しぶりに書きました。 どうもこんばんわ。九州支社で働くとみです。お久しぶりです。 実は2016年に一つ記事を投稿したのですが、実に3年半経過した今になってアドベントカレンダーの話が聞こえてきたので、久方ぶりに書いてみることにしました。 当時はこんな記事なんかを書いてたわけですが、この記事を書いてから3年間色々あったので、その中の一つを書いてみようかなと思います。 3年間で覚えたことを並べてみる 2016年当時はTHE ON-PREMISEと言われてもおかしくないような、どイ
この記事はRookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020 25日目の記事です。(過ぎてるけど…) こんにちは。レッドハットでストレージを中心にクラウドインフラを生業にしている宇都宮です。 今日はOpenShiftをはじめとするコンテナ環境における…に限らずの一般的な環境でストレージがハマりやすいわけについての愚痴お話しをしたいと思います。 あんまりストレージ詳しくないかたに読んでもらって、へぇと思っていただければ嬉しいです。 コンテナ環境でハマるストレージの落とし穴 コンテナ環境におけるストレージは、CSI(Container Storage Interface)の仕組みができてから、使い始めるにはかなり簡単になりました。パブリッククラウドにしろオンプレにしろ、そこにあるストレージをコンテナストレージとして使えるようになったからです。 とは言
オープンソースへの貢献をメンターがサポートしてくれる「Google Summer of Code」、18歳以上なら誰でも参加可能に
オープンソースへの貢献をメンターがサポートしてくれる「Google Summer of Code」、18歳以上なら誰でも参加可能に Googleは2005年から毎年、夏休みの時期の学生を対象に、オープンソースへの貢献をメンターがサポートすることでオープンソースへの参加を促し、オープンソースの活性化にもつなげようというプログラム「Google Summer of Code」を開催しています。期間中に一定の課題をクリアした学生には奨学金も提供されていました。 今年もGoogle Summer of Codeの開催が発表されていますが、実は今年から参加資格が変更されました。これまでは学生に限定されていましたが、今年からは18歳以上なら誰でも参加できるようになりました。 下記は「Expanding Google Summer of Code in 2022」からの引用です。 Beginning i
無料でGoogleドライブ・FTPなど70以上のストレージサービスに対応しているファイル転送・同期アプリ「Rclone」を使ってみたレビュー
さまざまなクラウドサービスを使っている場合、それぞれのシステムに応じたファイルの転送手段を準備するのは面倒なもの。「Rclone」は70種類以上のストレージサービスに対応しており1つのアプリでほぼ全てのストレージサービスとファイルのやりとりをできるとのことなので、実際に使ってみました。 Rclone https://rclone.org/ RcloneはUNIXコマンドで言うところの「rsync(同期)」「cp(コピー)」「mv(移動)」「mount(マウント)」「ls(ファイル一覧表示)」「ncdu(ディスク使用量確認)」「tree(ディレクトリ構造をツリー表示)」「rm(削除)」「cat(ファイルの中身表示)」の動作が行えるとのこと。 また、「--dry-run」に対応しており事前にコマンドの結果をプレビューすることで重要なファイルを削除してしまうというミスを減らすことが可能となってい
LINEサービスに対してインフラを提供するITサービスセンター 小笹哲哉氏：ITサービスセンターシステム室の小笹といいます。よろしくお願いします。まずは、ITサービスセンターとはどういった組織なのかを簡単に説明いたします。 LINEでは「LINEアプリ」「LINE マンガ」「LINE MUSIC」「LINE LIVE」といったサービスに加えて、FinTechなどのサービスも提供しています。ITサービスセンターは、これらLINEに関わるすべてのサービスに対して、インフラサービスを提供しています。 ここにさまざまなアイコンが載っていますが、すべてのサービスに対して私たちは関わっています。 これは、ほかの部署との関わり合いを視点にした図ですが、私たちLINEのインフラエンジニアは、LINEアプリ、LINEのファミリーサービス、広告のプラットフォームなどに関わる開発者たちに対して、インフラを提供し
はむはー！最近計算機には嬉しい気温になってきました。みなさん計算機はいかがお過ごしですか？ 先月 Kubernetes クラスタを部内サーバーに構築したので、その話をします。 きっかけ きっかけは部内 OpenStack クラスタが崩壊したことです。OpenStack かぁ〜立て直すのめんどくさいね〜、って話しているうちに何故か Kubernetes を立てる話が盛り上がり、Kubernetes クラスタを立てることになりました *1。 いろいろ検討 Kubernetes を立てると一言で言っても、 Node の立て方や使うコンポーネント、YAML の管理方法など決めなければいけないことは多岐に渡ります。 まずは要検討事項をまとめた Issue を作りました。 数々の要検討事項 大量です。ここから一つ一つ検討していきました。 Node の立て方 Node を立てる、すなわち kubelet
Japan Rook Meetup #3での発表スライドです。Ceph、完全に理解した」って Tweetしてもらう為に、Cephの基本について解説しています。
データセンター仮想化ツール Placemat v2の紹介 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Necoチームの鈴木です。 Necoチームでは仮想データセンター構築ツールPlacematを使って、データセンターを丸ごと仮想化し、その上でサーバーのプロビジョニングやKubernetesクラスタ構築、Kubernetes上で動作するアプリケーションのTest Suitesを実行しています。 Placematはプロジェクト初期に開発されたツールで、古いツールに依存していたり、実装方式や設計が洗練されていないなどの課題があっため、4ヶ月前からv2を開発開始し、先日リリースしました。 本記事ではその機能と使い方、今後のCI改善 Placemat on Kubernetesについて紹介します。 特徴 シンプルな構成 YAMLの設定ファイルで多彩なデータセンター環境を再現可能 多彩なVM設定 仮想BMC シンプルな構成 Placematはシングルバイナリで構成されています。 使い方もシ
Kubernetesを分散ストレージのプラットフォームにする「Rook」、成熟したソフトウェアに到達したとしてCNCFがインキュベーションからの卒業を発表
Kubernetesを分散ストレージのプラットフォームにする「Rook」、成熟したソフトウェアに到達したとしてCNCFがインキュベーションからの卒業を発表 Kubernetesなどのソフトウェア開発をホストしている団体「Cloud Native Computing Foundation」（CNCF）は、Kubernetesを分散ストレージのプラットフォームにする「Rook」が、十分に成熟したソフトウェアに到達したとして、インキュベーション段階からの卒業を発表しました。 [NEWS] @CloudNativeFdn Announces @rook_io Graduation https://t.co/47DmD0LK2x pic.twitter.com/zsk7YQiQ57 — CNCF (@CloudNativeFdn) October 7, 2020 RookはKubernetesにさま
サイボウズサマーインターン2021 報告 〜 Kubernetes基盤開発コース - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Necoチームの鈴木、石井、そしてストレージチームのsatです。 サイボウズは毎年サマーインターンシップを開催しています。去年に続き、今年もCOVID-19の影響でフルリモート開催でした。 インターンには様々なコースがありますが、本記事ではその中で我々が取り組んだKubernetes基盤開発コースの模様をお届けいたします。ここでいう「Kubernetes基盤」とはKubernetesを用いたサイボウズの次期インフラ基盤Necoのことを指します。 cybozu.co.jp 今年のKubernetes基盤開発コースは8月23日～9月3日(10日間)の日程で開催、7人の学生が参加してくれました。 彼らには本コースが提供する以下3つのチームに分かれて課題に取り組んでもらいました。 コントローラチーム Kubernetesコントローラの実装方法を学び、サイボウズで開発しているKubern
サイボウズの新しいインフラ基盤を支えるストレージの本番適用に向けた取り組み - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、Necoプロジェクトのsatです。Necoプロジェクトではサイボウズのクラウドサービスcybozu.comの次期インフラ基盤を開発しています。その根幹となるコンポーネントの一つがお客様のデータをあずかるストレージです。本記事ではNecoのストレージの本番適用に向けた取り組みの一つを紹介いたします。 たくさんの取り組みをしているのですが、ここではストレージシステムの運用にあたって、データを格納するRook/Cephクラスタの運用に必要なオペレーションを作る部分について扱います。 用語解説 ここでは本記事を読むにあたって必要になるCephの用語について、いくつか説明しておきます。 OSD OSDとはCephクラスタに組み込まれる個々のディスク上に存在している、ユーザの実データを保存する領域です。Cephは自身を構成するノード上にあるOSDを束ねてストレージプールを作ります
Kubernetesでローカルストレージを有効活用しよう - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Necoプロジェクトの池添(@zoetro)です。 今回は、Kubernetes向けにTopoLVMというCSI (Container Storage Interface) プラグインを開発したので紹介したいと思います。 TopoLVMは以下のような特徴を持っており、Kubernetesでローカルストレージを有効に利用することができます。 LVM (Logical Volume Manager) によるボリューム管理 トポロジーを考慮したダイナミックプロビジョニング ノードの空き容量に応じたスケジューリング github.com 本記事では、CSIプラグインを自作するに至った経緯とTopoLVMの特徴の紹介、Elasticsearchのストレージとして利用する例を紹介します。 ストレージへの取り組み Kubernetesでストレージを扱うことは難しいとよく言われています。しかし
cybozu.com の新データセンター「Neco」が稼働開始 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Neco プロジェクトの責任者 ymmt です。 Neco は、2018 年 1 月に開始した cybozu.com のデータセンターを一から刷新するプロジェクトです。 今回は Neco の成果が結実した新データセンターが稼働開始したことをお知らせします。 あわせて、現時点までの活動内容・システムの概要・今後の予定もお伝えいたします。 Neco プロジェクトについて 成果の紹介 2019年9月時点のシステム 移行プロジェクト Maneki を開始 採用イベントのご案内 Neco プロジェクトについて サイボウズの主力クラウドサービスである cybozu.com は自社で構築したデータセンターにて2011年に提供開始しました。 以来順調に業容を拡大し、現在は 30,000 社以上のお客様にご契約いただいております。 一方で、当初 100 台に満たない台数のサーバー向けに設計された
サイボウズサマーインターン2020 報告 〜 OSSへの貢献を通して学ぶKubernetes基盤開発 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。Necoチームの池添とsatです。 サイボウズは毎年サマーインターンシップを開催しています。 今年は新型コロナウイルス(COVID-19)の影響で一時開催が危ぶまれました。 しかし、この状況で学生の皆さんの就業体験の機会が失われてしまうのもよくないと考え、フルリモートでインターンシップを実施することとしました。 blog.cybozu.io Kubernetes基盤開発コースは8月と9月の2回開催で、1回目の8月3日～14日(9日間)の日程には4人の学生が参加してくれました。 Kubernetes基盤開発コース担当のNecoチームはサイボウズの中でも、もっともOSSを活用しているチームです。 そこでこのコースでは、Necoチームが取り組んでいるKubernetes基盤開発について、OSSへの貢献を通して知ってもらう機会にしました。単に開発をするだけではなく、サイボウズがどういう
Preferred Networks におけるHadoop - Preferred Networks Research & Development
Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介したいと思います。 写真: PFNカラーリングのストレージサーバー Hadoop導入の経緯 Hadoopが多く利用されているようなログ分析や、エンタープライズ向けのETL処理やデータサイエンスに比べると、深層学習の分野でよく利用されているような規模のデータは比較的小さいです。よく画像認識のベンチマークとされるImageNetの2012年のコンペで利用されたデータセットは200GB程度です。これはそもそ
Canonicalは10月22日(米国時間)、Ubuntu Blogの記事「Ubuntu 20.10 on Raspberry Pi delivers the full Linux desktop and micro clouds｜Ubuntu」において、LinuxディストリビューションであるUbuntuの最新版となる「Ubuntu 20.10」をリリースしたことを伝えた。Ubuntu 20.10には、デスクトップ環境に最適化されたRasberry Pi用イメージが含まれているほか、マイクロクラウドの各種ツールやインフラストラクチャが含まれている。 ARMプロセッサを搭載したシングルボードコンピュータであるRasberry Piは、今では研究や教育分野だけでなく、IoTをはじめとするビジネス基盤としても幅広く活用されている。Ubuntu 20.10では、このRasberry Pi上で完全な
新米SREとしての半年を振り返る
2020年12月22日以前の記事にあるように、かれこれ8年くらいやっていたiOS開発を一旦離れてフルタイムのSREに転向するという決断をした。それから約半年が経ったので、ここまでどのようなことをやったか振り返ってみる。まだまだ経験の浅い分野なので語彙に厳密性が欠けているかもしれない。 やったことKubernetesやはりこれを触ることが一番多い。弊社ではマルチテナントのクラスタが5つあり、うち2つがDCで、3つがAWS上で動いている。アプリケーション開発者やCI/CDパイプラインはGoで書かれた内製のコマンドラインツールを通じてクラスタとインタラクトする。つまり、開発者向けに新機能のサポートする度に、このツールのインターフェースを拡張することになる。 StatefulSets/Cephそうした中でもステートフルなアプリケーションのサポートが一番目立った変更だった。マネージドのサービスをほと
トラブルの芽を摘むための一歩進んだOSSのアップグレード戦略 - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、ストレージチームの大神です。ストレージチームでは様々なOSSを用いて新しいストレージインフラの開発・運用を行っています。OSSを使っていく上でいつどんな機能追加やバグ修正を取り込むかを決める「アップグレード戦略」を立てる事は重要です。サイボウズでは基本的にリリースごとにリリースノートの内容から変更点をチェックし、緊急のものがあれば即座にバージョンアップし、そうでなければ月一程度の頻度でバージョンアップしています。ここまでは比較的一般的なやり方ではないでしょうか。ストレージインフラに使用しているCephとRookについては、さらに一歩踏み込んだアップグレード戦略を行っており、本記事ではCephのアップグレード戦略について紹介します。 アップグレード戦略の概要 OSSは基本的にGitHubやメーリングリスト等で開発や議論が進むため、これらを定期的にチェックする事により最新
ストレージオーケストレーターRookへのサイボウズのコミット方針 - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、Necoプロジェクトのsatです。 NecoではKubernetes上のアプリケーションが使うストレージをCephによって提供すること、およびCephクラスタの管理にKubernetes上で動作するストレージオーケストレーターRookを使うことを決めています。本記事はNecoがなぜRook/Cephを選択したのか、Rookに対する現在のコミット状況、および今後のコミット方針について紹介します。 CephやRookがどういうものなのかについては以下の記事をごらんください。 blog.cybozu.io blog.cybozu.io なぜRook/Cephなのか まずはNecoがなぜストレージをRook/Cephによって提供することにしたのかを簡単に書いておきます。 Ceph Necoで提供するストレージには、既存のインフラで苦労した点を無くす、あるいは軽減するために次の
Kubernetesとは何か？
Kubernetesは、宣言的な構成管理と自動化を促進し、コンテナ化されたワークロードやサービスを管理するための、ポータブルで拡張性のあるオープンソースのプラットフォームです。Kubernetesは巨大で急速に成長しているエコシステムを備えており、それらのサービス、サポート、ツールは幅広い形で利用可能です。 このページでは、Kubernetesの概要について説明します。 Kubernetesは、宣言的な構成管理と自動化を促進し、コンテナ化されたワークロードやサービスを管理するための、ポータブルで拡張性のあるオープンソースのプラットフォームです。Kubernetesは巨大で急速に成長しているエコシステムを備えており、それらのサービス、サポート、ツールは幅広い形で利用可能です。 Kubernetesの名称は、ギリシャ語に由来し、操舵手やパイロットを意味しています。Googleは2014年にKu
VictoriaMetrics と Grafana による Kubernetes クラスタのモニタリング - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。 Necoチームの梅澤です。 従前、Neco ではクラスタのモニタリングに Prometheus を利用していましたが、最近これを VictoriaMetrics + VictoriaMetrics operator に変更しました。 本記事では、Prometheus で感じていた問題点と、それをどのように解決したかを紹介します。 感じていた問題点 我々が（オペレーターを利用しない） Prometheus で問題を感じていたのは以下の点になります。 メトリクスの長期保存 Neco では元々14日間ぶんを保存していました。しかし、過去のメトリクスは障害の継続的な調査にも有用であり、14日間では物足りなく感じていました。一方、 Prometheus はストレージの構造として長期保存をあまり想定していません。 https://prometheus.io/docs/prometheus
現仮想サーバー開発のソフトウェアアーキテクトが、SDPFクラウドの仮想サーバー開発の全体像や課題、目指す姿などを話す「元ウェブ系エンジニアが語る IaaS（VM屋さん）の開発ってなにしてんの？ 」。ここでNTTコミュニケーションズ株式会社の佐野氏と技術顧問の和田氏が登壇。最後に視聴者からの質問に回答します。前回はこちらから。 OpenStackはどれくらい改造しているのか？ 司会者：佐野さんありがとうございます。ここからは私のほうでSlidoを投映して、和田さんにモデレーションをお願いしたいと思います。では和田さん、お願いします。 和田卓人氏（以下、和田）：今もガンガン（質問を）書き込んでもらってかまいませんし、「この質問いいね」と思ったら「いいね」ボタンをどんどん押してください。みなさんが聞きたいと思った質問を基本的には優先しながら、時々、恣意的にピックアップしながら質疑応答をやっていき
2038年問題はUNIX時間のオーバーフローに伴ってプログラムが誤動作するというものですが、既にほとんどのプログラムで解決済みとされています。しかし、ゲーム開発エンジニアのエイドリアンさんがMicrosoftのドキュメント上に2038年問題を引き起こすコードが掲載されているのを発見。そのコードをコピーしたプログラムでは2038年問題が発生してしまうと警告を行っています。 Year 2038 problem is still alive and well | Silent’s Blog https://cookieplmonster.github.io/2022/02/17/year-2038-problem/ UNIX系のOSでは時刻情報を扱う際に1970年1月1日0時0分からの経過秒数として表される「UNIX時間」を利用しています。かつて、UNIX時間はシステム内部において符号付き32ビ
こんにちは。「Rookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020」6日目は、タイトルの通り、ストレージ初心者だった筆者がCephのベンチマークを計測した際に学んだストレージシステムの性能指標とCephに代表されるような分散ストレージを計測する上での特徴や注意点について簡単にまとめます。 Rookではなくてもクラウドネイティブなストレージに関する投稿であればヨシという参加条件でしたので、Rookでもよく利用されているCephをこよなく愛する筆者としては、のりと勢いだけで応募しました。ろくに熟考もせず記載しているため間違いがあれば優しくご指摘ください！ はじめに さて、本記事は上記の通り、ストレージ素人だった筆者がCephのベンチマーク等を担当したときに、事前にこんな知識を知っておきたかったと感じた事柄について、記載したいと考えております。 また断り
はじめに （この記事はFujitsu Advent Calendar 2019 24日目の記事です。なお、記事は個人の見解であり、組織を代表するものではありません。） というわけで、今年もNVDIMMこと不揮発メモリの話を書くことにしました。補足編となっているのは、今年はすでに12月の講演で最新状況をほとんど話してしまっていて、その講演の時間内に収められなかった小ネタを補足としてするつもりだからです。 正直言うと、2019年は業務の都合上NVDIMMのお仕事はほとんど何もやっていなかったんです。しかし、過去3回にわたってひたすらNVDIMMの話を書いているせいか、最近はすっかりNVDIMMの人として見られるようになっている気がします。そのおかげで過去の記事をご覧になった大学の先生などから講演のお声がかかるようになってきたというわけです。ありがたいことです。 Outputを外に出すとそれが自
snapはCanonicalとUbuntuコミュニティが開発・推進している「ユニバーサルパッケージ」です。いわゆるLinuxディストリビューションを問わずに利用できるパッケージフォーマットであり、強力な権限管理機能を備えています。今回はこのsnapを、Ubuntu以外のディストリビューションにインストールしつつ、コンテナ管理システムであるLXDのsnap版パッケージをインストールしてみましょう。 snapはいろいろなディストリビューションで利用可能 snapはCanonicalとUbuntuコミュニティが推進する「ユニバーサルパッケージ」です。依存するソフトウェアをすべてパッケージに含めることで、依存関係を気にせずあらゆるディストリビューションでインストール可能なバイナリパッケージとして利用できます。 まずはsnapを説明する上で出てくる用語を整理しておきましょう。ごたくはいいからインスト
おうち Kubernetes 向けに Synology CSI Driver に VolumeExpansion を実装した話 - @amsy810's Blog
こんにちは。 青山（amsy810 ）です。 この記事は Kubernetes Advent Calendar の 1 日目の記事です。 いよいよアドベントカレンダーが始まりましたね。1か月間わいわいしていきましょう！ どこかの誰かに実装系の記事のほうが面白いよねってフリをされたので、今年は Synology CSI Driver に VolumeExpansion を実装しつつ、内部実装の紹介 をします。 VolumeExpansion は 1日あれば実装が終わるくらいの規模感でした。 おうち Kubernetes みなさんのおうちの Kubernetes はどこにありますか？ ちなみに私は下駄箱にあります。下駄箱DC。上流スイッチもここに集約されています。 そして皆さんストレージはどうしてますか？ hostPath や Local PV で我慢してる人がいたり、Longhorn や R
GitHub - quay/quay: Build, Store, and Distribute your Applications and Containers
⚠️ The master branch may be in an unstable or even broken state during development. Please use releases instead of the master branch in order to get stable software. Project Quay builds, stores, and distributes your container images. High-level features include: Docker Registry Protocol v2 Docker Manifest Schema v2.1, v2.2 AppC Image Discovery via on-demand transcoding Image Squashing via on-deman
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこで LINEのフェローであり、Data Science and Engineeringセンターに所属する並川淳氏が、「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というテーマで、LINEにおけるデータの扱い方について共有しました。 LINEにおけるデータ活用の取り組み 並川淳氏（以下、並川）：本日は「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というタイトルで、並川が発表いたします。私は、LINEではふだん機械学習に関わる開発全般を担当しています。ですが、今日は機械学習に限らず、LINEにおけるデータ活用の取り組みについて幅広く紹介させてもらえればと思っています。よ
SQL Server 2022がリリース候補に到達。Azure SQLとの双方向DR、Azure Synapseによるリアルタイム分析、Amazon S3へのバックアップ／リストアへも対応へ
SQL Server 2022がリリース候補に到達。Azure SQLとの双方向DR、Azure Synapseによるリアルタイム分析、Amazon S3へのバックアップ／リストアへも対応へ マイクロソフトが開発中のリレーショナルデータベース「SQL Server 2022」がリリース候補版に到達したことが発表されました。 SQL Server 2022には、Microsoft Azure上のマネージドサービスであるAzure SQL Managed Instanceとのリンク機能による双方向ディザスターリカバリー機能、Azure上のデータウェアハウス機能であるAzure Synapse AnalyticsとのレプリケーションによってSQL Serverのデータをほぼリアルタイムに分析できる機能、ブロックチェーンの技術をデータベースに組み込むことでデータの改ざん防止などを可能にする機能など
「Linux 5.11」が公開 | OSDN Magazine
Linus Torvalds氏は2月14日、「Linux 5.11」を公開した。2021年初のリリースとなり、ファイルシステム、ハードウェアなどで多数の強化が加わっている。Linux 5.11は2020年12月に公開されたバージョン5.10に続く最新版。7回のリリース候補（RC）リリースを経ての正式版公開となる。 ファイルシステムでは、btrfsで多数の強化が加わった。破損したディスクやbtrfsでフォーマットされたパーティションからデータを修復できるrescue=マウントオプションが加わった。ユーザー空間でより詳細なファイルシステム情報をエクスポートできるようになり、高負荷下での非同期の停止処理に関連した修正も加わっている。F2FSでは、ファイル単位のデータ圧縮をサポートし、圧縮されたファイルを制御できるioctl()が加わった。NFSでは再エクスポートが可能になり、NFS 3経由でNF
「MariaDB Platform X4」正式リリース。OLTPとOLAP統合をさらに発展、Amazon S3などのオブジェクトストレージにカラム型データベースを保存
「MariaDB Platform X4」正式リリース。OLTPとOLAP統合をさらに発展、Amazon S3などのオブジェクトストレージにカラム型データベースを保存 MariaDB社は「MariaDB Platform X4」正式版のリリースを発表しました。OLTPとOLAPを統合した「スマートトランザクション」の実現や、カラム型データベースをAmazon S3などのオブジェクトストレージに保存するなどの新機能が追加されています。 New: #MariaDB Platform X4 with smart transaction capability and #cloudnative storage. Learn more.https://t.co/5L6i6qtfU6 — MariaDB Corporation (@mariadb) January 14, 2020 MariaDBは20
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラミングでつまづいてきたこと - 覚書
プログラマに必要になっているプログラミング以外の技術の一例
Qemuのしくみ (の一部) - VA Linux エンジニアブログ
仕事としてOSS開発者をやってきた話 - 覚書
「バグを意図的にバグのまま残す」という選択肢がある
おうちKubernetes feat. cybozu-go/neco-apps - ぽよメモ
Managed Kubernetesサービス開発者の自宅k8sクラスタ全容
分散SNSを使って技術を覚える | IIJ Engineers Blog
ストレージはつらいよ？ - 赤帽エンジニアブログ
5万台を超える物理サーバーを運用する専門組織 大規模インフラを支えるLINEインフラエンジニアのミッション
部内サーバーに Kubernetes クラスタを立てました - KMC活動ブログ
「Ceph、完全に理解した」って Tweetする為のセッション ｰ Ceph 101 ｰ
Ubuntu 20.10リリース、Rasberry Pi上のデスクトップ環境を完全サポート
「OpenStackを選んだ理由は？」「VM屋になるためにどういった経験が大切か？」 元Web系エンジニアのVM屋に聞くQ＆A
2038年問題を再発させるコードが多数の場所にコピーされてしまっている
【ストレージ初心者向け】分散ストレージ、Cephの速度を計る（１） - Qiita
Linuxの不揮発メモリ(NVDIMM対応について(2019年版 補足編) - Qiita
第582回 いろいろなディストリビューションでsnapとLXDを利用する | gihyo.jp
大量のユーザーデータを横断的に使うために LINEのデータサイエンティストが気をつけているいくつかのこと