プログラミング初心者に対してどういう情報が役立つのかをぼんやり考えていると、そこそこコードを書けるベテランが、いつ、どういうことにつまづいてきたのかを書くとけっこう有益なのではないかと思ったので書きました。これを読むと直接プログラミング能力が上がるわけではないですが、「ああ、こういうところでつまづいてもいっぱしのプログラマになれている人もいるのだな」と思ってもらうのが目的です。成功談よりも失敗談のほうが役立つとよく言われますが、それと少し似ているのかもしれません。 全段落で「いっぱしのプログラマ」とか言った手前、自分のことを書いておきます。18歳ごろから20年くらい前からプログラミングをしていて、主に有名どころのOSSに向けてコードを書いてきました。昔はLinuxカーネルを10年少々やっていて、ここ最近はCephオーケストレータであるRookの開発とかをしています。プログラマとしてはスーパ
Kubernetes-nativeなアーキテクチャ導入の手引き 先進的なクラウド環境を最強テストベッドで体験｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Kubernetes-nativeなアーキテクチャ導入の手引き 先進的なクラウド環境を最強テストベッドで体験 Kubernetes-nativeなエコシステムを実現する最強テストベッド環境です。さまざまなミドルウェアを運用したマイクロサービスをフルgRPCなサービス間通信で実現するだけでなく、CI/CDと開発環境も用意しています。 こんにちは。株式会社サイバーエージェントのAI事業本部でインフラエンジニアをしている青山真也（@amsy810）と漆田瑞樹（@zuiurs）です。今回は、Kubernetesが好きな2人が考える最強のKubernetes-nativeなお試し環境を構築してみました。記事公開時点で、総コミット数が900に迫るリポジトリになっています。 現在、Kubernetesとそれを取り巻くエコシステムは急速に発達しており、便利なツールやミドルウェアが日々生まれています。これは
はじめに よくソフトウェア技術者にはプログラミング以外にもたくさんの技術が必要といわれます。では具体的に何が必要なのか…というと、実のところ個々人が置かれた状況によって全然異なるので何とも言えません。ただこれだけだと実務経験が無い人には全然ピンと来ないと思うので、現役職業プログラマである私が今の仕事で必要になっている能力について書きます。 私が現在なにを作っているか 私がやっていることはオンプレのインフラ基盤であるKubernetesクラスタの開発、およびその上で動くストレージ基盤であるRook/Cephクラスタの開発です。簡単に言ってしまえばこれらを作るのが現在所属しているプロジェクトのミッションです。 その中でもわたしのわかりやすい仕事はRookの開発です。上記インフラ基盤に必要な機能の開発、バグ修正が中心です。Rookはメンテナとして開発に参加しているので、それ以外にもコードレビュー
1. 細々とした予備知識 1.1 Qemuのデバイスエミュレーション 1.2 QemuのCPUエミュレーション 1.3 Qemuのスレッド 2. 追加のI/OスレッドとAioContext 2.1 追加のI/Oスレッド 2.2 AioContext 2.3 Big Qemu Lock 3. AioContextの各種イベント処理 3.1 AioHandler 3.2 event_notifier 3.3 タイマー、Bottom half 3.5 スレッドプール 執筆者 : 箕浦 真 こういう 仕事をしていると、ときどきQemuの仕組みや内部動作をお客様に説明する必要があることがあるが、そういう時に「Qemuの〜についてはここを見てね」と言えるような文書があるといいなぁと思って自分で作ってみることにした。 1. 細々とした予備知識 1.1 Qemuのデバイスエミュレーション Qemuはコンピ
はじめに わたしは今も昔も仕事としてOSS開発者をしていて、twitterなどでそれなりに名前が知られていることもあって、昔から「どうすればそういうこと(業務としてOSS開発)ができるのか」「どういうキャリアを歩んできたのか」「Linuxカーネル開発者になるにはどうすればいいのか」ということをよく聞かれてきました。当時わたしが置かれた環境と現在の環境では違いがありすぎるので公開に積極的にはなれなかったのですが、一つの過去事例として何らかの意味はあるかもと思って公開することにしました。 書き方が難しかったのですが、うまくまとまらなかったので、自分が書くのが楽な日記みたいになりました。 きっかけ 2000年初頭に学部4年のころにLinuxを触りはじめてから「UNIXとかLinuxってすげえ」「こんなものが無償で使えるのか」「これらのソースコードが全部見られるのか」と感動して、「自分も成果物を公
はじめに gcc v12.1において、C++の正規表現ライブラリstd::regexに、正規表現のバリデーションを改善するパッチ(以下"改善パッチ"と表記)が取り込まれました。改善パッチによって、これまではバリデーションにひっかからなかった不正な正規表現文字列が"正しく"不正なものと認識されて例外が発生するようになりました。 これだけ聞けばいいことだけのように思えるかもしれませんが、実はそうでもなかったりします。経験豊富なかたであれば見た瞬間ゾッとしたかもしれません。本記事では、この一見問題なさそうな改善パッチによって発生しうる問題、および、その具体的例について紹介するとともに、この手のパッチを当てるかどうかは難しい判断になるという知見を共有します。 結論 改善パッチによって発生する問題 発生条件 gcc v12.1以降、あるいは改善パッチをバックポートされた任意のバージョンを使ってC++
はじめに なぜおうちKubernetes？ ハードウェアの選定 クラスタのブートストラップ cybozu-go/neco-apps Metallb cert-manager Contour TopoLVM Rook SealedSecret ArgoCD GitHubアカウントでSSOする gRPC用とWeb UI用でサービスを分ける VictoriaMetrics Grafana operator moco 開発環境 今動いているもの これからやりたいこと バックアップとリストア 監視の充実 まとめ はじめに これはCybozu Advent Calendar 2021 7日目の記事です。是非他の記事も読んでみてください。 Kubernetesの名を聞くようになって久しく、皆様も業務・プライベート問わず日々YAMLを書かれていることでしょう。自分専用のプライベートクラスタが欲しいと思われ
となっています。 構成図 クラスタを構成するものを図にすると以下のようになります。 この中の一部コンポーネントは次節以降で登場します。 Kubernetes基盤 クラスタの基盤部分についてどのような構成になっているのか説明します。 kubeadm クラスタの構築自体については kubeadm を利用しています。 kubeadm を利用したクラスタの構築方法については公式のドキュメントが参考になります。 Static Pod と systemd kubeadm でデプロイすると kube-apiserver 等は Static Pod で、kubelet は systemd 以下で動作するようになります。 kube-apiserver は意外にメモリを食ってしまうのでそのまま動作させているとメモリ不足になることがあります。（ありました） なので kube-apiserver と etcd の
Twitterフォロー&条件付きツイートで「バリーくんぬいぐるみ」を抽選で20名にプレゼント！ 応募期間は2019/11/29～2019/12/31まで。詳細はこちらをご覧ください。 今すぐツイートするならこちら→ フォローもお忘れなく！ 【IIJ 2019 TECHアドベントカレンダー 12/12（木）の記事です】 久しぶりに書きました。 どうもこんばんわ。九州支社で働くとみです。お久しぶりです。 実は2016年に一つ記事を投稿したのですが、実に3年半経過した今になってアドベントカレンダーの話が聞こえてきたので、久方ぶりに書いてみることにしました。 当時はこんな記事なんかを書いてたわけですが、この記事を書いてから3年間色々あったので、その中の一つを書いてみようかなと思います。 3年間で覚えたことを並べてみる 2016年当時はTHE ON-PREMISEと言われてもおかしくないような、どイ
この記事はRookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020 25日目の記事です。(過ぎてるけど…) こんにちは。レッドハットでストレージを中心にクラウドインフラを生業にしている宇都宮です。 今日はOpenShiftをはじめとするコンテナ環境における…に限らずの一般的な環境でストレージがハマりやすいわけについての愚痴お話しをしたいと思います。 あんまりストレージ詳しくないかたに読んでもらって、へぇと思っていただければ嬉しいです。 コンテナ環境でハマるストレージの落とし穴 コンテナ環境におけるストレージは、CSI(Container Storage Interface)の仕組みができてから、使い始めるにはかなり簡単になりました。パブリッククラウドにしろオンプレにしろ、そこにあるストレージをコンテナストレージとして使えるようになったからです。 とは言
オープンソースへの貢献をメンターがサポートしてくれる「Google Summer of Code」、18歳以上なら誰でも参加可能に
オープンソースへの貢献をメンターがサポートしてくれる「Google Summer of Code」、18歳以上なら誰でも参加可能に Googleは2005年から毎年、夏休みの時期の学生を対象に、オープンソースへの貢献をメンターがサポートすることでオープンソースへの参加を促し、オープンソースの活性化にもつなげようというプログラム「Google Summer of Code」を開催しています。期間中に一定の課題をクリアした学生には奨学金も提供されていました。 今年もGoogle Summer of Codeの開催が発表されていますが、実は今年から参加資格が変更されました。これまでは学生に限定されていましたが、今年からは18歳以上なら誰でも参加できるようになりました。 下記は「Expanding Google Summer of Code in 2022」からの引用です。 Beginning i
無料でGoogleドライブ・FTPなど70以上のストレージサービスに対応しているファイル転送・同期アプリ「Rclone」を使ってみたレビュー
さまざまなクラウドサービスを使っている場合、それぞれのシステムに応じたファイルの転送手段を準備するのは面倒なもの。「Rclone」は70種類以上のストレージサービスに対応しており1つのアプリでほぼ全てのストレージサービスとファイルのやりとりをできるとのことなので、実際に使ってみました。 Rclone https://rclone.org/ RcloneはUNIXコマンドで言うところの「rsync(同期)」「cp(コピー)」「mv(移動)」「mount(マウント)」「ls(ファイル一覧表示)」「ncdu(ディスク使用量確認)」「tree(ディレクトリ構造をツリー表示)」「rm(削除)」「cat(ファイルの中身表示)」の動作が行えるとのこと。 また、「--dry-run」に対応しており事前にコマンドの結果をプレビューすることで重要なファイルを削除してしまうというミスを減らすことが可能となってい
LINEサービスに対してインフラを提供するITサービスセンター 小笹哲哉氏：ITサービスセンターシステム室の小笹といいます。よろしくお願いします。まずは、ITサービスセンターとはどういった組織なのかを簡単に説明いたします。 LINEでは「LINEアプリ」「LINE マンガ」「LINE MUSIC」「LINE LIVE」といったサービスに加えて、FinTechなどのサービスも提供しています。ITサービスセンターは、これらLINEに関わるすべてのサービスに対して、インフラサービスを提供しています。 ここにさまざまなアイコンが載っていますが、すべてのサービスに対して私たちは関わっています。 これは、ほかの部署との関わり合いを視点にした図ですが、私たちLINEのインフラエンジニアは、LINEアプリ、LINEのファミリーサービス、広告のプラットフォームなどに関わる開発者たちに対して、インフラを提供し
はむはー！最近計算機には嬉しい気温になってきました。みなさん計算機はいかがお過ごしですか？ 先月 Kubernetes クラスタを部内サーバーに構築したので、その話をします。 きっかけ きっかけは部内 OpenStack クラスタが崩壊したことです。OpenStack かぁ〜立て直すのめんどくさいね〜、って話しているうちに何故か Kubernetes を立てる話が盛り上がり、Kubernetes クラスタを立てることになりました *1。 いろいろ検討 Kubernetes を立てると一言で言っても、 Node の立て方や使うコンポーネント、YAML の管理方法など決めなければいけないことは多岐に渡ります。 まずは要検討事項をまとめた Issue を作りました。 数々の要検討事項 大量です。ここから一つ一つ検討していきました。 Node の立て方 Node を立てる、すなわち kubelet
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラミングでつまづいてきたこと - 覚書
プログラマに必要になっているプログラミング以外の技術の一例
Qemuのしくみ (の一部) - VA Linux エンジニアブログ
仕事としてOSS開発者をやってきた話 - 覚書
「バグを意図的にバグのまま残す」という選択肢がある
おうちKubernetes feat. cybozu-go/neco-apps - ぽよメモ
Managed Kubernetesサービス開発者の自宅k8sクラスタ全容
分散SNSを使って技術を覚える | IIJ Engineers Blog
ストレージはつらいよ？ - 赤帽エンジニアブログ
5万台を超える物理サーバーを運用する専門組織 大規模インフラを支えるLINEインフラエンジニアのミッション
部内サーバーに Kubernetes クラスタを立てました - KMC活動ブログ