accelerkのブックマーク (5)

  • Ceph概要まとめ - TECHSTEP

    はじめに 昨年、Kubernetes上でCloud Native Storageを実現するRookについて調査しました。Rookは複数のストレージソフトウェアを統合しますが、最もよく使われるものがCephです。Rookについて調査・検証をするうちに、そもそもCephの動きを理解していない中でRookの理解を進めることが難しいと感じていたので、Cephについて調査しました。Cephは10年以上前に登場したストレージシステムのため、様々な書籍や記事でその機能や裏側の動きが紹介されています。今回はそれらの記事や論文、公式ドキュメントを眺めたうえでまとめ、自身のCephへの理解を深める第一歩として公開しました。誤った理解や記載がある場合は、ご連絡いただければ幸いです。 Cephとは オープンソースな統合的ストレージシステム オブジェクトストレージ・ブロックストレージ・ファイルストレージを提供 高信

    Ceph概要まとめ - TECHSTEP
    accelerk
    accelerk 2022/12/31
  • Kafka Brokerのcompaction動作の詳細とチューニング方法について - Repro Tech Blog

    Reproでチーフアーキテクトとして働いているid:joker1007です。 今回、Kafka Brokerのcompaction動作について調査しチューニングすることでパフォーマンス改善の成果が得られたため、そのノウハウをブログにまとめておきました。 かなりマニアックな内容なので、需要は多くないと思いますが、私が調査した限りでは日語で同じ様な内容のブログ記事はほとんど存在しなかったため、Kafkaを自前で運用している人にとっては役に立つ内容かもしれません。 compactionとは (参考: https://kafka.apache.org/documentation/#compaction) Kafkaの基的なデータ削除ポリシーは一定時間が経過したら過去のデータをそのまま削除するdeleteというポリシーを使う。 これは、log.retention.hoursという設定でコントロー

    Kafka Brokerのcompaction動作の詳細とチューニング方法について - Repro Tech Blog
    accelerk
    accelerk 2022/06/22
  • Gitワークフロー設計について - 電通総研 テックブログ

    みなさんこんにちは、電通国際情報サービス(ISID)Xイノベーション部ソフトウェアデザインセンターの佐藤太一です。 この記事では、Git を使った仕事のやり方(以降は Git ワークフローと記載)を設計する上での検討事項を説明します。 これによって、読者の皆さんがGitワークフローを適切に定義できるようになることを主たる目的としています。 また、筆者の能力不足によって記載しきれなかった考慮事項について、より深く Git を使いこなしている識者からの指摘を受ける機会を得ることを副次的な目的とします。 この記事には書かれていないものの、検討すべき事項について知見のある方はブログ記事を書いたり、Twitter等のSNSで指摘してくださるとありがたいです。 はじめに 基的な考え方 Git ワークフロー設計における考慮事項 チームの人数 monorepoの検討 参考文献 プロジェクト管理ツールと

    Gitワークフロー設計について - 電通総研 テックブログ
    accelerk
    accelerk 2022/01/26
  • 「スタートアップだからテストを書かない」は正しいか - An Epicurean

    スタートアップのCTOクラスの人がたまにそういうことを言っているのを聞くことがあります。もしくは「スピード優先だからテストを書かない」等です。 それは真ではなく、言ってしまえば、未熟だからテストを書「け」ない、のではないでしょうか。ただ、スタートアップという言葉に未熟であるという意味が含まれているのであれば「スタートアップだからテストを書かない」という問は真になるかも知れません。スタートアップは得てして未熟なものだし、それでも良いからです。 テストを書かないというジャッジをするのは構いません。でもそれは、スタートアップだからでもスピード優先だからでもない。自分達が未熟だからで、そこには向き合うべきだと考えます。状況のせいにするのではなく、徹底的に自分ごと化する。それがスタートアップに求められる姿勢です。少なくとも技術のトップが自分たちの技術力に向き合わないのはまずいでしょう。 「スタートア

    「スタートアップだからテストを書かない」は正しいか - An Epicurean
    accelerk
    accelerk 2021/05/20
  • KIP-500: Replace ZooKeeper with a Self-Managed Metadata Quorum - Apache Kafka - Apache Software Foundation

    KIP-500: Replace ZooKeeper with a Self-Managed Metadata Quorum StatusCurrent state: Accepted Discussion thread: here JIRA: KAFKA-9119 - Getting issue details... STATUS Please keep the discussion on the mailing list rather than commenting on the wiki (wiki discussions get unwieldy fast). MotivationCurrently, Kafka uses ZooKeeper to store its metadata about partitions and brokers, and to elect a bro

    accelerk
    accelerk 2020/01/04
    これは興味深い
  • 1