サイボウズサマーインターン2021 報告 〜 Kubernetes基盤開発コース - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Necoチームの鈴木、石井、そしてストレージチームのsatです。 サイボウズは毎年サマーインターンシップを開催しています。去年に続き、今年もCOVID-19の影響でフルリモート開催でした。 インターンには様々なコースがありますが、本記事ではその中で我々が取り組んだKubernetes基盤開発コースの模様をお届けいたします。ここでいう「Kubernetes基盤」とはKubernetesを用いたサイボウズの次期インフラ基盤Necoのことを指します。 cybozu.co.jp 今年のKubernetes基盤開発コースは8月23日～9月3日(10日間)の日程で開催、7人の学生が参加してくれました。 彼らには本コースが提供する以下3つのチームに分かれて課題に取り組んでもらいました。 コントローラチーム Kubernetesコントローラの実装方法を学び、サイボウズで開発しているKubern
Engadget | Technology News & Reviews
Rivian offers (up to) $5,000 discount if you trade in your gas-powered truck
包帯のように装着するハンドトラッカー「WovenProbe」 スマートウォッチから電力供給
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米コーネル大学の研究チームが開発した「WovenProbe: Probing Possibilities for Weaving Fully-Integrated On-Skin Systems Deployable in the Field」は、グローブのように手全体を覆わない、スリムで軽量なハンドトラッキング用ウェアラブルデバイスだ。指や手首の曲がり具合を検出し、VRのハンドジェスチャー制御などに活用できる。
TypeScript で string 型の値に自動補完を効かせる: Days on the Moon
結論 type X = 'foo' | 'bar' | (string & {}); のように、文字列リテラル型の共用体型に | (string & {}) を付け足した型 X を定義します。X 型は任意の文字列を受け付けますが、IDE (Visual Studio Code など) で X 型の値を入力するときには 'foo' と 'bar' が自動補完の候補として提示されます。 解説 単純に type X = 'foo' | 'bar' | string; と書いてしまうと、共用体型の各要素がまとめられて、X は単なる string 型になってしまいます。{} 型は null と undefined を除く任意の値を受け付けるので、string & {} 型は実質的に string 型と同一なのですが、TypeScript 4.4 の時点では同一扱いされず、共用体型の各要素がまとめられ
"JWT=ステートレス"から一歩踏み出すための考え方
おはようございます、ritouです。 この話に乗っかっていきます。 3行で ログアウト時にJWTを無効化できない実装は今後脆弱性診断で「OWASP Top 10 2021違反」と指摘されるようになりそう(今も個別にされてるかもしれないけど) JWTは単純なフォーマットなので、ステートレスなセッション管理においてログアウトしたときに文字列自体を無効化できない件は独自エンコード方式(一般的にフレームワークのCookieストアと呼ばれているもの)でも起こり得る 「セッションID vs JWTで内包」 以外にも 「セッションIDをJWTに内包」もあり得る。既存の機能を残しつつ「JWTで武装」する選択肢も考えてみてはどうか。 ステートレスなセッション管理でログアウトの際に文字列自体を無効化できない問題 これは前から言われていますし、駆け出し何とか勢のQiita記事に書かれるぐらいには一般的です。 2
「45歳定年制」を実現させたいなら - H-Yamaguchi.net
サントリーホールディングスの新浪剛史社長が経済同友会の夏季セミナーで、45歳定年制を提唱したとして一部で話題になっている。 ４５歳定年制導入を コロナ後の変革で―サントリー新浪氏（時事通信2021年9月9日） 記事だけでは具体的な内容はわからないが、上記報道では「社会経済を活性化し新たな成長につなげるには、従来型の雇用モデルから脱却した活発な人材流動が必要」「会社に頼らない姿勢が必要」と述べたようなので、よくある「給料の割にパフォーマンスが悪い中高年社員を追い出して若い元気な人と優秀な一部の人だけ残したい」という類の考え方であるようにみえる。 「よくある」というのは、この種の考え方は別に珍しくも新しくもないからだ。自分に能力があると考えがちな若い社員がジョッキを片手に盛り上がる典型的な居酒屋談義のネタだ、という前者の点はひとまず措くとして、少なくとも後者の「新しくない」という点でいえば、そ
世界で急減のミツバチ、沖縄の女性研究者が解決に没頭 原動力はタトゥー刻むほどの愛：朝日新聞GLOBE＋
ミツバチは人間社会と比べても劣らない社会制度が発達した世界に住んでおり、その労働倫理の高さには定評があります。 そんな愛すべきミツバチに大きな危機が押し寄せています。個体数が急速に減っているのです。 この問題の解決につながるような発見を、沖縄科学技術大学院大学（OIST）の博士課程に入ったばかりの女性研究者が成し遂げました。 巣箱に群がるミツバチ。リンゴやコーヒー、アーモンドなど、様々な植物を受粉させることができる＝ブリティッシュ・コロンビア大、長谷川のんのさん撮影 ミツバチの数が少なくなると人間にどんな影響があるのでしょうか。ミツバチはハチミツやローヤルゼリーを生み出し、私たちの栄養や健康、経済に大きな貢献をしています。 それ以上に大事なのが、ミツバチは花粉を運ぶ役割を果たしていることです。専門家によると、ミツバチは世界の農作物の約3分の1の受粉を担っていて、ほかの昆虫や動物などの「花粉
GitHub - tagomoris/right_speed
RightSpeed is an experimental application server to host Rack applications, on Ractor workers, to test/verify that your application is Ractor-safe/Ractor-ready or not. Ractor is an experimental feature of Ruby 3.0, thus this application server is also not for production environments. Currently, RightSpeed supports the very limited set of Rack protocol specifications. Unsupported features are, for
メルペイのシステム運用とPlaybookの共通管理への挑戦 | メルカリエンジニアリング
こんにちは、メルペイでSREとして従事している @myoshida です。この記事は Merpay Tech Openness Month 2021 の8日目の記事です。 SREチームはお客さまへよりよいサービス利用体験を提供するため、日々様々な改善活動に取り組んでいます。その活動の一環としてPlaybookの概念を導入し、運用者の運用負担を減らす取り組みを始めました。今回はそのことについて説明してみたいと思います。 概要 メルペイではアプリケーションエンジニアとSREの双方がオンコール制度のもと運用に携わっています。 運用の悩みは様々ですが、そのうちの1つに手順書の取り扱いがあります。 どこに置くべきか、更新はされているのか、何を書けばいいのか、どの場面でどの手順書を利用すればよいのかというような悩みはどこの現場でも少なからず存在すると思います。 そこで、Playbookと呼ばれる体系的
はてな「Mackerel」のSREに学ぶ、開発パフォーマンスと信頼性のベストバランスとは？【デブサミ2021夏】
近年注目を集めるSRE（Site Reliability Engineering）。その実践には、Observability（可観測性）や設計の他、組織づくりや文化の醸成などが重要なカギを握るとされ、各々の組織に合う形で導入・運用されることが望ましいとされる。株式会社はてなでも、サーバー監視サービス「Mackerel」の開発チームで2019年より実践が開始され、組織全体に展開されてきた。その導入の背景や、DevOpsを達成するためのチーム編成などの経緯について、Mackerelチーム リードSREの古川雅大氏が経験を踏まえつつ紹介した。 株式会社はてな Mackerelチーム リードSRE 古川雅大氏 SREの第一歩は非エンジニアも含めた「SREの理解」から Googleが提唱した「SRE」は、いわばDevOpsの実践法であり、ツールや考え方の共通化、チーム構成などによって組織のサイロを減
Replacing Docker Desktop with hyperkit + minikube - Cirrus Minor
Edit June 2023: Added a section on Colima MacOS is a Unix but it isn’t a Linux so, unfortunately, if/when we need to use linux-y things like docker we need to install a VM just like in the Windows world. That’s of course also true for docker. Like most people I’ve been using Docker Desktop for a lot of years to get my fix for container. It works pretty well, good even for almost everything. I don’
Kubernetesに無限の可能性を生み出す「Operator」「CRD」「カスタムコントローラー」とは
Kubernetesに無限の可能性を生み出す「Operator」「CRD」「カスタムコントローラー」とは：Cloud Nativeチートシート（8） Kubernetesやクラウドネイティブをより便利に利用する技術やツールの概要、使い方を凝縮して紹介する連載。今回は、Kubernetesの機能を拡張する「Operator」「CRD」「カスタムコントローラー」について解説します。 ヤフーやサイボウズも使っている、Kubernetesの「Operator」とは Kubernetesでは、「Pod」「ReplicaSet」「Deployment」「Service」などの標準のリソースが用意されていますが、「Operator」を利用すると、独自のリソースを追加してKubernetesを拡張することができます。 Operatorは既に広く利用されています。 世の中の先進企業の例を見ると、ヤフーのKu
typeorm + absurd-sql on Browser のロマン構成
ロマン構成が動いたので紹介します。 コード: https://github.com/mizchi/absurd-sql-example-with-typeorm デモ: https://heuristic-perlman-94f8f4.netlify.app tldr Steam の某クリッカーゲームをやってたら放置ゲーでも作りたい気分になってきた。 複雑なデータを管理するならブラウザ内に本物の sqlite を持ってきたい sqlite は持ってこれたけど TS の中で 生 SQL 書くのがだるかった(補完支援がない)ので ORM でラップしたい Typeorm + absurd-sql の構成を試したら色々大変だったけど動いた つまりブラウザでこのコードが動く。 // ... @Entity() class User { @PrimaryGeneratedColumn() id: nu
go-profiler-notes/guide/README.md at main · DataDog/go-profiler-notes
Introduction: Read This · Mental Model for Go · Profiling vs Tracing Use Cases: Reduce Costs · Reduce Latency · Memory Leaks · Program Hanging · Outages Go Profilers: CPU · Memory · Block · Mutex · Goroutine · ThreadCreate Viewing Profiles: Command Line · Flame Graph · Graph Go Execution Tracer: Timeline View · Derive Profiles Go Metrics: MemStats Other Tools: time · perf · bpftrace Advanced Topic
QUICやHTTP/3で利用を避けるべき送信元ポートの利用状況 | GREE Engineering
どうも、インフラの後藤です。夏休みの自由研究として、HTTP/3について遊んでみたのでよろしくおねがいします。 はじめに HTTP/3はRFC目前となっており、すでに多くのブラウザがサポートし、ミドルウェアも実装が進められています。また、GCPではCloud CDN やHTTPS Load Balancingですでに利用することが出来ます。 HTTP/3は、トランスポートプロトコルにUDPで動作するQUICを利用しています。このQUICは様々な効率化の仕組みが盛り込まれていて、結果としてHTTPプロトコルの高速化が実現されています。 一方で、少ない環境ではあるものの、QUICが利用できないネットワークがあることも知られています。実際に使用する場合に問題になることはなく、多くの場合はHTTP/2にフォールバックされアクセスが行われます。ですが、国内での実情は調査の余地があると思われます。 今
Apple・Beats・Uberの元従業員が集結して”最強のMac用ウェブカメラ”を作ってしまう
Apple・Beats・Uberの元従業員が集結して”最強のMac用ウェブカメラ”を作ってしまう 7.8mmのSony製センサー、f1.8の6枚構成レンズを採用 価格は300ドルで購入は招待制 Apple、Beats、Uberの元従業員が、Mac用のウェブカメラ「Opal C1」を発表した。最大4K@60fps（解像度は4,056 x 3,040）が可能な7.8mmSonyセンサーとf.18の6枚構成レンズを搭載し、「初のプロ向けウェブカメラ」を謳っている。 Opal C1は、他のウェブカメラと比べて2.4倍の明るさ、5倍の解像度を実現しているという。公式サイトでは、300ドルのOpal C1と2,050ドルするSony α7の画質を比較している。Macの内蔵カメラより画質が優れていることは、見るまでもない。 公式サイトの動画比較よりキャプチャ MicMesh搭載により優れたオーディオ体験
RubyKaigi Takeout 2021でしゃべった - たごもりすメモ
RubyKaigi Takeout 2021の途中ではあるけど、とりあえず自分の発表終わったのでメモ。 Ractor's speed is not light-speed from SATOSHI TAGOMORI Ractorをワーカーとして使うアプリケーションサーバを作ったよ! という話なんですが、まあこれは話の入りというかそういうもので、実際の内容の中心はRactorではどういうコードが動かないのか、どうすればよいのか、みたいな話です。 で、Ractorで動かないコードは全体的には直していきたいよねということになると思いますが、そうはいっても動かしてみないと確認もできないじゃんということで、主な問題であるところのWebアプリケーションを実際にRactorの上で動かして確認できるようにしておきましたよ、というのが今回作ったright_speedです。 github.com 本当はRac
AWS CDKにLambda関数を数秒でデプロイするhotswap deployments機能が追加されました
はじめに おはようございます、加藤です。AWS CDKのv1.122.0からhotswap deploymentsという機能が追加されました。 通常cdk deployを実行するとCloudFormationをデプロイしますが、このオプションがONの場合はそうせずにSDKでLambda関数をデプロイします。これによってCloudFormationを実行する時間が発生しないため素早くデプロイを行うことができます。 当然この方法によるデプロイを行うとCloudFormationが管理する状態とドリフトが発生してしまいます。この機能は開発環境で素早くデプロイして動作を確認する為のものであり、本番環境では使用してはいけません。(ドキュメントにも明記されています) hotswap deploymentsは実験的な実装であり今後破壊的な変更が入る可能性があります。 v1.122.0時点でのDocs:
2021年9月10日 Linusもたまには折れる!? "-Werror"問題は「"COMPILE_TEST"有効時」で決着 | gihyo.jp
Linux Daily Topics 2021年9月10日Linusもたまには折れる!? "-Werror"問題は「"COMPILE_TEST"有効時」で決着 次期カーネル「Linux 5.15」の最初のリリース候補（RC1）版は9月12日に出る予定だが、Linusがマージしようとしたある機能 ―カーネルのコンパイラオプション「-Werror」の扱いをめぐって、ちょっとした論争が巻き起こった。 9月5日（米国時間）、Linusはすべてのカーネルビルドにおいて、警告（warnings）をエラーとして処理するフラグ「-Werror」をデフォルトで有効とするパッチをマージした。 kernel/git/torvalds/linux.git -Linux kernel source tree 「我々はつねにクリーンなビルドを実践すべきであり、修正できないような警告なら無効にしたほうがいい」
鍵穴から通したレーザー光だけで部屋の中の物体の輪郭を認識できる技術の開発が進行している
スタンフォード大学の研究チームが鍵穴からレーザー光を通すことで部屋内に存在するオブジェクトの形状を把握する「Keyhole Imaging」を発表しました。実験では、模擬的な部屋内に設置された物体の大まかな輪郭が把握できることが確認されています。 Keyhole Imaging:Non-Line-of-Sight Imaging and Tracking of Moving Objects Along a Single Optical Path | IEEE Journals & Magazine | IEEE Xplore https://ieeexplore.ieee.org/document/9302876 Computational Imaging Keyhole Imaging | IEEE TCI 2021 https://www.computationalimaging.or
GitHub - microsoft/wslg: Enabling the Windows Subsystem for Linux to include support for Wayland and X server related scenarios
WSLg is short for Windows Subsystem for Linux GUI and the purpose of the project is to enable support for running Linux GUI applications (X11 and Wayland) on Windows in a fully integrated desktop experience. WSLg provides an integrated experience for developers, scientists or enthusiasts that prefer or need to run Windows on their PC but also need the ability to run tools or applications which wor
みんなの銀行：日本初の「デジタルバンク」として Google Cloud に勘定系を構築。Cloud Spanner で銀行基幹システムで求められる可用性を実現 | Google Cloud Blog
みんなの銀行：日本初の「デジタルバンク」として Google Cloud に勘定系を構築。Cloud Spanner で銀行基幹システムで求められる可用性を実現 2021 年 5 月にサービス提供を開始した「みんなの銀行」は、デジタル ネイティブ世代をターゲットとしたスマートフォン専業銀行。金融にまつわる煩わしさを排除し、ゼロベースでこれからの銀行に求められる機能を開発・提供していくと打ち出しています。そんな同行の大きな技術的トピックの 1 つが、勘定系システムにパブリッククラウドを採用したこと。これはもちろん国内初*の試みです。ここではサービス開始後の手応えをシステム構築をリードしてきた皆さんにお伺いしました。 利用している Google Cloud ソリューション： Google Cloud Databases、Stream Analytics 利用している Google Cloud
Saga パターン - AWS 規範的ガイダンス
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Saga パターン この saga パターンは、分散アプリケーションの一貫性を確立し、複数のマイクロサービス間のトランザクションを調整してデータの一貫性を維持するのに役立つ障害管理パターンです。マイクロサービスはトランザクションごとにイベントを公開し、イベントの結果に基づいて次のトランザクションが開始されます。トランザクションの成功または失敗に応じて、2 つの異なるパスをたどることができます。 次の図は、saga パターンが AWS Step Functions を使用して注文処理システムを実装する方法を示しています。各ステップ (ProcessPayment「」など) には、プロセスの成功 (「」などUpdateCustomerAccount) または失敗 (Se
悪意のあるアクターがFortiGate SSL-VPNの認証情報を公開
フォーティネットは、悪意のあるアクターが最近、87,000台のFortiGate SSL-VPNデバイスへのSSL-VPNアクセス情報を公開したことを認識しました。これらの認証情報は、アクターがスキャンした時点で FG-IR-18-384 / CVE-2018-13379 に対するパッチが適用されていないままのシステムから取得されたものです。その後パッチが適用されているかもしれませんが、パスワードがリセットされていない場合は、デバイスは脆弱なままです。 このインシデントは、2019年5月に解決された古い脆弱性に関連しています。当時、フォーティネットは PSIRTアドバイザリを発行し、お客様と直接コミュニケーションを取りました。また、お客様のセキュリティは当社の最優先事項であるため、フォーティネットはその後、この問題を詳細に説明する複数のコーポレートブログを発行し、影響を受けるデバイスをアッ
GitHub Enterprise ServerのGitHub Packagesで社内用gemをホストする - Pepabo Tech Portal
カラーミーショップ DXチームのkymmtです。この記事では、GitHub Enterprise Server 3.0以降で利用可能になったGitHub Packagesで社内用のRubyのライブラリ(gem)をホストした事例について紹介します。 概要 GitHub Enterprise Server（以降GHESと呼びます）3.0からGitHub Packagesが利用可能になりました。 GitHub Enterprise Server 3.0を正式リリース - GitHubブログ（太字は筆者による） また、GitHub.comで最も人気のCIツールであるGitHub Actions、GitHub Packagesやソースコードの強力なシークレットスキャンツールを、GitHub Enterprise Serverで使用できるようになりました GitHub Packagesとは、GitHu
Sreake流 SREの始め方
SPI原点回帰論：事業課題とFour Keysの結節点を見出す実践的ソフトウェアプロセス改善 / DevOpsDays Tokyo 2024
Ability to customize reverse DNS for Elastic IP addresses now available in additional regions for Virtual Private Cloud customers
Starting today, the ability to customize reverse DNS for Elastic IP addresses for Virtual Private Clouds (VPC) is available in 16 additional regions. These AWS Regions are US East (N. Virginia), US West (N. California, Oregon), Asia Pacific (Hong Kong, Osaka, Seoul, Singapore, Sydney, Tokyo), Europe (Frankfurt, Ireland, London, Paris, Stockholm), Middle East (Bahrain), and South America (São Paulo
DNS クエリが失敗した原因を特定する
Amazon が提供する DNS サーバーへの DNS クエリが失敗するか、タイムアウトになります。VPC DNS スロットリングが原因で、インスタンスからの DNS クエリが失敗していませんか？ 簡単な説明 Amazon が提供する DNS サーバーは、Elastic Network Interface ごとに 1 秒あたり 1024 パケットの制限を適用します。Amazon が提供する DNS サーバーは、この制限を超えたトラフィックをすべて拒否します。 VPC フローログは、アプリケーションが Amazon が提供する DNS サーバーに送信するトラフィックをキャプチャしません。パケットキャプチャまたはトラフィックミラーリングを使用して、DNS クエリ障害の原因を特定できます。 注:Amazon Route 53 のクエリロギングでは、VPC.2 リゾルバー (AmazonProvi
オブザーバビリティ：その真の意味
オブザーバビリティとは？ オブザーバビリティとは、データの収集と分析を通じてビジネスに関するあらゆる疑問の答えを明らかにしようとするマインドセットを指します。オブザーバビリティとは何かと尋ねると、「システムの出力を調査することによってその内部の状態を監視すること」といった制御理論に基づく無機質な定義を持ち出す人もいれば、「メトリクス、トレース、ログ」という極めて技術的な定義を口にする人もいるでしょう。いずれの答えも正解には違いありませんが、一方で、オブザーバビリティは、単に実装して「このシステムはオブザーバビリティを備えた」と誇らしげに宣言して終わりというものでもありません。ビジネスにオブザーバビリティを取り入れることで、ビジネスに関する疑問の答えを見つけることができるのです。 ビジネスに関する疑問とは？ 「このエラーが急増したときにアプリケーションで何が起こっていたのか？」という初歩的な
Github Issuesをキレイに外部公開するサービス「2go」作ってみた
はじめに 今回初めて個人開発で作ったサービスを公開します。今までも何回かトライしていたのですが、なかなか公開までに至らないうちに、なにか問題にぶちあたったり、時間がかかりすぎて情熱が冷めてしまったりしていたので、今回はまずはスモールスタートで公開して改善していくことを心がけました。大体今回の公開まで、開発を始めてから1ヶ月程度になります。毎日朝4時半に起きて、子どもたちが起きる7時過ぎまでを開発時間として取り組んできました。 どんな人向け？ 自分で作っているサービスの開発ロードマップをユーザーに公開するために、都度ブログを書いたりするのも大変ですよね。もし、自分のサービスのソースコードをGithubで管理していたとして、Github Issuesを見せるとしてもGithubに馴染みのない人にとっては読みにくいですし、外に出すサービスであればあるほど、Githubのレポジトリは非公開になって
中田の質問箱です
みずほ関係者の方でしょうか。連日のように繰り返されるシステム障害とその批判を目の当たりにして疲弊しているのだろうとお察しします。ただ、仰っている内容はどれも妥当性に乏しいので、公言されるとますます批判の声が強まってしまうことが危惧されます。ご自身の反論が有効かどうかを検証する有力な方法は「他の2メガバンクではこのロジックは通用するか？」という考え方です。以下、すべてこのアプローチでご説明します。 まず「銀行リテールの利益は250億円しかなく赤字のこともあるのだから莫大な設備投資をすることは株主にとって妥当ではない」というのは論理が全く逆で、莫大な設備投資をしたのですからもっと稼がなければならないのに稼げていないことが問題なのです。MUFGやSMFGをご覧頂ければ銀行リテールだけでも1,000億円単位で儲けていることがわかるでしょう。しかもシステム統合に要した費用はMUFGで3,300億円、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - cybozu-go/meows: Kubernetes controller for GitHub actions self-hosted runners
TechCrunch
https://twitter.com/shohei_ub/status/1436355723735154691
pt-online-schema-changeがColumn 'xx' cannot be nullで止まる
kata-containers/docs/design/arch-images/katacontainers-e2e-with-bg.jpg at main · kata-containers/kata-containers
Running Docker inside of a LXD container
GitHub Enterprise Server 3.2 brings new color modes and added security capabilities