こんにちは。pixivのnamazuです。 先日開催されたPIXIV DEV MEETUP 2024にて、『pixivというシステムはどんな形をしているのか、それはなぜか。』というテーマで発表をさせていただきました。当日、セッションにご参加いただいた皆さま、そしてフィードバックをいただいた方々に、改めて感謝申し上げます。 Webサービス開発において面白い点の一つは、どのサービスもその要件や状況に応じて異なる選択がなされることです。結果として、類似点がある場合もありますが、細部において同じものはなく、すべてがユニークです。弊社内でもさまざまな違いが見られますが、業界全体を見渡すとさらに多様性が広がっていることでしょう。 今回の発表では、pixivのシステムに関する重要な要件や状況をいくつか取り上げ、現時点でどのような構造になっているかを、インフラストラクチャ、バックエンドアプリケーション、開
nginxのproxy_cache_lockと謎の500ms - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに Cloud Platform部のpddgです。2024年もサマーインターンシップを開催し、プラットフォーム（自社基盤）コースとして2名の方を受け入れました。 昨年の様子は以下からご覧いただけます。興味があれば是非ご覧下さい。 blog.cybozu.io 今回は受け入れたお二方のうち藤本陽人さん（static-fuji）に担当していただいた検証の中で発見したやや直感的でない挙動について、藤本さんによる検証結果を社員がまとめたものになります。 この記事内での検証のほとんどはインターン生である藤本さんによって実施されたものですが、一部社員がインターンシップ完了後にこの記事の執筆のために生成した図等も含まれます。 また、もう一人のインターン生の方にはRustでロードバランサを書くという課題に挑戦していただきました。こちらもインターン生の方に大活躍していただいています。是非ご覧下さい。
無料でGoogleドライブ・FTPなど70以上のストレージサービスに対応しているファイル転送・同期アプリ「Rclone」を使ってみたレビュー
さまざまなクラウドサービスを使っている場合、それぞれのシステムに応じたファイルの転送手段を準備するのは面倒なもの。「Rclone」は70種類以上のストレージサービスに対応しており1つのアプリでほぼ全てのストレージサービスとファイルのやりとりをできるとのことなので、実際に使ってみました。 Rclone https://rclone.org/ RcloneはUNIXコマンドで言うところの「rsync(同期)」「cp(コピー)」「mv(移動)」「mount(マウント)」「ls(ファイル一覧表示)」「ncdu(ディスク使用量確認)」「tree(ディレクトリ構造をツリー表示)」「rm(削除)」「cat(ファイルの中身表示)」の動作が行えるとのこと。 また、「--dry-run」に対応しており事前にコマンドの結果をプレビューすることで重要なファイルを削除してしまうというミスを減らすことが可能となってい
Ubuntu Weekly Topics Ubuntu 24.04（noble）の開発 / 6.8カーネル + lowlatencyとgenericの統合 noble（Ubuntu 24.04）の開発 / 6.8カーネル + lowlatencyとgenericの統合 nobleの開発では、カーネルに関するいろいろな決定が行われています。まず重要なのは、利用するカーネルが6.8になることがほぼ確定したことです。 これは、Linuxに詳しい人にとってはやや不思議な決定に見えるかもしれません。最新の（Linux的な）Longtermカーネルは6.6で、タイミング的にあきらかに6.8は通常リリースとなるためです。 しかし、これそのものはそこまで驚くことではありません。Linux側のLongtermカーネルのサポート期間は基本的には（現在のところは）3年であり、24.04 LTSで提供される予定の
ちょっとした疑問を放置せずに調査をして解消したら思わぬところで役に立ったという話の共有です。主な対象読者は、IT技術者として成長したいなと思いつつも、どこから初めていいやら困っている人、腰を据えて書籍を読んだりして体系的な知識を身に着けるのとは別の手段があればいいなと思っているような方です。 本記事は以下動画のテキスト版のようなものです。既にこの動画を見た方は新しいことは書いていないので、とくに見なくていいと思います。 前置き ソフトウェア開発者として生きていると日々大小さまざまな疑問に遭遇します。これらの疑問を「まあそういうこともある」と全部放置してはいないでしょうか。本記事は、この手の疑問をちょっと調べて解消したところスカっとして、さらにその後に思いもよらぬところで役立ち、さらにスカっとしたという経験談を共有するというものです。こういう方法が自分にも合ってそうと思うかたは試してみてくだ
Linux Daily Topics Debian 12ベースの仮想化プラットフォーム「Proxmox VE 8.1」がリリース、セキュアブートをサポート Proxmox Server Solutionsは11月23日（オーストリア時間）、オープンソースの仮想化プラットフォーム「Proxmox Virtual Environment（VE）」の最新リリース「Proxmox VE 8.1」をリリースした。ベースとなっているのはDebian 12.2だが、カーネルにはLinux 6.5を採用しているほか、QEMU 8.1.2やLXC 5.0、OpenZFS 2.2.0など最新のオープンソーステクノロジを数多く実装している。 Proxmox Virtual Environment 8.1 with Software-Defined Network and Secure Boot Pr
この記事は Linux kernelのfalult injection機能の(特にNVMe SSDに関連する部分について) ソースを読んだり、実際に使ってみたりする記事のうちの一つ 記事一覧 その1：fault injectionってなあに ★今回はこれ その2：fault injection機能が埋まっている箇所のソースを読む その3：NVMe SSDにfault injectionしてみる (順次追加予定) 事の始まり Kernel/VM探検隊@北陸 Part 6 - connpassへ参加してきた satさんのセッションでは、タイトルである 「device mapperによるディスクI/O障害のエミュレーション」のほか、 それ以外のディスクI/O障害のエミュレーションの手法についても簡単な紹介があった そもそも、kernel/driverに自分でデバッグコード埋め込まなくてもそんなこ
【2024年04月版】Apple silicon (M1/M2/M3) で x86 のOSを動かす方法【UTM】 - Qiita
はじめに M3 Macで、x86のOSを動かしたいなとおもったので、UTMでやってみたメモ UTM とは UTM 仮想マシン(VM)をMac上で実行するためのツールです。UTMを使うと、Windows、Linux、さらにはAndroidのような他のオペレーティングシステムをmacOS内で起動し、利用することができます。UTMはQEMUというオープンソースの仮想化ソフトウェアをベースにしており、ARMおよびx86アーキテクチャの仮想マシンをサポートしています。 UTMでの「エミュレーション」は、コンピュータ上で異なるアーキテクチャのプロセッサを模倣（エミュレート）し、そのプロセッサ用に作成されたソフトウェアを実行するプロセスを指します。エミュレーションによって、例えばARMベースのMac（Apple Siliconを搭載したMac）で、本来はIntel x86アーキテクチャ専用のオペレーティ
Ubuntu Weekly Topics MicroCloudのリリース、Ubuntu 24.04（noble）の開発 / Netplan 1.0（予定） MicroCloudのリリース Canonicalから、LXDやSnapを駆使した仮想マシンファーム構築ソフトウェアである「MicroCloud」をリリース（GA）したことが発表されています[1]。 MicroCloudは仮想マシンを「柔軟かつ高耐久性を実現した状態で」提供できるようにするものです。3台の物理マシンを用い、「どのマシンで動作しているのか」を意識しない形で（OVNもしくはFanによる仮想ネットワーク機能付きで）仮想マシンを起動していくことができるというソフトウェアです。 MicroCloudのコアとして動作するのは実質的にはLXD Clusterで、「Snap版のCephとOVNを用いて、LXD Clusterを簡
High-speed 10Gbps full-mesh network based on USB4 for just $47.98
As a software engineer, software is part of your job title; thus, it almost feels like you should only know software. However, in the decades of building software, I realized that gaining knowledge about hardware is equally important to learning code. Although I might never be as good as an expert in hardware, I want to expand myself beyond just software. So, I never shy away from getting my hands
TerraformとAnsibleで作るさくらのクラウドのKubernetesクラスタ | さくらのナレッジ
CAMPHOR-の上田蒼一朗です。今回は「TerraformとAnsibleで作るさくらのクラウドのKubernetesクラスタ」というテーマでお話しします。よろしくお願いします。 まず自己紹介です。上田蒼一朗と申します。今年から京都大学の大学院生としてやっています。昨年度(2023年度)、未踏スーパークリエータに認定されました。技術領域としては、低レイヤとかインフラとかウェブとか、いろいろ好きで、結構何でもやるという感じです。CAMPHOR-では、これからお話しするKubernetesクラスタの運用をやっていたり、他にもいろいろとソフトウェアの管理をしていたりします。 CAMPHOR-とは まずCAMPHOR-(かんふぁー)がどういう組織なのかを軽くご紹介しようと思います。 CAMPHOR-というのは京都のIT系の学生コミュニティなのですが、京都の古民家を拠点にしているというのが特徴にな
Proxmoxを触ってみた - 仮想化通信
VMware vSphere代替探索ということで、前回はXenServerを触ってみました。 tech.virtualtech.jp 今回はProxmoxを触ってみます。 Proxmoxの概要 ProxmoxはDebianベースのLinux KVMベースの仮想化プラットフォームソフトウェアです。 GUIを使った仮想マシン管理ができる点は、ESXiをWebクライアントで操作している感じに似ています。 特別なソフトウェアをインストールすることなく、ブラウザーだけで仮想マシン環境の管理ができる点が優れています。 有償ライセンス版もありますが、無料でも利用制限なく利用できます。 インストーラーは専用のものが用意されています。 基本的に画面の指示に従って設定を入力していく感じでインストールできました。 インストール後再起動すると、画面に表示されているURLにブラウザーでProxmoxにアクセスできま
LattePanda Mu, a Micro x86 Compute Module with Intel N100 Processor which can run Windows and Linux.
NAS Carrier Freely allocate the interfaces and form factors you need in the carrier board design. Design an ultra-energy-saving NAS, or a high-performance NAS equipped with a 10GbE network. The IBECC-supported LattePanda Mu can run stably for a long time like a real server. Router Carrier With the excellent processing and encryption/decryption performance of the N100 processor, you can expand mult
ProxmoxVEのインストール
この記事で実現すること 個人ユーザーでも手軽に始められる仮想環境のProxmox VE8.1のインストールを行います。セットアップは非常に簡単ですが、ポイントを絞って解説していきます。 Proxmox VEとはProxmox VEは、Debianベースのオープンソース仮想プラットフォームです。LinuxのKVMベースの仮装化とLXCのコンテナに対応しています。KVMはLinuxの一部であり、正統なハイパーバイザーにかなり近いですが、Linuxの中間型ともいえ、メモリ管理はあくまでLinuxとして行われるのが特徴です。Linuxにより近いことでパフォーマンスのボトルネックが少ないとも言えます。一方、セキュリティなどVMの独立性というセキュリティの面では正統なハイパーバイザーよりは劣ります。 KVMはかなりPC寄りでコマンド中心の管理となり、何らかのGUIツールと組み合わせて利用されることが一
I Solve Problems
Addendum: during the event, I was interviewed by Jason Tubnor for the BSD Now Podcast, where I provided further information about the talk and the BSD Cafe project. Here is the link to the episode This is the text underlying my presentation at EuroBSDCon 2024, on 21 September 2024, in Dublin, Ireland. The slides can be downloaded here The video, not yet separated from the live stream, can be viewe
[レポート]Road to SRE NEXT 2024@福岡に参加してきた #srenext | DevelopersIO
SRE NEXT 2024について 信頼性に関するプラクティスに深い関心を持つエンジニアのためのカンファレンス「SRE NEXT 2024」が2024年8月3日〜4日の2日間にわたってAbema Towersで開催されます。 この「SRE NEXT」のプレイベントとして、仙台、京都、広島など日本全国各地で「Road to SRE NEXT」が予定されており、5月24日(金)に福岡@GMOペパボで初回イベントが開催されました。 地元開催ということで参加してきたので、簡単にレポートします。 SRE NEXTオーガナイザーの @shotaTsuge さんと @ryuichi_1208 さんの挨拶からイベントは始まりました。 参加ー #srenext pic.twitter.com/CuhWI6r0Ue — L I N Y O W S (@linyows) May 24, 2024 セッションは幅
![[レポート]Road to SRE NEXT 2024@福岡に参加してきた #srenext | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/012f39d37dbd0c7c4206ae791a508cdf643605e3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F05%2Feyecatch_srenext.png)
OpenShift Virtualization(Kubevirt)でVM管理もCloud Nativeに - 赤帽エンジニアブログ
こんにちは、Red Hatでソリューションアーキテクトをしている石川です。 今回はOpenShift上でVMを構築し管理するOpenShift Virtualizationについて紹介したいと思います。 OpenShift VirtualizationはOSSのKubevirtをOpenShiftの機能の一つとして提供しているものです。 Kubevirtは2016年にRed Hatがプロジェクトを開始しOSSとして公開され、その後CNCFプロジェクトの一部となりました。現在はCNCFの中でIncubatingプロジェクトの一つとして位置付けられています。 そんなKubevirtですが今年に入り7月にバージョン1.0がリリースされました。 OSSプロジェクトとして安定、成熟してきており、ユーザーとしてもAppleやGoldman Sachs、NVIDIAなどの企業が名前を連ねています。 今年
Noble Numbat Release Notes Table of Contents Introduction New features in 24.04 LTS Known Issues Official flavours More information Introduction These release notes for Ubuntu 24.04 LTS (Noble Numbat) provide an overview of the release and document the known issues with Ubuntu and its flavours. Support lifespan Ubuntu 24.04 LTS will be supported for 5 years until June 2029. If you need Long Term S
proxmox.md ProxMox Cluster - Soup-to-Nutz aka what i did to get from nothing to done. note: these are designed to be primarily a re-install guide for myself (writing things down helps me memorize the knowledge), as such don't take any of this on blind faith - some areas are well tested and the docs are very robust, some items, less so). YMMV Purpose of Proxmox cluster project Required Outomces of
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pixivというシステムはどんな形をしているのか、それはなぜか。 - pixiv inside
Ubuntu 24.04（noble）の開発 / 6.8カーネル + lowlatencyとgenericの統合 | gihyo.jp
小さな疑問を大事にしたら次に繋がった話
Debian 12ベースの仮想化プラットフォーム「Proxmox VE 8.1」がリリース、セキュアブートをサポート | gihyo.jp
fault injectionってなあに - 魚を煮るとおいしい
MicroCloudのリリース、Ubuntu 24.04（noble）の開発 / Netplan 1.0（予定） | gihyo.jp
Ubuntu 24.04 LTS (Noble Numbat) Release Notes
proxmox cluster proof of concept