こんにちは！ シェルフィー株式会社で SRE を担当している石田です。 弊社では、本番のワークロードにて Fluent Bit を使っております。 今回、Fluent Bitの処理について理解を深めたので記事を書いてみました。 世界中で使われているとても有名なミドルウェアなので、参考になればとても嬉しいです。 はじめに 弊社では、ECS on Fargate で稼働しているバッチジョブのログをサイドカーコンテナ（Fluent Bit）を使い Datadog に連携しています。 ログのサイズが 16 KB 以上ある場合、shim-logger の仕様により、そのログは分割されてしまうため、 Fluent Bitにて分割されたログの再結合処理を行う必要性があります。 この点についてはDeNAさんの記事がわかりやすいので、詳細はそちらを参考にしてもらえたらと思います。 AWS ECS on Fa

えにしテック15周年記念カンファレンスの発表資料です。 https://enishi-tech-15th-anniv-conf.peatix.com/ 資料中で参照しているURLは以下です: https://github.com/rails/rails/milestone/87 https:…

ところてん @tokoroten 株式会社NextInt 代表 著書「ChatGPT攻略」 共著「仕事ではじめる機械学習」「データサイエンティスト養成読本 ビジネス活用編」 データ分析、コンサル、ゲームディレクター、技術顧問、企業での研修・講演などで出稼ぎ労働中。 お仕事相談はDMからどうぞ。 nextint.co.jp slideshare.net/TokorotenNakay…

2024/06/29、開発生産性カンファレンス2024での登壇発表資料です。 https://dev-productivity-con.findy-code.io/2024?m=2024/m/Z8HnzjZb

Windows 11を使っていると、スタートメニューやエクスプローラー、ロック画面などいたるところにMicrosoftの広告や推奨事項が表示されます。PCで使うアプリやサービスを自分で決めたい人にとっては全くもって不要な広告ばかりなので、非表示にする方法をまとめてみました。 How to Disable Microsoft's Ads and Recommendations in Windows 11 https://www.howtogeek.com/how-to-disable-microsofts-ads-and-recommendations-in-windows-11/ ・目次 ◆1：スタートメニューからアプリの広告を削除 ◆2：エクスプローラーからOneDriveの広告を削除 ◆3：ロック画面からMicrosoft製品の広告を削除 ◆4：Microsoftへのデータ送信を無効化

こんにちは。技術部プラットフォームグループのharukinです。 この記事では、私たちが提供するネットショップ作成・運用のためのECプラットフォーム「カラーミーショップ」のデータベースを、Amazon RDSのブルー/グリーンデプロイを利用し、MySQLのバージョン5.7.38から8.0.35へアップグレードした経験についてご紹介します。カラーミーショップにおいてはこれが初の試みでした。Amazon RDS固有のファーストタッチレイテンシーの解除方法や、ダウンタイム時間の計測についてもお伝えします。 Amazon RDSのブルー/グリーンデプロイを活用するメリットは、本番環境に準ずるステージング環境を構築し事前検証が可能であることです。ステージング環境は約1分で本番環境に昇格させることができ、昇格時に許容ダウンタイムを超えたり、レプリケーションやインスタンスの問題が生じた場合は、自動的にプ

昨年NewsPicks さんに取り上げてもらって最近動画が公開されました。そこでもお話させてもらっていることなのですが、アメリカで働きはじめると日本人からすると「納期が無い」感覚が物凄く衝撃的だった。 最近、納期が無いことと生産性について頭の中で整理がついてきたのでシェアしておこうと思う。ちなみに、動画も含めて、私の発言は私の体験と意見であり、所属会社には全く関係が無いことを改めてお断りしておきます。 日米納期の感覚の違い　アメリカで働いていると、日本人からすると納期がほとんどないという感じを受ける。もちろん納期があるものもあるが「本当に必要なもの」に限られる。例えば、大きなカンファレンスで何かの製品を発表するとかそんなのだと納期はもちろんある。そうでなれけばほとんど無いという感覚だ。私の所属会社だけではなく、北米の他の会社の人も同じような感覚らしいので文化によるものだと思う。 常に納期が

YAPC::Hiroshima 2024での、awkによるWebアプリケーションの実装方法について紹介した発表の資料です。 元となった実装は https://github.com/yammerjp/awkblog にあります。 デモアプリケーションは https://awkblog.net にあります。

by pilot_micha 今日のコンピュータープログラムでは小文字や大文字を区別しつつ入力することがありますが、コンピューターの誕生当時はプログラムの入力に全て大文字を使っていました。その理由について、さまざまなユーザーが解説を行っています。 graphics - Why did older computers and OSes use UPPER case instead of lower case? - Retrocomputing Stack Exchange https://retrocomputing.stackexchange.com/questions/28141/why-did-older-computers-and-oses-use-upper-case-instead-of-lower-case IT技術系Q＆AコミュニティのStack Overflowにおいて、m

これは、多数派が支配すべきだという意味ではない。委員会によって設計されたアーキテクチャは、肥大化し、焦点が定まらない傾向がある。私たちの経験では、理想的なバランスとは、多様な経験と視点を持つ数人の仲間が、より良い情報に基づいた決定を下すために、主張に異議を唱えることである。 再利用の目標が誤った決定を左右するようなことがあってはならない。その代わり、再利用は理にかなった場合のみ行うこと。 コード、コンポーネント、設計、あるいはコンフィギュレーションの再利用は、最初は良いアイディアのように聞こえる。経営陣は、再利用によってコストが削減され、納期が短縮され、品質が向上すると信じて、このコンセプトを推進したがる。チームは、MVPをより早く提供するために既存のアプリケーションの大部分を再利用することを決定するかもしれないし、かなり成功した製品を提供するために作成された既存のアーキテクチャを再利用す

はじめに こんにちは！chiroruです！先日開催されたCloudNative Days Tokyo 2023に、今年も技術部プラットフォームグループ(以下PFG)のメンバーが参加しました。この記事では、そのイベントレポートをお届けします。 CloudNative Days Tokyoとは CloudNative Daysは、クラウドネイティブコミュニティの有志によって主催されている技術カンファレンスです。今年も、オンラインとオフラインのハイブリッドでの開催でした。 参加した感想 それぞれのメンバーから、イベントに参加しトークを聞いた感想を紹介します。 shibatch まずこの場で、イベントの企画、運営に携わったすべての皆様に感謝申し上げます！これまでもオンラインのイベントには参加経験がありましたが、リアルイベントに参加するのは今回が初めてでした。自身の仕事に直接関連する内容が多く、他社

はじめに 分散システムの設計および開発において、キャッシュはパフォーマンス向上のための非常に重要な要素です。頻繁にアクセスされるデータをキャッシュすることで、アクセス速度が遅いデータベースへのアクセスを削減し、データへの迅速なアクセスを可能にします。これにより、システムの全体的な効率とパフォーマンスが向上します。 しかし、キャッシュは慎重に設計しないとむしろパフォーマンス上のデメリットになるケースが存在します。 この記事ではよく遭遇するキャッシュ設計の問題とその回避策について解説します。 Cache penetration DBに存在しない値を検索したときに、DBから返された空の結果をキャッシュしない場合に発生するシナリオです。 このシナリオではDBに存在しない値を繰り返し検索することにより、その値がキャッシュされていないため検索ごとにDBへのアクセスが必要になってしまいます。 存在しない

impl<T, E> Result<T, E> { /// ```should_panic /// let x: Result<u32, &str> = Err("emergency failure"); /// x.unwrap(); // panics with `emergency failure` /// ``` #[inline] #[track_caller] #[stable(feature = "rust1", since = "1.0.0")] pub fn unwrap(self) -> T where E: fmt::Debug, { match self { Ok(t) => t, Err(e) => unwrap_failed("called `Result::unwrap()` on an `Err` value", &e), } } prelude impor

【IIJ 2023 TECHアドベントカレンダー 12/16の記事です】 この記事について 背景：TCP はコンピュータネットワークの通信において広く利用されているプロトコル・標準化された通信規格です。コンピュータは TCP/IP スタックと呼ばれるようなソフトウェアを実行することで、定められた規格に則って通信を行います。汎用 OS 環境では、TCP/IP スタックは多くの場合、カーネル空間に OS 機能の一部として実装されています。 課題：通信に関するソフトウェアの研究コミュニティでは、そのようなカーネル空間に実装されている TCP/IP スタックは、近年の高速な NIC の性能を十分に引き出すことが難しいという課題が指摘されてきました。 テクニックの紹介：当記事では、近年の研究コミュニティにおいて比較的一般的な高速化テクニックとされている「カーネルをバイパス（迂回）して TCP 通信を

こんにちは。技術部プラットフォームグループのharukinです。 今回は、NGINXのngx_http_limit_req_moduleでの$binary_remote_addrを使用して、IPアドレス単位のレートリミットを設定した話をします。NGINXへの理解が浅い状況から、データに基づく統計手法を用いて通常リクエストと異なるリクエストを見分ける方法を探っていく過程についてもご紹介します。 これは🎄GMOペパボエンジニア Advent Calendar 2023の15日目の記事です。 背景 やったこと 当初のNGINXの理解 NGINXの理解の進展 適切なrateとburstの値を考える 標準偏差を活用してrateとburstの値を決定 どういった効果があったか まとめ 背景 私たちのサービスでは、一般ユーザーの商品購入リクエストとは異なる、機械的で短期間に集中するようなリクエストをブ

iPhone15シリーズでは、これまでのLightningポートからUSB-Cポートへと変更され、USB-CケーブルやUSB-C対応モバイルバッテリーが使えるようになりました。 しかしサードパーティーが販売している既存のモバイルバッテリーの一部商品が、iPhone15シリーズを充電できないとの報告が相次いでいます。 ■3行で分かる、この記事のポイント 1. 既存のUSB-CモバイルバッテリーでiPhone15シリーズが充電できないとの報告が相次ぐ。 2. iPhone15シリーズの双方向充電機能が原因である可能性。 3. iPhone15用に新たにUSB-Cモバイルバッテリーを購入するなら注意が必要。 原因はiPhone15の双方向充電機能か ただしすべてのUSB-Cモバイルバッテリーが、iPhone15シリーズと互換性がないという訳ではありません。 米メディアMacRumorsは一部US

ペパボのテックカンファレンスで話しました。

CI/CD Conference 2023から、GMOペパボのSREが仮想マシンとKubernetesが混在する環境におけるCI/CDの課題と解決策を解説したセッションを紹介する。 CI/CDに特化したカンファレンスCI/CD Conference 2023から、GMOペパボ株式会社のSREが解説する仮想マシンとKubernetesが混在した環境でのCI/CDの改善について解説するセッションを紹介する。プレゼンテーションを担当したのは2021年にGMOペパボに中途で入社したSREの渡部龍一氏だ。 ●動画：インフラCI/CDの継続的改善の道のり セッション開始から約8分は自己紹介と自社紹介に使われており、実質的なシステムの解説は以下のスライドから始まった。今回はスライドが別資料として公開されており、そこから引用している。 ●参考（発表資料）：インフラCI/CD継続的改善の道のり

こんにちは。最近、ピストのチェーンを 和泉チエン TOUGH GUARD に替えて、ご機嫌な原口です。 ホスティング事業部の MRE（Messaging Reliability Engineering ＊ペパボの造語です）というチームで、 SRE ような取り組みを、DNS やメールなどのメッセージングサービスに対して実施しています。 今回は、弊社のホスティングサービスで提供しているメールシステムについてご紹介いたします。 メールシステム構成 弊社のホスティングサービスで提供しているメールシステムは、運用効率化やメールサーバー リプレイス時のダウンタイム削減のため、リバースプロキシを導入しています。 このリバースプロキシについては、過去、dovecot や Courier-IMAP などを利用していましたが、 現在は Nginx に変更しています。メールシステムで Nginx を利用している

はじめに　当記事を開いてくださりありがとうございます。私は表題の通り、私は一般にメガベンチャーと呼ばれる自社開発企業で機械学習エンジニアとして勤務しはじめてからわずか半年で、鬱を発症し退職することになったものです。この会社は待遇も良く、社風としても労働者思いのとても素晴らしい会社であったと私自身振り返って思います。 そんな会社に運よく入社することができた私ですが、わずか半年で「鬱状態」と心療内科から診断を受け休職し、会社制度により退職することになりました。「え？そんなに素晴らしい環境なのにメンタル弱すぎでは？」と思われる方もいらっしゃることでしょう。返す言葉が全くありません。おっしゃる通りです。 しかし同時に、「何故鬱になったの？」と思われる方もいらっしゃるのではないでしょうか。本記事ではこの点について鬱を発症した本人の目線から「どうしてそんなことが起きてしまったのか」という点について考察