Postfixのログ監視で注意すべきSMTPのステータス仕様について - Hatena Developer Blog
システムプラットフォームチーム SREのid:MysticDollです。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の5月号です。先月分は id:heleeen さんの Mackerel で行った障害対応演習を紹介します でした。 先月 Platform Engineering Meetup #8 にて 「はてなにおけるメール基盤とDMARC対応」というタイトルで登壇させて頂きました。 speakerdeck.com この記事では資料では紹介しきれなかった、メール送信基盤の監視で気をつけるべきSMTPのステータスの仕様とそれらを踏まえた監視方法について紹介します。 メールのステータス形式 SMTP Reply Code 1桁目 2桁目 3桁目 DSN 1つ目 2つ目 3つ目 Postfixのログからのエラーのメトリクス化 まとめ メールのステータス形式 SMTPにお
Mackerel で行った障害対応演習を紹介します - Hatena Developer Blog
こんにちは、Mackerel チーム SRE の id:heleeen です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の4月号で、先月分は id:taxintt さんのサービスの一般公開前からSLI/SLOと向き合うです。 今回は、先日 Mackerel チームで行った障害対応演習で実施した内容と、どのような学びを得たかについて紹介します。 本番障害はできればなくしたいものですが、すべての障害を完全になくし可用性を100%にするのはとても困難です。そのため、障害が発生したときの影響範囲を小さくする仕組みを導入したり、ロールバックを素早く行えるようにしておくなど、影響を抑えるための取り組みが必要になります。 Mackerel では、その一環として、障害対応時のオペレーションの確認やバックアップからの復旧が行えるかの検証などの起きてしまった障害を素早く収束させたり、
はてなブログの DB を RDS for MySQL 8.0 にアップグレードした話 - Hatena Developer Blog
この記事は、はてなエンジニア Advent Calendar 2023の2024年1月17日の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog id:hagihala です。先日、はてなブログの DB を RDS for MySQL 5.7 から 8.0 へアップグレードしたので、工夫した点などを共有します。 Aurora MySQL 3.x にしなかった理由 MySQL 5.7 -> 8.0 で対応した変更点 character set や collation のデフォルトが変更される explicit_defaults_for_timestamp がデフォルトで有効になる SQL mode の変更 デフォルトの認証プラグインが caching_sha2_password になり、 mysql_native_passw
新卒研修として開発した「はてなピアスター」がSlack活用アワードで優勝しました - Hatena Developer Blog
こんにちは、id:arthur-1 です。Mackerel 開発チームでアプリケーションエンジニアをしています。2022年4月に新卒入社しました。 入社時のエンジニア研修の一環で、2022年の新卒エンジニア4人で「はてなピアスター」という社内向け Slack アプリを5日間で企画・開発しました。 現在でもこの Slack アプリが社内で利用されており、スタッフ同士が気軽に感謝や称賛を贈り合うオンライン上の新たなコミュニケーション機会を創出しています。 はてなピアスター＝ピアボーナス＋はてなスター はてなピアスターは、従業員同士で報酬を送り合う「ピアボーナス」という仕組みと、記事やコメントにスターをつけて気持ちを表現できる自社サービスの「はてなスター」を掛け合わせて生まれました。Slack アプリから、他のはてなスタッフに対して感謝のコメントを添えてスターを贈ることができます。 Slack
はてなブックマークで利用しているCloudFrontのAWSアカウントを移行した - Hatena Developer Blog
こんにちは、id:cohalzです。2023年4月に実施したはてなブックマークのメンテナンスではCloudFrontを別のAWSアカウントに移行しました。 この記事ではCloudFrontを別のAWSアカウントに移行した背景とどのように移行したのかを説明します。 はてなブックマークのインフラのこれまで 移行したいモチベーションが出てきた理由 切り替えで設定が変わらないように気を付ける キャッシュポリシーに移行する 移行方法について検討する AWS CLIでCloudFrontを移行する手順を作成する アクセスログを配送する部分も移行する まとめ はてなブックマークのインフラのこれまで はてなブックマークのインフラはこのようにCloudFrontと関連リソースだけ別のAWSアカウントで利用していました。 移行前 この状況になっていた経緯をまず説明すると、はてなブックマークでは2018年からオ
はてなインターン応募クイズ - Hatena Developer Blog
こんにちは！2012年にはてなインターンに参加し、その後社員として入社、現在はチーフエンジニアの id:cockscomb です。 はてなのインターンシップでは、この数年、応募時に課題を課しています。この課題を「応募クイズ」と呼んでいます。 応募クイズは、技術に関するちょっとしたクイズです。まずは実際のクイズを紹介します。 応募クイズの歴史 2020年 Docker 2020年の応募クイズは、募集サイトに示された docker run を実行するものでした。実行すると、対話型のCUIプログラムが起動します。質問に答えていくと、最後にトークンが発行され、これを応募時に提出します。トークンの正体はJSON Web Token (JWT)で、質問に対する回答が記録されています。 Dockerが使えると解けるという、単純な課題でした。 2021年 Webインスペクタ 2021年は募集サイトに「We
RDS移行の影響をひと目で確認できるダッシュボードをMackerelで作成した - Hatena Developer Blog
こんにちは、ブログチームでエンジニアをしている id:Furutsuki です。ブログチームでは長らくEC2上でMySQLを運用していましたが、種々の理由により2021年末から2022年中盤にかけて、このデータベースをAmazon RDSに移行しました。 移行にあたって、新旧のデータベースやサービスの様子を一覧できる“RDS化ダッシュボード”をMackerelで作成しました。チームでは日常的な監視にダッシュボードを活用していますが、個人的にダッシュボードを一から作ったのは初めてだったので、このダッシュボードの配置や狙いについて書いてみようと思います。 RDS化ダッシュボードの全体像 サービスの状態を確認するコーナーの詳細 DBの様子の変遷を確認するコーナーの詳細 皆さんのダッシュボードを教えてください！ RDS化ダッシュボードの全体像 まずはダッシュボード全体をご覧ください。 こうして画像
突撃! 隣のLinuxデスクトップ - Hatena Developer Blog
この記事は はてなエンジニア Advent Calendar 2022 16日目のエントリーです。 こんにちは、Webアプリケーションエンジニアの id:masawada です。過去のAdvent CalendarでLinuxデスクトップを業務利用している記事を書きまして*1、そこから早いもので3年経ちました。当初はこのころからの差分でも書こうかと考えていたのですが、書き出してみると案外大きな変化はなくネタとしてイマイチ面白みに欠けるので企画を練り直すことに。(裏返せば十分に安定して利用できているということで、それはそれでありがたいのですが!) 考えているうちに、そういえば社内でLinuxデスクトップを利用している他のエンジニアはどんな環境で作業しているのかな? と気になったのでアンケートをとってみることにしました。 アンケートの方法 以下の項目でGoogle Formを用意しました。 業
はてなスターのひみつ - Hatena Developer Blog
ハッピーホリデー！id:cockscombです。この記事ははてなエンジニアAdvent Calendarの8日目のエントリです。 今年1月、はてなスターのリニューアルを行いました。リニューアルの内容は告知をご参照ください。 はてなスターのリニューアルでは、クロスオリジンの問題を解決するために特別な実装をしています。今回は、ホリデーシーズンをお祝いして、そのひみつを詳 (つまび)らかにします。 はてなスターとクロスオリジン はてなスターは、はてなブログなどに埋め込んで利用されます。はてなブログは hatenablog.com や hatenadiary.jp などのサブドメインを利用しており、さらにはてなブログProでは独自のドメインを設定できます。 はてなスターは複数の異なるドメイン名のサイトから利用される、ということです。 要するにはてなスターはクロスオリジンで利用されます。一方ではてな
AWS JumpStart for NewGradsで、はてな新卒エンジニアがクラウドアーキテクチャ設計に取り組んできた - Hatena Developer Blog
アマゾン ウェブ サービス ジャパン合同会社の主催するAWS JumpStart for NewGradsという新卒向け研修の案内をいただき、id:momochi29とid:arthur-1の2名が参加しました。本エントリでは、このイベントではてなの新卒エンジニアが何を学んできたのかを紹介します。 AWS JumpStart for NewGradsとはどんな研修か アーキテクチャを3日間で検討する 1日目 - 設計の土台となる議論を深めることに集中 2日目 - 各自が素案を作成して比較 3日目 - 実装コストを重視してアーキテクチャを決定 アーキテクチャ設計で工夫したこと 画像をセキュアに配信する リアルタイム性を実現する 研修の振り返り 最後に AWS JumpStart for NewGradsとはどんな研修か AWS JumpStart for NewGradsとは、クラウドアーキ
中途入社エンジニアが体験した、はてなにおけるオンボーディングの実例 - Hatena Developer Blog
こんにちは。マンガアプリチームのiOS/Androidエンジニアid:tokizuohです。今年の5月に中途入社しました。本記事では、私がはてな入社後に受けたプロジェクトチームのオンボーディングについて振り返ります。 本記事の目的は、はてなのエンジニア受け入れ体制の事例を共有することです。業界的にもオンボーディングに関する記事はまだまだ少ないと感じていて、より良いオンボーディングを行うことができるように情報共有の一環として執筆しました。 本記事では、 新規加入者がチームに馴染むための施策のことを、オンボーディングと定義します。具体的な期間は、入社してから、プロジェクトのGitHubリポジトリに初めてプルリクエストを送るまでとします。ゴールを作ることはモチベーションに直結すると考えているため、プルリクエストの作成を明示的にゴールとします。 1. 受け入れ担当によるオンボーディングの説明 2.
新卒入社後、だいぶWeb技術と仲良くなったと思う | はてなで働く anatofuz にアンケート [#19] - Hatena Developer Blog
はてなで働くエンジニアにアンケートシリーズ第19回は、2021年に新卒入社したノベルチームのWebアプリケーションエンジニア、id:anatofuzに話を聞きました。 はてなインターンの“途中退場”が心残りで Webには明るくなかったが、だいぶWeb技術と仲良くなった 「マルチ師匠制度」でチームのエンジニアがそれぞれ師匠に 真の意味でインターネットが好きな人がそろっている はてなインターンの“途中退場”が心残りで ── Q. はてなidとその由来を教えてください id:anatofuzです。はてなidは全部小文字ですが、Twitterでは @AnaTofuZ と大文字が混じっています。なぜ表記揺れが発生したのかについては、もはや定かではありません。 もともとTwitterのアカウント名が「豆腐屋アナグラ」だったので、そこからAnaとTofuを取っていて、Zはなんかカッコいいから入れました。
![新卒入社後、だいぶWeb技術と仲良くなったと思う | はてなで働く anatofuz にアンケート [#19] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/932ae73d4fc2d11c2b7a0bb2d245ad0c90dbd5a2/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fa%2Fanatofuz%2F20220307%2F20220307144550.jpg)
「はてラボ」のサービスも利用しているEKSクラスタの構成と運用について - Hatena Developer Blog
プラットフォームチームでSREをしている id:masayosu です。 プラットフォームチームでは、はてなのサービスの基盤となるサービスを開発・運用しています。 さらに、はてラボ（はてなアンテナ、はてな匿名ダイアリーなど）も担当しています。 これらはAmazon EKS（Elastic Kubernetes Service）というマネージドコンテナサービス上で、マルチテナントなクラスタとして運用されています。 EKSは2年前から運用を始め、現在は30近いサービスがクラスタ上で動作しています。 この記事ではEKS周辺の構成と、EKSを維持する運用について紹介します。 EKSクラスタの全体構成 EKS全体の構成は、以下の図のようになっています。 図の登場人物について簡単に説明します。 AWS EKS AWSのAmazon EKSは、マネージドなKubernetesサービスです。 Kubern
バッチ処理における冪等性の検討 ─ クラウドネイティブもしくは、はてなダイアリーの自動移行を題材に - Hatena Developer Blog
アプリケーションエンジニアのid:tkzwtksです。今回はバッチ処理の冪等性（べきとうせい、idempotence）について、どう考えるか／考えてきたかをご紹介します。 このエントリを書くきっかけとなったのは、はてなエンジニア有志で定期的に開催しているCloudNative推進会です。ここでは、社内のシステムをクラウドネイティブにしていくため「クラウドネイティブなシステムとはどういうものか？」を考えており、この会での「クラウドネイティブなバッチ処理」の議論も踏まえつつ説明していきます。 バッチ処理における冪等性とは メッセージ送信の信頼性を考慮する クラウドネイティブで可用性を高めるために どのような場合に冪等性を考慮すべきか 冪等な実装における3つのケーススタディ ケース1: n分前までに更新されたレコードを集計する ケース2: DB上の対象レコードを更新する ケース3: 対象ユーザー
11月25日(木)に Hatena Engineer Seminar #17 はてラボの裏側編 をオンラインで開催します - Hatena Developer Blog
こんにちは. はてなWebアプリケーションエンジニアの id:papix です. このたび, 今年4月に開催して以来となるエンジニアセミナー, Hatena Engineer Seminar #17 はてラボの裏側編を,11月25日(木曜日)に開催することが決定いたしました! 昨今の事情を鑑み, 今回もオンラインでの開催となりますが, アンテナや匿名ダイアリーなど, ラボサービスの裏側について聞くことができる貴重な内容となっています. 加えて, 今回は発表終了後に登壇者と歓談できる時間もご用意しております(詳しくはconnpassのイベントページをご確認ください). さて, ラボサービスを開発するというと, 日々コードを書いているエンジニアの専売特許... という印象があるかもしれません. しかしながら, 今回のエンジニアセミナーで紹介する｢てがきはてなブログ｣は, ディレクターである i
数百万件残っていたHTTPのはてなブログを4年越しにすべてHTTPS化させた話 - Hatena Developer Blog
こんにちは id:cohalz です。はてなブログでは2021年4月の公式ブログで、すべてのブログをHTTPSに一本化していくことを案内しました。 ▶ 「HTTPS配信」への切り替えと、ブログの表示の確認をお願いいたします この時点でまだ数百万件のHTTPのブログが残っている状態でしたが、2021年8月には上記の案内に追記したように、全ブログでHTTPS化を完了できました。 完了までに行ってきたことをこの記事で振り返ってみようと思います。 はてなブログのHTTPS化のこれまで はてなブログのHTTPS化は、2017年9月に最初のお知らせを行ってスタートしました。 当初の予定より時間がかかりましたが、2018年2月にHTTPS配信の提供を開始し、これ以降に作成されたブログは最初からHTTPSのみで配信されています。また、それ以前に作成されたブログでも、ユーザ側で設定を変更することで自分のブロ
はてなリモートインターンシップ2021を開催します！ - Hatena Developer Blog
追記：募集開始しました 「はてなリモートインターンシップ2021申し込み」はこちら 追記ここまで こんにちは、CTO の id:motemen です。 はてなは今年も、学生を対象としたエンジニア向けの夏のインターンシップ、「はてなリモートインターンシップ2021」を開催します。 現時点での新型コロナウイルス感染拡大状況などを考慮し、リモートでの短期インターンの実施を企画しています！ 今年のインターンでは、8月後半、3週間程度のプログラムとなる予定です。 リモート開催に最適化したカリキュラムを用意します。 前半はWebアプリケーション開発のオンライン講義を実施後、数日かけて課題に取り組んでもらい、はてなのエンジニアスタッフによるコードレビューや面談でフィードバックを行います。 後半はチーム開発体験です。「フレキシブルワークスタイル制度」という在宅勤務・出社を全スタッフが選択可能な制度を採用し
コンテナ技術とスケールするWebサービス ─ ペットから「ポスト家畜」の時代へ - Hatena Developer Blog
こんにちは。ブックマークチームWebアプリケーションエンジニアのid:yigarashiです。 はてなの技術グループでは「技術のアップデート」を目標に掲げ、チーム横断でさまざまな取り組みを行っています。そのひとつとして、週に1回、若手エンジニアが集まってモダンなWebアプリケーションの要件を整理する会があります。これは技術面の未来を担うという意味でtech-futureと呼ばれ、毎回テーマに沿った調査や議論が活発に行われています。 この記事では「コンテナ」をテーマとして開催された回の議事録を整理し、いわゆる「ペットから家畜へ」という言葉で語られるWebアプリケーションの実行環境の変遷と、コンテナ技術がもたらした2軸のスケーラビリティについてまとめます。そして最後に、コンテナ技術によって「ポスト家畜」とも呼べる新たな時代が到来したことを論じます。 コンテナ以前を振り返る サーバーの複雑な状態
SREはインフラ担当だけでなくチーム全体で取り組んでいくもの | はてなで働く cohalz にアンケート [#9] - Hatena Developer Blog
こんにちは、Hatena Developer Blog編集部です。「はてなで働くエンジニアにアンケート」シリーズ、今回ははてなブログチームのSRE、id:cohalzに話を聞きました。 id:cohalzにアンケート はてなidとその由来を教えてください いつどんなきっかけで入社しましたか？ 現在の仕事を教えてください チーム内の立ち位置を教えてください 1日の仕事の流れを教えてください 最近うまくいったことは何ですか？ 最近うまくいってないことは何ですか？ 普段大切にしていることは何ですか？ はてなはどんな会社ですか? id:cohalzにアンケート はてなidとその由来を教えてください 読みは「こはる」と呼ばれることを想定しています。 読みとしては日本語としてありふれた名前にしつつも、idとしては被らないものにしたいという意図を持っています。 idはco + hal + zの3つの要素
![SREはインフラ担当だけでなくチーム全体で取り組んでいくもの | はてなで働く cohalz にアンケート [#9] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/b1540f83138e6a085307ec37757319aa491a2baf/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhatenatech%2F20201027%2F20201027191102.jpg)
Rustの知見を深めたい！ 開発合宿でmackerel-agentを再実装してみた - Hatena Developer Blog
はてなには、開発合宿というイベントがあります。有志で集ったメンバーが普段の開発から離れ、テーマを決めて集中して取り組むイベントです。 今回、私（id:dekokun）、id:Krouton、id:ne-sachirouの3人からなるチームで、はてなが提供するサーバー管理・監視サービスMackerelに必須であるmackerel-agentというプログラムを題材に、Rustでの再実装を試みました。 mackerel-agentは、監視対象のホストにインストールし、ホストの情報（メトリックやメタデータ）を集めてMackerelに送るプログラムで、Go言語で実装されています。なお、今回はあくまでRustの知見を得る材料として選択したもので、今後の実装を置き換えようとしているわけではありません。 Rustでmackerel-agentを再実装する狙い なぜRustなのか なぜmackerel-ag
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
