タグ

ブックマーク / blog.father.gedow.net (9)

  • WEBサーバーのレスポンス圧縮でコスト削減 | 外道父の匠

    リクエストヘッダに『Accept-Encoding: gzip』を含む場合、クライアントが「gzip圧縮して返しても大丈夫よ」って言ってるので、サーバー側はレスポンスを返す際に条件を満たしていれば、レスポンス・ボディ部分を圧縮した上で、レスポンス・ヘッダに『Content-Encoding: gzip』を付与して「gzipで圧縮しておいたよ」と返します。 WEBサーバーに限らず、CloudFront といった CDN も同等の機能を持っていて、圧縮メリットがあると判断した場合は有効にしておくとよいでしょう。 圧縮ファイルの供給 – Amazon CloudFront 圧縮の目的 ここはエンジニアとしての話というても、自宅パソコンでも何かしら圧縮機能は使っているでしょうから、説明は不要でしょうが…… メインは容量の縮小、次いで複数データを1ファイルにまとめる、ってところで今回は容量縮小を”手

    WEBサーバーのレスポンス圧縮でコスト削減 | 外道父の匠
    thaim
    thaim 2024/05/03
  • AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠

    これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス:ALB or ECS Service 共有 or 1環境毎 アクセスログ:ALB or WEBサーバー ECS / EKS デプロイ:Blue/Gr

    AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠
  • AWS Aurora MySQL Parallel Query の基礎研究 | 外道父の匠

    AWS Aurora MySQLには、高性能を期待できる Parallel Query という機能があります。 実際、良いモノっぽいのですが、非常に情報が少ないので私めがいつものように掘り下げて、お役に立てればという徳を積む行為であります。 目次 Parallel Query とは リンク集 速度比較 費用の仕組み 設定による有効・無効 有効にできない条件 Parallel判定されるクエリ 結合クエリ innodb_buffer_pool_size との関係 その他 実践では Parallel Query とは 詳しくは下記リンクを見たほうがいいのですが、頑張って要約してみます。 通常のDB処理は、データを可能な限りメモリ上に置いておいて処理しようとしますが、オンメモリじゃないデータはストレージから取得する必要があり、データ取得後はDB体における1スレッドがクエリ処理を行います。 Aur

    AWS Aurora MySQL Parallel Query の基礎研究 | 外道父の匠
    thaim
    thaim 2021/11/13
    過去にParallel Query導入失敗したので参考にしたい
  • AWS Graviton2 新CPUの性能検証 | 外道父の匠

    C5が一歩抜けた強さの割に全部 ECU=10 な時点でアレですが、さらに6g系は該当なしです。で、費用的には c5/m5 の比率と c6g/m6g の比率は同じ 86% です。 第5世代では、C5 はメモリが少ない分、安くCPUが高速だったので強い選択肢でしたが、第6世代ではメモリが少ない分、安い。だけになるので、C系を選ぶメリットがだいぶ弱くなりそうです。 単純に、14%安くしてc6gにするって考えよりも、14%高くしてメモリ倍の方がよくねっていう。そういうパターンのほうが多いんじゃないかと、いうだけで全然絶対じゃないですけど。 考えようによっては、AutoscalingGroupに複数のインスタンスタイプを指定するとき、c6g, m6g, r6g と混ぜてもCPU使用率の格差がAZ以外で起きづらくなるだろうから、扱いやすくなると言えなくもない。 vs C5 あまりに差が付きすぎて、自分

    AWS Graviton2 新CPUの性能検証 | 外道父の匠
    thaim
    thaim 2021/03/10
    評価する手間を惜しんで新CPUは採用をスルーしたので参考になる。自分で評価するとき用に覚えておこう
  • エンジニアの職人芸を継承すべし | 外道父の匠

    『職人芸』。それは、その人にしかできない、または他より圧倒的な品質・精度・速度で仕事を遂行する技術力、というものが確かにあります。 そのような崇高な技術は、どこから来て、どこへ行くのか。そんな圧倒的ポエム回。 職人芸とは 言い方はなんでも良いのですが、組織には上級的なエンジニアが一定割合いて、おそらくその人にしかできない仕事や、手慣れていて効率的に済ませられる仕事を任せられていることでしょう。 そういうエンジニアはたいてい『職人芸』と呼べそうな技術を修得しています。例えば、高精度な設計・高難度な機能実装・的確なコードレビュー・精密な試験・堅牢な運用などなど。 システム提供を大雑把に工程で分類すると、企画・設計・構築・試験・運用 といったところでしょうか。ちょっと外すと研究などもアリですね。それぞれの工程において、集中的に従事して得る職人芸もあれば、多岐にわたる経験によって生まれる職人芸もあ

    エンジニアの職人芸を継承すべし | 外道父の匠
    thaim
    thaim 2020/10/11
    “職人芸という他人の経験を吸収するという段階までくると、能動的な学習でしか、効率的──とか以前にそもそも一定ラインに到達できない”納得.これを前提に組織作りと採用をするしかない
  • Kubernetes、やめました | 外道父の匠

    最近 Kubernetes 全然触ってねーなって思ってたところに、『6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基要らなくない?となった話 – データエンジニアの酩酊日記』を見つけて、自分と異なる立場によるコンテナシステムへの感想を興味深く読ませていただきました。 Kubernetes を推す人がいる一方で、ここには昨夏『Kubernetes、はじめました』と言っておきながら今年に入って全然触らず、ECSを使ったシステムばっか手掛け、Kubernetes いらなくね?って思う人もいるわけで。これはいったいどういうことでしょう、と雑感タイムです。 どうしてコンテナシステムで迷うのか 最初に断っておきたいのは、以下 Kubernetes を否定したり腐すような意図は全くなく、なんでやろ?って自身に問いかけた私見です。やめました、と言ってもウチで今も使っ

    Kubernetes、やめました | 外道父の匠
    thaim
    thaim 2020/06/03
    k8sである必要が無いというのは導入の最大の課題だよね.ただk8sが魅力的なのは事実.そのモチベをサービス適用に向けられるのはすばらしいけど,自分にはそれで会社全体を巻き込む覚悟はない
  • エンジニアには目的を与えよう | 外道父の匠

    十数年も同じ組織でエンジニアをやっていると、組織の様々な状態や方針を目の当たりにして過ごしていくことになります。 あくまで個人の感想ですよねんけども、どういう時にヤル気が出て、どういう時にため息をこらえてきたか、ようやく気づけたというか、そういうポエムの回でありんす。 ヤル気 = 自分が得意・好きなこと ではない まず最初にぶった切っておきたいのは、その時々に取り掛かっている仕事が、自分が得意だったり好きな作業だから、ヤル気が出るという話ではないです。 私の場合、名目上はインフラエンジニアではあるものの、最も楽しい作業は軽量言語を用いたコーディングであるし、最も時間をかけるであろう作業は初期段階での一般情報収集とドキュメント全読みだけど、重要なのはわかっててもあまり好きではないし、億劫なデータ整理だとしてもそれが必要な作業であれば別に嫌気が指すわけではない、など。 各々の作業に対して、必要

    エンジニアには目的を与えよう | 外道父の匠
    thaim
    thaim 2020/03/16
    これもそうだけど,目的が与えられないことの何が嫌って,自分が探して取り組んだ作業が無駄になること.なので毎年まったく異なる3年計画が与えられたってモチベーションは上がらないよね.
  • CentOS7でのRPMパッケージ作成手順(sshguard編) | 外道父の匠

    だいぶ前に sshguardでブルートフォースアタック対策 という記事を書きましたが、最近CentOS7で環境を作りなおしていることもあり、最新バージョンのパッケージがなかったので自作してみました。 どこにでもありそうな内容ですし、別にCentOS”7″だからという部分もほぼないのですが──主にRPMパッケージの作成手順を目的として、sshguardパッケージの作成をまとめていきたいと思います。 RPM作成用パッケージ インストールします。

    CentOS7でのRPMパッケージ作成手順(sshguard編) | 外道父の匠
    thaim
    thaim 2016/02/19
    最近RPMパッケージを作成していないので手順を見直しておきたい
  • 新卒インフラエンジニアを育成した話 | 外道父の匠

    お久しぶりでございます。諸事情によって半年近くも息を潜めていましたが、また継続的なアウトプットをしていきたいと思います。あうとぷっとあうとぷっと。 昨年からAWSに触り始めて、少しずつ研究して、今年から番運用を開始できています。なので、そっち方面が多くなりそうなのですが、その一発目として昨年にAWSを軸に新卒インフラエンジニアを育成してみた話を書いてみます。 経緯 ウチでは一般的な新卒採用を行っています。内定が出て、入社後はエンジニアも一定期間の研修を受けて、そして配属されることになっています。 私は稀に、キャリアプランによっては内定した段階の子との面談を組まされるのですが、その時点でインフラエンジニアになるという断固たる決意を持っていて、研修の段階に入っても意志は変わらなかった野郎がいたのでインフラ部隊に入れることにしました。しましたといっても普通は、配属は人の希望以外に人事部判断や

    新卒インフラエンジニアを育成した話 | 外道父の匠
    thaim
    thaim 2015/05/23
    学ぶ方はもちろんすごいが、教える方もかなり育成に力を入れただろう。これに従って自分の知識も確認しておきたい。
  • 1