最近はお客さんとの勉強会でDockerのドキュメントをつまみ食いして読むというのをやっていますが、改めて最新版を読んでみて、いろいろ思考が整理されました。2020年の20.10のマルチステージビルドの導入で大きく変わったのですが、それ以前の資料もweb上には多数あり「マルチステージビルドがよくわからない」という人も見かけるので過去の情報のアンラーニングに使っていただけるように改めて整理していきます。 仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編で触れた内容もありますが改めてそちらに含む内容も含めて書き直しています。 本エントリーの執筆には@tk0miya氏から多大なフィードバックをいただきました。ありがとうございます。 基本的なメンタルモデル現代的な使い方を見ていくために「Dockerを使ってビルドする」というのはどのようなものか考えを整

はじめに こんにちは。WEARバックエンド部SREブロックの春日です。普段はWEARというサービスのSREとして開発・運用に携わっています。本記事では、約60％のコスト削減に成功したNATゲートウェイの通信内容の調査方法と通信量の削減方法についてご紹介します。 目次 はじめに 目次 背景 コストの把握 NATゲートウェイの通信内容の把握 CloudWatchメトリクスでの確認 VPCフローログでの確認 リゾルバーでのクエリログでの確認 調査結果をもとにNATゲートウェイ経由での通信量を削減する AWSサービスとの通信 Datadogとの通信 WEARのAPIとの通信 ECRパブリックリポジトリとの通信 結果 まとめ 背景 ZOZOではより効果的な成長を目指してコストの最適化を進めています。コストの増大はサービスの拡大を鈍化させる原因となるため、常に最適な状態に保つことが必要です。WEARで

このように、Cookie自体はいきなり誰かの個人情報・プライバシーに触れる仕組みではありません。あくまでアクセスを識別するための技術です。また、ECサイトやSNSのように、利用者を識別して動作しなければならないWebサイトではCookieはかならず必要になります。 サードパーティークッキーって？ 今回話題になっているのは、「サードパーティークッキー (3rd Party Cookie)」です。これもCookieの一種なのですが、ここまで出てきたものと少し扱いが異なります。それは、Cookieが複数のWebサイトをまたがって利用されるという点です。 サードパーティーCookieの説明のために、A社のWebサイト、B社のWebサイトという、無関係な二つのWebサイトがある事にしましょう。そして、ここにP社のWebサイトを追加します。P社のWebサイトと書きましたが、ここで想定しているのは、A社

2024年7月20日に発売された『ドメイン駆動設計をはじめよう』の概要説明と、ソフトウェア開発現場での活用方法。 ①何が書いてあるか？ ②事業活動の分析（１章）⇒設計判断 ５章、6章、7章、８章、10章 ③業務知識の発見（２章） ④事業活動の複雑さに立ち向かう（３章） ⑤区切られた文脈どう…

めまぐるしく変化するテックの世界。技術を身に着けるうえで学ぶべきポイントや学習環境なども年々変わっています。 そこで「もしもいまの環境で、テックのことをイチから学び直すことになったら、自分はどんな風に勉強したいか」というIFストーリーを通じて、技術との向き合い方を考え直してみる企画「テック転生」。 今回は、FinTech企業のSREを務めるYutaさん（@Y0u281）に“自分だったらこう進めたい、インフラ技術の学習ロードマップ”を伺いました。 パブリッククラウドが当たり前になった今、インフラ技術を学ぶスタート地点は？ サーバー構築の次は、ネットワークと資格の勉強を Linuxとネットワークを学んだらいよいよAWSの学習へ 自分が学んだ時より学習コンテンツが豊富 コミュニティを活用すると情報が増えてモチベーションも高まる パブリッククラウドが当たり前になった今、インフラ技術を学ぶスタート地

2024-07-24 追記: 本記事の続きで、開発組織でのソフトウェア開発の Issue や PR を自動で適切な GitHub Project に割り当てていく方法についても書きました。 https://zenn.dev/shunsuke_suzuki/articles/manage-enterprise-issue-pr-by-project タイトルの通り、自分が管理する全 OSS の Issue や Pull Request (以下 PR) を 1 つの GitHub Project に集約した話を紹介します。 自分は様々な OSS をメンテしており、様々なリポジトリで作られる GitHub Issues や PR を日々ハンドリングする必要があります。 しかしこれだけリポジトリの数が増えると一つ一つリポジトリを巡回してハンドリングしていくのは困難です。 ユーザーによって issu

以前同僚から、いくつかのプロジェクトやタスクを持っているときにどう進めると良いかという質問を受けた。僕はその時、価値が出るポイントまで一気に進めてから次のタスクに取り組むようにしていると答えた。この話についてブログに言語化してみる。 良くない進め方の一例 たとえばプロジェクトA（自分の担当分工数10日）、プロジェクトB（自分の担当分工数20日）で、合計30日分のタスクを持っているとする。この時良くない進め方は、両方ともを完全に並列に少しずつ行って、30日後に終わるということだ。1 このやり方だと30日後にならないとプロジェクトAもBも結果が出ない。もしプロジェクトAのみに集中して終わらせれば少なくともプロジェクトAの結果は10日後に出るのに関わらずである。 このやり方がまずいのは当たり前に見えるのだが、気をつけないとやってしまいがちである。なぜなら少しずつ進めれば、他の関係メンバーに「自分

対象読者 様々なプロダクトへ AWS アカウントや環境を提供する SRE / CCoE チームを想定しています。 マルチAWSアカウント環境 SRE / CCoE は各プロダクトが安全かつ便利に AWS を利用できるよう、AWS アカウントの設定・払い出しや周辺コンポーネントの提供（踏み台・ID管理・ログ収集 etc...）を行います。 個別プロダクトの基盤設計や構築は行いません。 私の担当案件では 100 以上の AWS アカウントを提供しています。これでも多いとは言えず、例えば NTT ドコモでは 2,000 以上の AWS アカウントを管理[1]しているそうです。 セキュリティ対応方針 セキュリティグループの全開放や S3 バケットのパブリック公開など、AWS リソースの不適切な設定についての対応を考えます。 ゲート型 IAM ポリシーやサービスコントロールポリシー (SCP) で

〝流しのEM〟として、複数企業の採用・組織・制度づくりに関わる久松 剛さんが、エンジニアの採用やキャリア、働き方に関するHOTなトピックスについて、独自の考察をもとに解説。仕事観やキャリア観のアップデートにつながるヒントをお届けしていきます！ 「フリーランスエンジニア」と聞いて、どんな人をイメージしますか。 一昔前であれば、「バイネームで仕事が取れるプロ中のプロ」といったイメージが一般的でした。日系大手企業でも「パフォーマンスが突出しており、ぜひ事業に貢献してほしいが給与レンジが合わないスペシャリスト」についてフリーランス契約がなされていたりします。 「組織の看板がなくても腕一本で食べていける実力があるから〝フリーランス〟なんだ」という共通認識があったはずなのですが、最近、その前提が崩れ去りつつあるのを感じます。 そこで今回は、最近フリーランスエンジニア界隈で耳にする「ちょっときな臭い話」

Goにおけるタスクランナーの歴史 npmならnpm run、denoならdeno taskなど言語ツールにタスクランナー機能が付属していることがありますが、Goではそのような機能は提供されていません。 そこでGoのプロジェクトではMakefileがタスクランナーとして用いられることがしばしばありますが、独自の文法、.PHONYを大量に書く必要がある、Makefile警察が飛んでくる、などの問題があります。 Makefile警察「ぐぬぬぬ…」 #taskfile - Qiita タスクランナーとしてMakefileを使うことから脱却すべく、巷ではYAMLベースの「Task」やGoベースの「Mage」が用いられている印象です。 どちらも多少試したことはありますが、主に以下の点が気になりました。 Taskfile.ymlやmagefile.goといったツール独自のファイルを置く必要がある これは

背景 Next.js に App Router が導入されてから1年近くが経ちました。しかし、未だに App Router を前提として設計のベストプラクティスが定まっておらず、身近なフロントエンドエンジニアはみな「まだプロダクトに取り入れるには考えることが多いよね」という共通認識のまま止まっているような気がしています。 また、App Router が導入されるまでは、技術選定の無難な選択肢として Next.js が最有力でした。しかし、現在は App Router の設計のプラクティスが未発達なことや、オーバースペックであるという見方が出てきており、検討しなければならないことが多くなったように感じます。 そうした中で、ではその懸念というのはどのようなものがあり、導入しずらい要因に何があるのか、というところが、今回執筆を行う上での背景になります。 App Router導入で考えないといけな

ssmonline #43 での発表資料です。 (運用設計ラボ合同会社 波田野裕一)

ssmonline #43 での発表資料です。 (運用設計ラボ合同会社 波田野裕一)

Datadog Cloud SIEMを使ってAWS環境の脅威を可視化した話/lifeistech-datadog-cloud-siem

はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor

博覧強記の料理人、美味の迷宮を東奔西走す！ 日本の「おいしさ」の地域差に迫る短期集中連載。 前回は、大阪VS広島の陰にかすみがちな、日本各地のお好み焼きについて考察しました。 今回からは餃子！　前後編でお届けします。 餃子編①　関東の酢醤油文化 〔餃子の王将〕の餃子が大好きです。特に数年前、メニューに「生姜餃子」が登場してからは、それが僕にとって世界で一番おいしい餃子である、と確信するに至りました。 しかしその話をする度に、僕は周りのグルメな知人たちに軽く嗜められてきました。チェーン店の餃子で満足している場合ではない。世の中にはもっとおいしい餃子の店がたくさんある。……彼らはそう言うのです。そして親切にも、具体的にそんな店の名前と所在地を教えてくれます。 僕はこう見えて案外素直な人間なので、そうやって教えられた店に何軒か行ってみました。確かにどの店もおいしかったです。ひとつひとつが丁寧に作

米国国土安全保障省サイバーセキュリティインフラセキュリティ庁（CISA）は2024年6月18日（米国時間）、ネットワークセキュリティにおけるガイダンスを公開した。CISAは以下のように説明している。 ガイダンスは、CISAの他、連邦捜査局、ニュージーランドおよびカナダのセキュリティ責任者が共同執筆した。あらゆる規模の企業の経営者に対し、ネットワークアクティビティーの可視性を高めるゼロトラスト、SSE（Security Service Edge）、SASE（Secure Access Service Edge）などのより堅牢（けんろう）なセキュリティソリューションへの移行を推奨している。加えて、このガイダンスは、従来のリモートアクセスとVPNの導入に関連する脆弱（ぜいじゃく）性、脅威、慣行およびリモートアクセスの誤った構成によって組織のネットワークにもたらされる固有のビジネスリスクを組織がよ

インターネットイニシアティブ（IIJ）の子会社で、ネットワーク構築・関連ソリューション事業を手掛けるネットチャートは7月18日、カテゴリー6（Cat.6）のLANケーブル「eco-patch」（エコパッチ）を、26日より「IIJmioサプライサービス」にて一般販売すると発表した。 eco-patchは、標準的なLANケーブルと比較して直径が約半分（約3.7mm）の超細径仕様。しなやかでくせがつきにくく、細い形状で通気性を確保しやすいことから排熱にも有利といった特徴があり、集中的に配信するデータセンターやオフィスLAN用途など、法人向けに提供してきたという。今回、「自宅で手軽に使いたい」という要望から、個人向けにも提供するに至ったとしている。 通信データに加え電力を供給するPoE接続に対応。使用する銅を標準的なケーブルの約半分に軽量化。ケーブルの重みによるコネクタへの負荷など、接合部の負担が

はじめに AWS Step Functionsを利用し、音声ファイルがS3バケットに保存されるたびにAmazon Transcribeで文字起こしを行い、文字起こし内容をメール送信する方法を紹介します。 今回構築する構成は以下の通りです。 処理の流れは以下の通りです。 音声ファイル（WAV）をS3バケットにアップロードする アップロードをトリガーにEventBridgeからStep Functionsステートマシンを起動する 音声ファイルからAmazon Transcribeで文字起こしし、文字起こした内容をAmazon SNSでメール送信する この構成を構築するきっかけは、以前執筆した「Amazon Connectでエージェントの介在がない場合でも電話中の発話を録音する」記事の構成に、録音ファイルに対して文字起こしとメール通知機能を追加する必要が生じたためです。 執筆した記事の構成図は以

はじめに こんにちは、皆さん。今日は、シェルスクリプトを使った高度な自動化のベストプラクティスとパターンについて解説します。これらは、ちょっとした知識で実行でき、作業を大幅に効率化できるTipsです。シェルスクリプトは、特にUNIX系システムでの自動化タスクに欠かせないツールです。適切に使用すれば、複雑なタスクを効率的に、そして信頼性高く実行できます。 トイルとは、反復的でマニュアルな作業のことを指します。これには、例えば、手動でのシステムのスケーリングや、エラーのトラブルシューティング、ルーティンなメンテナンス作業などが含まれます。トイルを特定し、それを自動化することで、エンジニアはより創造的なタスクやプロジェクトに焦点を合わせることができます。 トイルを判別する方法としては、以下のような基準が挙げられます： 手作業であること 完全な手作業だけでなく、「あるタスクを自動化するためのスクリ