UbieにおけるGo言語のエラーハンドリング
背景 Ubieでは以下の記事にあるように、一昨年から新しく始めるプロジェクトにはGoとTypeScriptを積極的に採用しています。私は本来プロダクトセキュリティが主な専門領域なのですが、公私ともに普段からGoでツールやサービスの開発をしているため、社内のGo言語の普及をサポートしたりプロダクト開発に参加したりしています。 Go言語で開発したことがある方はご存知かと思いますが、Goは標準パッケージで提供されているエラーハンドリングは最低限の機能しか提供されていません。これは、CLIツールなどではエラーの内容が簡潔に表せてよいのですが、サーバサイドアプリケーションのようにエラーにまつわる情報を詳細に残してあとから調査に利用する、という場面では不向きです。特に本番環境でしか再現しないようなエラーの場合は、いかに関連情報を残せているかが、問題の解決に大きく影響します。 先日も話題になっていました
どうも。小林です。 みなさん、自動化してますか？ 私の課では特定の顧客のシステムを多数運用しています。 かなり多くのシステムがあり、顧客側の担当者も異なるため、弊社側でも複数のチームを組んで手分けしてシステムを担当しています。 チームも顧客担当者も異なるとなれば、当然運用のやり方はシステムごとに変わってきます。その一方で統一できる部分は統一しておかないと全体の統制は効きづらくなってしまいます。 そこで「標準化チーム」を発足し、チーム間で共用するシステムのアカウント管理やその申請ルール、顧客報告やメンバーの勤怠管理といったものの標準化を進めています。 標準化の恩恵のひとつとして、「作業が単純化できて自動化しやすくなる」という点が挙げられます。 例えばアカウント発行の申請フォーマットを統一すると、「フォーマットにしたがって記載されたテキストをバッチに読み込ませてアカウントを自動的に発行する」と
こんにちは。Finatextでエンジニアをしている@s_tajima です。 この記事は、CTOA Advent Calendar 2020の、12/9の記事です。 弊社では、日本CTO協会の出している、DX Criteria を使って自分たちの開発体制についてのアセスメントをしています。 初回は2019年12月頃に実施し、最近あらためて今の状況を確認してみました。 結果として、初回に比べて大きな改善傾向がみられたので、今回はその詳細について紹介します。 尚、今回紹介するアセスメント結果は私が全社の状況を俯瞰することを心がけて実施したものですが、これとは別にチーム単位でのアセスメントをしていたりもします。 アセスメント結果の比較画像2回分のアセスメントの結果を並べた画像をお見せします。 左が2019年12月、右が2020年10月の時点のアセスメント結果です。 結果として、青(=ポジティブな
Windowsにはイベントログと呼ばれる機能がある。これは、システムやアプリケーションなどが、発生したイベントを記録し、後でのメンテナンスなどに利用するものだ。管理ツールにあるイベントビューアーでも簡単には見ることができる。今回は、このあたりを解説する。 目的としては、Windows内で発生した複数のプログラムが関わる特定の作業の経過などを取り出し、その経過を追えるようにする。筆者は、Windowsの機能アップデートに関しての情報を収集したいと思って調べ始めた。 イベントログは、Windows内で発生したさまざまなイベントを記録したもの。この中には再起動やアップデートのインストールなどさまざまな情報がある そもそもWindowsのイベントログとは Windowsのイベントログは、現在では、EVTX形式のファイルに記録され、 C:\Windows\System32\winevt\Logs と
Linux Hardening Guide | Madaidan's Insecurities
Last edited: March 19th, 2022 Linux is not a secure operating system. However, there are steps you can take to improve it. This guide aims to explain how to harden Linux as much as possible for security and privacy. This guide attempts to be distribution-agnostic and is not tied to any specific one. DISCLAIMER: Do not attempt to apply anything in this article if you do not know exactly what you ar
本連載でも、何回かMySQLをDockerで扱う方法に関して簡単に説明をしてきました。今回は、DockerでMySQLを使う上でもっと便利に扱う方法を紹介してみたいと思います。特に、初期値のロードやコンテナ内にあるmysqlクライアントを使った時に文字化けする問題に対応していきます。 検証環境 今回はMacでDocker for Macを利用して検証を行っております。また、MySQLのDockerイメージは8.0.20で確認を行います。検証のデータには、第2回 MySQLにはじめてのデータを入れてみるで紹介されたKEN_ALL.CSVを利用します。 初期値のロードを自動化したい 第113回 anemoeaterを使ってスローログを可視化してみるでは、以下のように--secure-file-privを起動時に設定して起動していました。--secure-file-privは、指定されたディレク
November 3, 2023 GitHub.com now remembers multiple accounts in your browser. You can find the account switcher in your profile picture context menu, letting you more easily switch between user accounts without re-entering your credentials. The account switcher helps developers alternate between Enterprise Managed User accounts provided by an employer and personal accounts for use with personal pro
CTO室SREの @kenzo0107 です。 2021年6月24日に「 kakari for Clinic ホームページ制作 」がリリースされました。 kakari for Clinic ホームページ制作 今回は上記サービスで採用した、 AWS + ngx_mruby で構築した SSL 証明書の動的読み込みシステムについてです。 SSL 証明書を動的に読み込みする理由 kakari for Clinic ホームページ制作の1機能で、制作したホームページに独自ドメインを設定する機能がある為です。*1 複数ドメインでアクセスできる ＝複数ドメインの SSL 証明書を読み込む を実現する必要があります。 動的に SSL 証明書を読み込むには？ 以下いずれかのモジュールを組み込むことで SSL 証明書の動的読み込みが可能になります。 ngx_mruby lua-nginx-module 以下理
Windows版「rm -rf /*」の「cmd /c rd /s /q c:\」を実行してみた | DevelopersIO
よい子(大人を含む)はマネしないでね。 この記事に書いてある内容を、自分が所有するPC以外（業務用PC、公共のPCなどで）で行った場合、 電子計算機損壊等業務妨害罪（刑法234条の2）に問われ、5年以下の懲役または100万円以下の罰金の可能性や損害賠償を求められる可能性があるらしいです。 Windows版「rm -rf /*」を実行してみたくなった つい先日、Amazon Linux 2でrm -rf /*を実行して、OSを破壊してみました。そちらの様子は以下記事をご参照ください。 Linuxを破壊してみると、何だか次はWindowsも破壊したくなってきました。 そこで、Windows Server 2019に対して、Windows版rm -rf /*と呼ばれるcmd /c rd /s /q c:\を実行してみて、どこまで壊れるのか確認してみます。 いきなりまとめ cmd /c rd /s
バクラク事業部 Platform Engineering 部の uehara です。2023年4月に入社しました！ この記事では、直近で取り組んだ Datadog のコスト最適化の取り組みを紹介します。 概要 大きく2つの施策によって、Datadog の月額料金を 30% ほど削減しました。 毎月の利用量を事前コミットすることで単価を下げた ログ運用を見直すことでコストを約半分にした 利用量の事前コミット Datadog の一部機能では利用量を事前コミットすることで単価を下げることができ、価格表も公開されています。BILLED ANNUALLY が年契約、BILLED MONTH-TO-MONTH が月契約の単価です。 www.datadoghq.com オンデマンド料金と比較すると2割から3割ほど安くなっていることが分かります。 直近の利用実績から毎月必ず利用する分を算出し、MONTH-
はじめに Ruby 3.2よりWASIベースのWebAssemblyサポートされました。 これによってRubyをブラウザ上で実行できるようになるわけですが、実はWASMはブラウザの外での動作も可能になっており、OSに依存しないライブラリを作ったり、Edge Computingで実行させたり、シングルバイナリの実行可能ファイルにしたりと色々な事が出来るようになります。 今回はRubyのWASM対応でどんなことが出来るようになったかをまとめたいと思います。 WebAssemblyとは？ WASMに関して少しおさらいをしておきましょう。 WebAssemblyは仮想命令セットアーキテクチャです。WASMとも言います。RustやCをはじめとした多くの言語からコンパイルする事が出来、Webブラウザの中で高速にそしてセキュアに処理を実行するための仕組みとして登場しました。 元々ブラウザ向けに登場した仕
shellスクリプトで学ぼう！プログラミングがちょっと上手になる（かも）Tips集！！ | DevelopersIO
こんにちは(U・ω・U) AWS事業部の深澤です。 さて皆さん、いざプログラミングをしようとしてもなかなかテストがしにくいとか、良い書き方ないかな〜って感じたりしませんか？出来上がったソースコードを数ヶ月後の自分が読んでみて、「あれ？この処理って何してるんだっけ？？」って思うのもよくあることです。また中には実際にスクリプトをbatch処理で使おうとしているけど、どんな風に書いたら良いか悩んでいる方とかいらっしゃるのではないでしょうか。今回は僕が運用の中で学んだ「こう書くと良いんじゃない」というTipsを書いて見ました！今回はshellスクリプトを採用しています。 環境 Amazon Linux 2 AMI (HVM), SSD Volume Type カーネル 4.14.173-137.229.amzn2.x86_64 Bashバージョン GNU bash, version 4.2.46(
STORES 予約 でwebアプリケーションエンジニアをやっております。ykpythemindです。 Rails開発で、どのようなアプリケーションでも抑えておくとチーム開発が少し楽になるポイントがあります。今回はいくつか実例を載せながら紹介します。 アプリケーションの設計的な部分や実装には踏み込まず、すぐに導入できます。 あくまでRailsアプリケーションについての記事ですが、他言語やフレームワークを用いていても同様のことができます。 1. シードデータが壊れないようにCIで担保する 新しいメンバーが入って環境構築をしてもらう度にシードデータが壊れており、 db/seeds.rb *1 を直すという作業を何回か経験しています。db/seeds.rbで実行する内容をテスト中に実行しておくとメンテされるようになります。 # db/seeds.rb # 定数データが必要であればここで呼ぶ req
タイトルでほぼほぼ出オチですが、先日、NVIDIAからCUDA Toolkit 11.4と共にリリースされた新機能GPUDirect Storage 1.0のドキュメントを読んでいると、面白い記述を見つけた。 曰く、MOFEDドライバ5.3以降と、Mellanox Connect-X4/5の組み合わせで、NFS-over-RDMAとGPUDirect Storageを組み合わせ、リモートのNFS区画からローカルのGPUへと直接のデータ転送を行う事ができるようになる、と。 14.10. NFS Support with GPUDirect Storage This section provides information about NFS support with GDS. 14.10.2. Install GPUDirect Storage Support for the NFS Cli
EngineeringUpgrading GitHub.com to MySQL 8.0GitHub uses MySQL to store vast amounts of relational data. This is the story of how we seamlessly upgraded our production fleet to MySQL 8.0. Over 15 years ago, GitHub started as a Ruby on Rails application with a single MySQL database. Since then, GitHub has evolved its MySQL architecture to meet the scaling and resiliency needs of the platform—includi
by Minh Hoang 任天堂が2013年に、携帯用ゲーム機「ニンテンドー3DS」のハッキングを行っていたハッカーの生活行動を調査し、接触しようとしていたことが、任天堂の内部文書のリークから判明しました。 Nintendo Leak Reveals Extreme Measures Taken To Track Hackers | TechRaptor https://techraptor.net/gaming/news/nintendo-leak-reveals-extreme-measures-taken-to-track-hackers 内部文書をリークしたのは、任天堂の関連情報のリークに定評のあるEclipse氏です。Eclipse氏が示した文書によれば、2012年に任天堂がニンテンドー3DSをクラックしたことで知られるNeimod氏の住んでいる場所や州の労働時間などを調べ上げ
Hello! I posted a comic on Mastodon this week about what’s in the .git directory and someone requested a text version, so here it is. I added some extra notes too. First, here’s the image. It’s a ~15 word explanation of each part of your .git directory. You can git clone https://github.com/jvns/inside-git if you want to run all these examples yourself. Here’s a table of contents: HEAD: .git/head b
Gatlingによる分散負荷試験を自動化するKubernetesオペレーターGatling Operatorの紹介 - ZOZO TECH BLOG
こんにちは。SRE部の川崎（@yokawasa）、巣立（@tmrekk_）です。私たちは、ZOZOTOWNのサイト信頼性を高めるべく日々さまざまな施策に取り組んでおり、その中の1つに負荷試験やその効率化・自動化があります。本記事では、私たちが負荷試験で抱えていた課題解決のために開発、公開したOSSツール、Gatling Operatorを紹介します。 github.com はじめに ZOZOTOWNは非常にピーク性のあるECシステムであることから、常にそのシステムが受けうる負荷の最大値を意識しております。想定しうる最大規模の負荷を受けてもユーザー体験を損なうことなくサービス継続できることをプロダクションリリースの必須条件としています。したがって、新規リリースやアップデート、大規模セールなどのシステム負荷に影響を与えうるイベント前など、比較的頻繁に負荷試験を実施しています。そして、社内でもっ
【週刊 Ask An Expert #17】AWS で Docker を使うときの選択肢は？先週の #AWSLoft で受けた質問10選 | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #17】AWS で Docker を使うときの選択肢は？先週の #AWSLoft で受けた質問10選 こんにちは、スタートアップ ソリューションアーキテクトの塚田 (Twitter: @akitsukada) です。好きな Chalice の機能は Built-in Authorizer です。 まず最初に、今回の週刊 Ask An Expert では Docker コンテナに関する質問が多く、皆さんの関心が伺える週となりました。そんなみなさんにイチオシのイベント情報は AWS Containers talk with Mercari です！↓ メルカリさんにおける AWS のコンテナサービス活用事例が気になる方は、ぜひ ↑ から申し込んでください！ さて、ではここから週刊 Ask An Expert 第 17 回目をお届
[アップデート] Amazon CloudWatch Logs でリアルタイムでログを確認出来る Live Tail 機能が追加されました | DevelopersIO
[アップデート] Amazon CloudWatch Logs でリアルタイムでログを確認出来る Live Tail 機能が追加されました いわさです。 私は CloudWatch Logs でログの確認をよくするのですが、トラブルシューティングや開発中にログに張り付くようなタイミングだと既存の CloudWatch Logs のイベント機能や Logs Insights では表示の更新が必要でちょっと不便だなと思っていました。 本日のアップデートで CloudWatch Logs に新たに Live Tail という機能が登場しました。 CloudWatch Logs のログストリームに送信されたログをリアルタイムで確認することが出来ます。 フィルターなどをかけながらリアルタイム表示出来るので、なかなか良いですよこれは。 ただし、有料オプションなのでご注意ください。 この記事では実際に使
![[アップデート] Amazon CloudWatch Logs でリアルタイムでログを確認出来る Live Tail 機能が追加されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/222cf1e7abda4caaae076d20ade6e39a48a7fa27/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-cloudwatch.png)
Amazon Web Services ブログ コンテナとコンテナ化されたアプリケーションに対する運用上の洞察 コンテナ化されたアプリケーションとマイクロサービスの適応が増えるに従い、監視と管理の負担がますます増えます。ビルダには Amazon Elastic Compute Cloud (EC2) のインスタンスなどのより長期にわたるインフラすトラクタに使用されるため、同じレベルの監視が期待され、要求されています。対照的に、コンテナは比較的短命で、通常は継続的なデプロイが求められます。これにより、信頼性をもって監視データを収集し、パフォーマンスやその他の問題を分析することが困難になり、このことが修復時間に影響を与えます。さらに、ビルダはさまざまなツールを使用してこの分析と検査を実行し、一連のインフラストラクチャとアプリケーションのメトリック、ログ、およびその他のトレース全体でコンテキスト
ニアリアルタイムで同期される検索基盤を構築 ~AWS Glueによるデータ同期編~ - コネヒト開発者ブログ
皆さん，こんにちは！MLエンジニアの柏木（@asteriam）です． ここ最近は検索エンジン内製化プロジェクトに携わっていて，検索エンジニアとして，検索基盤の主にデータ連携・同期の実装を1から構築したりしていました．7月中旬にABテストまで持っていくことが出来たので，ひとまず安心しているところです．ここからはユーザーの検索体験向上のために検索品質の改善に力を入れていく予定です！ はじめに 今回新しく検索基盤をAWSのマネージドサービスを活用して構築しました！本エントリーでは，タイトルにもあるように，検索基盤の肝であるDBから検索エンジンへのデータ同期をAWS Glueを用いてニアリアルタイムで実施したお話になります．我々は以下の構成で今回の検索基盤を構築しています． 検索エンジン：Amazon OpenSearch Service データベース：Amazon Aurora データ同期（ET
みなさんハッピークリスマス。Red Hatのさいとうです。 AnsibleユーザグループのAdvent Calender 2022最終日の記事として、2022年のAnsibleにどのような変化がありそうなのかといったあたりの個人的な予想を書き残しておこうと思います。 この記事は、AnsibleユーザコミュニティのAdvent Calendarですから、アップストリームの情報を元にして書いています。Red Hatのテクニカルサポートには問い合わせないでね! 2021年のAnsibleのふりかえりについては、コチラをどうぞ。 2022年にやってきそうな変化 現在のAnsible Core 2.xは、ある程度安定期に入っているため、機能面で劇的な変更が加えられることはしばらくないものと考えています。しかし、Ansible Coreが稼動するPlaybookの実行環境としては、2022年に大きな変
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 AWS Well-Architected Framework 読んでますか？(挨拶) このベストプラクティス集はアーキテクチャの評価、設計時の参照先、費用対効果と信頼性が高いシステム構築にとても役立つドキュメントです。 基本となる6本の柱に加えて、特定領域にフォーカスしたレンズが用意されています。 そして、アメリカ時間の2022年10月21日に新しいレンズ Container Build Lens が追加されました。 ドキュメントを読み込んでうえで自分なりの解釈を加えて要約します。 AWS Well-Architected 6つの柱を知りたい サマリーの前に基本的な6つの柱を知りたいという方は以下のリンクを参照ください。 AWS Well-Architec
You can read about these vulnerabilities in English at https://ec0.io/post/hacking-cloudflare-pages-part-2/ 免責事項Cloudflareは、HackerOne上で脆弱性報奨金制度(Bug Bounty)を実施しており、脆弱性の診断行為を許可しています。 本記事は、当該制度を通して報告された脆弱性をCloudflareセキュリティチームの許可を得た上で公開しているものであり、無許可の脆弱性診断行為を推奨することを意図したものではありません。 また、Cloudflareは脆弱性調査において他の研究者との協力を許可しており、脆弱性調査を目的とした他の研究者との脆弱性情報の共有が許可されています。 Cloudflareが提供する製品に脆弱性を発見した場合は、Cloudflareの脆弱性報奨金
はじめに こんにちは、IT戦略部システム基盤グループの酒井と申します。 システム基盤グループは2023年4月にIT基盤部からIT戦略部に所属部門が代わり、社内システムのインフラやGithubやJira/Confluenceなどの運用を担当しています。 このタイトルに見覚えがある方は熱心なDeNA Engineering blogの読者だと思います。 私の上長が過去に同じタイトルでblog投稿をしていました。 まだ見ていない方は今回の内容とも関連するため、以下からご覧ください！ VPN との終わりなき戦い 〜怒濤の全社テレワーク編〜 VPN との終わりなき戦い 〜Cloud Journey 編〜 今回もタイトル通りVPNに関するお話となります。 DeNAのリモートワークの状況 本題に入る前に弊社のリモートワークの状況をご説明します。 DeNAではコロナが落ち着いてからもハイブリッドワークを継
はじめに こむろです。 Spring4Shell についてです。どうせお前ら調査してたんだろ？と思ったあなた、大正解です。 結論 非常に広範な影響がありましたが、現時点で、Spring Framework 本体への修正パッチがすでに適用されています。そのためこれに準じたアップデートを実施することで脆弱性を回避できます。 spring-boot-2-6-6 spring-boot-2-5-12 spring-framework-5.3.18 Tomcat 9.0.62 またこれらのアップデートができない場合、以下の対応を取ることもできます。 不要なパラメータのマッピングを行わないようにコードを追加する （Binding のブラックリストへ class.* 系を追加） Java8 へ一旦ダウングレードする Tomcat 9.0.62 へ Update することで設定値自体の書き換えをできないよ
[神ツール]セキュリティインシデントの調査が捗るAmazon DetectiveがGAしたのでメリットとオススメの使い方を紹介します | DevelopersIO
[神ツール]セキュリティインシデントの調査が捗るAmazon DetectiveがGAしたのでメリットとオススメの使い方を紹介します インシデントの調査がとっても捗るAmazon Detectiveについて、どのような役割とメリットがあるのか、使い方の勘所、そのコスパについてまとめました。これも全アカウント必須ですよ！ こんにちは、臼田です。 みなさん、インシデントの調査してますか？(挨拶 ついに待ちに待ったAmazon Detectiveが正式リリースされました！セットアップの方法は下記にありますので、ぜひGuardDutyと同じように対応しているすべてのリージョンで有効化しましょう。 で、本記事ではそもそもどのように調査が捗るのか？とかどんな機能があるんだっけ？というところを整理して、「あーすべての環境で有効化したほうがいいな、これ」と思ってもらえるように伝えていこうと思います。 Am
![[神ツール]セキュリティインシデントの調査が捗るAmazon DetectiveがGAしたのでメリットとオススメの使い方を紹介します | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b996edd95c7fdb76dd1da28325d8606da2a54903/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F03%2Famazon-detective.png)
API Gateway バックエンドのLambdaにおけるジレンマをLayerで解決する | DevelopersIO
渡辺です。 Developers.IO Cafeのブログドキュメントシリーズ第3弾は、Lambdaの構成に関するトピックです。 Lambdaは小さな独立した処理（プログラム）を実行するには適したサービスです。 一方、多くの関連する処理を行うAPI Gatewayのバックエンドとして利用する場合、必ずしも適したサービスとは言えません。 例えば、一般的なウェブアプリケーションフレームワークでREST APIを構築したとしましょう。 フレームワークは、単一アプリケーションとしてサーバ上で実行されます。 リクエストは、フレームワークでルーティングを解決され、対応する処理（アクション）がキックされます。 前段にELB等のロードバランサが入ることもありますが、雑に言えばこういう仕組みです。 このよう場合、 共通処理を切り出し、各処理から呼び出す構成にする のが一般的です。 そうしなければ、各処理のコー
Rubyでdebug用のloggerをお手軽低コストに仕込む
まとめproduction での実行記録をちゃんと残すという意味ではなく（なんか変かも？）と思って調べる時やテスト実行時に役に立つ debug 用の logger の設定方法をまとめるlogger の block 記法と caller が便利Loggerのblock記法はRails GuideでImpact of Logs on Performanceとして紹介されているDebugging Rails Applications — Ruby on Rails Guides 曰く
はじめに この記事ではECS(Fargate)のCDパイプラインに、DBマイグレーション処理を組み込む一例を解説します。 ECS(Fargate)へのデプロイは、ecspressoを使用します。 また、題材はLaravel、CIツールとしてはGitHub Actionsを使いますが、他のフレームワークや、CIツールでも考え方は応用できるかと思います。 目次 はじめに 目次 前提 DBマイグレーションを含む一連のデプロイの流れ DBマイグレーションの前に行うこと ワークフロー例 --watch-containerオプション --overridesオプション GitHub Actions実行結果(抜粋) 前提 本記事で取り扱うECSタスクでは、以下2つのコンテナが起動します。 nginxコンテナ。ベースイメージはnginx:1.20-alpine。 phpコンテナ(Laravelが稼働するコン
こんにちは、最近はAWS Control Towerばかり触っている上野です。 Control Towerの検証を進める中で色々と中身が見えてきたこともあり、個人的に嬉しいポイントと注意ポイントをまとめてみます。 導入検討をされている方、参考となれば幸いです。 Control Towerとは？ 詳細は以前書いた記事でまとめています。 東京上陸！AWS Control Towerを触ってマルチアカウント管理のベストプラクティスを理解する ～セットアップ編～ - NRIネットコム Design and Tech Blog 【Part2】東京上陸！AWS Control Towerを触ってマルチアカウント管理のベストプラクティスを理解する ～運用編～ - NRIネットコム Design and Tech Blog AWSのベストプラクティスに基づいたセキュアな状態の新規アカウントのセットアップと
VPC Flow LogsをAthena + QuickSightで
分析してデータ転送料金の内訳を調査する 〜 実践的なコスト最適化の洞察 〜 - Uzabase for Engineers
こんにちは。ソーシャル経済メディア NewsPicksのSREチームで仕事をしている安藤です。 NewsPicks Advent Calendar 2023 の1日目ということで、日常の業務風景から軽いコスト最適化TIPSをご紹介します。 qiita.com AWSコストを最適化したいよぉ〜 NewsPicksはおかげさまでサービス10周年を迎え、ユーザー数も事業も伸びておりますが、 事業の成長やエンジニア組織の拡大に比例してAWSコストが増え、円安でさらに日本円での負担が増え、となると事業の利益率にも少なからず影響がでます。 私が所属するSREチームでは、「売上に対するAWSコストの割合は、規模が拡大するほど減っていくべき」という考えを持っており、 積極的にAWSサービスの使い方を見直して毎年コストを削っていくつもりで仕事をしています。 AWSが提唱するCloud Financial M
Introduction 最近Rustが各所で盛り上がっています。 Rustは5年連続で最も愛されているプログラミング言語になっている 開発者に人気のプログラミング言語です。 また、LinuxカーネルにRustを採用しようという動きがあったり、 AndroidのOS開発でRustをサポート 、といった具合に、 さまざまなところでRustの話題がでています。 AWS・Google・MicrosoftなどがRust Foundationを立ち上げたことも後押しとなり、 使えるようになりたいなーということで最近私もさわりはじめました。 本記事ではカスタムランタイムをつかってRustでAWS Lambdaを作成し、AWS CDKでデプロイしたり Localstackを使ってローカルでLambdaを実行したりしてみます。 本記事は、ここにあるソースほぼそのまま参考にして作成しました。 実際は(私の環
データレイクの基礎から構築と運用の視点を学べる『AWS ではじめるデータレイク』を読んだ - 継続は力なり
タダです. データレイクの設計や構築,運用の勉強をしたいと思い「AWS ではじめるデータレイク」を読んだので,書評記事を書いていきます. 公式サイト techiemedia.co.jp 物理本 AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門 作者:上原 誠,志村 誠,下佐粉 昭,関山 宜孝発売日: 2020/07/09メディア: 単行本 PDF版 booth.pm 目次 本書の概要 本書で学べること 読了後の所感 まとめ 関連記事 目次 本書は以下の章立てになってます. 序章 データレイクを始めよう 第1章 データレイクの構築 第2章 データレイクの活用 第3章 データレイクの運用 第4章 データレイクのセキュリティ 第5章 ハンズオンの概要 ービジネスデータのデータレイクー 第6章 データを可視化する 第7章 サーバーレスSQLによるデータ分析 第8章 デー
GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する | Amazon Web Services
Amazon Web Services ブログ GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する Amazon Elastic Container Service (Amazon ECS) は、フルマネージド型のコンテナオーケストレーションサービスであり、コンテナ化されたワークロードを大規模かつ簡単に運用できます。 また、Amazon Route 53、AWS Identity and Access Management (IAM)、Amazon CloudWatch などの他の主要な AWS のサービスと統合します。 コンテナの管理に使用しているプラットフォームに関係なく、コンテナ化されたアプリケーションにとって効果的かつ効率的な CI/CD パイプラインを確立することは重要です。 この投
GitHub - huachaohuang/awesome-dbdev: Awesome materials about database development.
The Five-Minute Rule for Trading Memory for Disc Accesses (1987) The Five-Minute Rule 10 Years Later, and Other Computer Storage Rules of Thumb (1997) The Five-Minute Rule 20 Years Later, and How Flash Memory Changes the Rules (2007) The Five-Minute Rule 30 Years Later, and its Impact on the Storage Hierarchy (2017) The Design and Implementation of a Log-Structured File System (1991) This paper pr
AWS サーバーレスサービスによるマルチテナント SaaS ソリューションの構築 | Amazon Web Services
Amazon Web Services ブログ AWS サーバーレスサービスによるマルチテナント SaaS ソリューションの構築 この記事は、Building a Multi-Tenant SaaS Solution Using AWS Serverless Services を翻訳したものです。 本投稿は、AWS SaaS Factory の Sr. Partner Solutions Architect である Anubhav Sharma と AWS SaaS Factory の Partner Solutions Architect である Ujwal Bukka により寄稿されました。 SaaS (Software-as-a-Service) 提供モデルへの移行に際しては、コストと運用効率を最大限に高めたいという要望が伴います。 これは、利用傾向を予測することが困難なマルチテナン
システム運用の際にご活用いただける2つのハンズオンを公開しました！- Monthly AWS Hands-on for Beginners 2020年7月号 | Amazon Web Services
Amazon Web Services ブログ システム運用の際にご活用いただける2つのハンズオンを公開しました！- Monthly AWS Hands-on for Beginners 2020年7月号 こんにちは、テクニカルソリューションアーキテクトの金澤 (@ketancho) です。7月も最終週ですが、みなさまいかがお過ごしでしょうか？この記事を書いている時点で関東はまだ梅雨が明けておらず、毎日じめじめした日が続いています。こんなときこそ新しいことを勉強しようと、私は “ゲーミフィケーション” について勉強しています。この AWS Hands-on for Beginners でも、皆さまに楽しく学習を継続していただけるような仕組みを作りたいなーと考える日々です。何かいい案が降りてくることをお待ちいただければと思います。 さて、今月も下記の2つの新ハンズオンを追加しております。 A
面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 | Amazon Web Services
Amazon Web Services ブログ 面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 開発者がアプリケーションを開発・パッケージング・デプロイするための強力な手法として、コンテナ技術はその代表的な1つに挙げられます。そしてそのようなコンテナ技術における様々なユースケースをサポートすべく、AWS では Amazon Elastic Container Service (Amazon ECS) に代表される多様なサービスを提供しています。 Amazon ECS はコンテナの運用管理を容易にするマネージドサービスです。他の AWS サービスとの組み合わせにより多様なワークロードをサポートするシステムを素早く構築可能です。一例として、 AWS Secrets Manager を利用した秘匿情報の連携が挙げられます。これにより、IDやパ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSMって20種類あんねん 〜Run Commandで定期バッチを起動する〜 - NRIネットコムBlog
DX Criteriaを使って開発体制の改善状況を振り返る
Windowsで発生したことを確認できるWindowsイベントログを解説する (1/2)
第122回 DockerでMySQLをもっと便利に活用してみる | gihyo.jp
Multi-account support on GitHub.com
AWS + ngx_mruby で SSL 証明書の動的読み込みシステム構築 - メドピア開発者ブログ
Datadog のコスト最適化で月額費用を 30% 削減した - LayerX エンジニアブログ
WebAssembly対応でRubyは何が出来るようになったのか？
Rails開発でやっておくと良かったCI設定集 - STORES Product Blog
GPUDirect SQL on NFS-over-RDMAを試す - KaiGaiの俺メモ
Upgrading GitHub.com to MySQL 8.0
任天堂がゲーム機を解析するハッカーの身辺調査を行い接触しようとしていたことがリークから判明
Inside .git
コンテナとコンテナ化されたアプリケーションに対する運用上の洞察 | Amazon Web Services
2022年のAnsibleとわたし - 赤帽エンジニアブログ
AWS Well-Architected コンテナビルドレンズを要約してみた | DevelopersIO
Cloudflare Pagesにおける権限昇格と任意ページの改竄
VPN との終わりなき戦い 〜新VPN導入編〜 | BLOG - DeNA Engineering
cve-2022-22965 Spring4Shell の影響調査 | DevelopersIO
ECS(Fargate)でDBマイグレーションを行う - やんばるテック
AWS Control Towerの嬉しいポイントと注意ポイント - NRIネットコムBlog
RustをつかってAWS Lambdaを実装＆AWS CDKでデプロイする | DevelopersIO