はじめに 私は普段インフラをメインで扱っているエンジニアです。 そんな開発がメインではない私が1年目でプログラミングを学ぶために使用した教材を紹介していきます。インフラエンジニアの方だけではなく未経験のエンジニアの方にも参考になれば良いなと思っております。 インフラの学習に使用した教材については下記記事にて紹介しておりますので、ご覧いただければ幸いです。 インフラエンジニアはプログラミングは必要？ まずはこの質問をChatGPTに聞いてみましょう。 はい、インフラエンジニアにとってプログラミングスキルは必要です。 近年、クラウドの普及やインフラ自動化の進展により、インフラエンジニアに求められるスキルも変化しています。今では、サーバの自動化やコンテナのデプロイなど、プログラミングスキルが必要な業務も多くなっています。 具体的には、以下のようなことが挙げられます。 インフラ自動化の実現 インフ
Amazon Web Services ブログ AWS上でどのようにゼロトラストアーキテクチャを考えていくか 2021年7月追記： AWSにおけるゼロトラストに関するアップデートされた情報は、以下をご参照ください。 https://aws.amazon.com/jp/security/zero-trust/ また、本Blogを詳細にアップデートしたBlog記事もありますので適宜ご参照ください。 「ゼロトラストアーキテクチャ: AWS の視点」 https://aws.amazon.com/jp/blogs/news/zero-trust-architectures-an-aws-perspective/ —————————————————————– 厳しい規制への対応やリスク回避を考慮事項として擁するお客様は、レガシーアプリケーションのリファクタリングや新しいアプリケーションのデプロイに際
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
【2024年】ITエンジニア本大賞まとめ
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
Amazon Web Services ブログ ゼロトラストアーキテクチャ: AWS の視点 本投稿は、AWS の CISO オフィスのディレクターを務める Mark Ryland と AWS Identity の専門家である Quit Van Deman による寄稿を翻訳したものです。 アマゾン ウェブ サービス（AWS）の使命は、安全なシステムの構築、デプロイ、迅速な反復処理を行う際に行う作業がより少なくなるようにお客様に代わってイノベーションを行うことです。お客様からはセキュリティの観点について以下のような質問をよくいただきます、 “システムとデータの機密性、完全性、可用性を適切なレベルに確保し、スピードと俊敏性を向上させるのに最適なパターンは何ですか？“。ゼロトラスト・アーキテクチャまたはゼロトラスト・ネットワーキングのカテゴリーに該当するセキュリティアーキテクチャパターンが、これ
AWS Amplifyが変えた世界
筆者の技術スタック AWSに出会う前 筆者の技術スタックは以下のとおりです。 Webに関するフルスタックエンジニアエンジニアというのがわかりやすいのかもしれません。 フロントエンドからバックエンドまでいっしょくたに提供してた時代からのエンジニア その名残で今もフロントエンド、バックエンド、インフラ構築までおしなべて行ういわゆるフルスタックエンジニア 前職にて社内のインフラ整備だったりお客様の環境構築を任されることが多かった 現在の会社からAWSを学び始める とりあえずやってみよう！という精神を生かして 何でも手を出してた事から、アプリケーションを構築する会社で絶対数が少なくなりがちな インフラ部分を任されることが多かったと思います。 さくらのVPSなどに対して すべてのアプリケーションが整うお手製のシェルをメンテナンスしながら、 一発で環境を整えることに快感を覚えておりました。 Ansib
背景 やったこと1. 廃止 やったこと2. GCPに移行 ユースケース図 URLベースで見たユースケース図 実行環境で見たユースケース図 実際にGCPに移行したアプリ達 Cloud Run Cloud Functions AppEngine GCP移行した全てに共通してること やったこと3. CircleCIに移行 付録A. 道のり 付録B. 調査メモ（移行時に参考にしたドキュメントやサービスなど） 無料プラットフォームがまとまってるドキュメント ElephantSQL (PostgreSQL) PlanetScale (MySQL) Redis Enterprise Cloud 付録C. Redisを雑にFirestoreに置き換えたらクラウド破産しかけた 2022/09/22 20:45ブコメレス 背景 Herokuの無料プラン終了のため10個以上あった個人アプリを1ヶ月くらいかけて色
最近何をやっていたかというと、タイトルの通り、Pathtraqというサービス、iPhoneアプリを作っていた。どんなサービスかと聞かれるとLifeLogというのが一番適切だと思うけど、LifeLogにも種類があって、これは位置情報を記録して検索するサービスになる。 https://pathtraq.tagomor.is/ PathtraqApp Satoshi TagomoriProductivityFreeapps.apple.com どういうためのものかというと、普段生活したりどこかに行ったりして、以下のようなことが気になる方向けです。 この場所/店/街、最後に来たのいつだっけ? 前に飲みにいってふらっと入ったあの店、どこにあった何ていう店だっけ? 前にあそこからあっちに移動したとき、どのくらい時間かかったっけ? なんかさあ、この程度のこと、全部記録とってあれば簡単にわかるはずなんだけ
はじめにStockmark のプロダクトでは、各メディアから記事を収集するために AWS Lambda (実行環境はNode.js) を大量に利用しています。「大量」とは実際にはどの程度なのかを紹介すると、月間で 1.6億 秒ほど(1日で約60日分) 使用しています。もしかしたら「えっ、なんでそんなに使っているの？」と思われているかもしれません。 本記事ではその疑問に回答しつつ、実運用から得られた知見を一部共有していきます。段階的に理解いただけるように、技術選定理由から説明していきます。 なぜ Node.js なのか？なぜ AWS Lambdaなのか？Lambda x Node.js でスクレイピングする際の落とし穴ということで、早速1つ目からいってみましょう！ なぜ Node.js なのか?ストックマークのプロダクトでは、Web記事などを中心としてスクレイピングして収集した情報をベースに
EC2やECS、RDSなどといったサービス利用時にAmazon VPC（以下よりVPC）が合わせて必要になります。 VPCの設計はCIDRとテナンシーの選択のみとシンプルですが、案外迷ってしまいます。 私が設計時に気をつけている5点をまとめてみました。 RFC1918準拠のIPアドレス範囲から指定する IPアドレスの範囲はrfc1918に準拠した範囲を指定することを推奨します。 少し難しく聞こえますが、下記のIPアドレス範囲から指定するということです。 10.0.0.0 - 10.255.255.255 (10/8 プレフィックス) 172.16.0.0 - 172.31.255.255 (172.16/12 プレフィックス) 192.168.0.0 - 192.168.255.255 (192.168/16 プレフィックス) よく見るプライベートIPアドレス範囲ですね。 16ビット以上で
freee特有の風土病：エンジニアの症例と寛解について - freee Developers Hub
フリー株式会社 PSIRT 多田正 Abstract フリー株式会社（東京都品川区，以下「freee社」）およびその関連会社，一部の提携先企業でのみ観察される症例が報告されている．著者はエスノグラフィー目的で当社に潜入し，2年間の観察をもってその固有性と症状をまとめた*1．本論文では特にソフトウェアエンジニアのみに見られる症状と，一定の条件下で寛解にいたる手法について報告する． Introduction freee社内において，本来「free」と記すべき文書等に「freee」と誤入力してしまう症例が数多く報告されている．入社後，比較的短期間で発症し，しかしながら人から人への感染性は認められず，退職後は徐々に症状が現れなくなるなど，freee社に特有の風土病として認識されている．症例そのものは当社が「freee」へ改名した2013年から報告されているものの*2，きわめて狭い地域内での発症であ
AWSは必要なタイミングで必要な分だけサーバーを使用でき、需要に応じて拡張するのも容易という便利なサービスですが、その料金に頭を悩ませている人も多いはず。そんなAWSの料金を5分程度の設定だけで大幅に削減してくれるサービスが「Usage」です。 Usage AI | save 57% on AWS https://www.usage.ai/ オンデマンドインスタンスはいつでも利用の開始・中止ができるものの料金が高く、リザーブドインスタンスは料金が安い代わりに1年から3年の固定契約になってしまいます。一方でUsageを利用すると固定契約無しで固定契約の安価な料金という両者の良いとこ取りが可能とのこと。 ページ上部の「RESOURCES」タブにある「EC2 CALCULATOR」を使うと実際の削減量を確認できます。 例えば「m6g.large」インスタンスを東京リージョンで利用した場合、Usa
Datadog メトリクスモニター作成入門
Datadog はモニタリング関連の SaaS ではおそらく最も利用されているサービスでしょうが、公式ドキュメントが豊富にある割には何から読み始めれば良いかわかりにくく、慣れるまでの道が険しい印象です。 本エントリーでは、Datadog が既に導入されている組織で、Datadog モニターを使って監視をしたいけど、モニターの設定方法がよくわからないといった方を対象に、メトリクスモニターの作成に焦点を絞って解説していきます。なお、あくまで Datadog の使い方についての解説であり、どのようなモニターを設定すべきかについては触れません。 メトリクスの収集についても触れたかったんですが、力尽きたので、メトリクスの収集については気が向いたら別エントリーを書きます。 アジェンダ メトリクスモニターの作成方法の基本 クエリの定義について クエリの評価期間・評価方法・アラート条件の指定 クエリの結果
NewsPicksはDX向上に徹底的に注力する - エンジニアを採用し、スケーラブルな開発組織をつくるために - はてなニュース
ソーシャル経済メディア「NewsPicks」の運営・開発を行う株式会社ニューズピックスは、近年、DX（Developer Experience：開発者体験）の向上に注力しています。CPO、CTO、VP of Eと、3名のエンジニアがボードメンバーに名を連ねる同社のDXへのこだわりは徹底しており、「DX向上」は経営における重要項目としても取り扱われています。 背景にあるのは、エンジニア組織をスケールさせる、という強い意思。近年、同社の開発組織は著しく拡大していますが、今後、さらにエンジニアを迎え入れるためには、良質なDXが得られるシステム、組織であることが不可欠だと考えているといいます。では、肝心要のDX向上はどのようにデザインされ、実行されているのでしょうか。 本稿の読者も含め、世のエンジニアの方々に向けて同社のDXをプレゼンテーションし、応募を促進するべく、CTOの高山温さん、そして最前
GCPにクラウドゲーミングPCを用意してQuest2 + VirtualDesktopでVRゲームを遊ぶ - TouTouTree
はじめに 誰向け ことわり 事前に用意するもの 手順 GCPでの前準備 VMインスタンスの作成 インスタンスの実行とRDPでの接続確認 VR用ゲーミングPCの環境構築 最新のNVIDIAドライバーのインストール Oculus、Steam、VirtualDesktop、VRChatなどのVRゲームのインストール、マイクの設定 ファイアウォールの設定 インスタンスを起動しVRアプリケーションを起動する。 インスタンスの停止 パフォーマンス 費用 GCP VirtualDesktop その他のトラブルシューティングなど RDPの接続が上手くいかない。RDPを切断するとVirtualDesktopが繋がらなくなる。VirtualDesktopで接続後すぐに切断される。 Oculusのインストール時のエラー Virtual Desktopでネットワークプロフィールに関するWarning 「VRCha
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
はじめに どうも、情シスの徳道＠上越オフィスです。今回はネットワークネタです。 唐突ですが、会社を代表するグローバルIPアドレスって多くの場合は本社の固定グローバルIPアドレス（プロバイダに依存）ではないでしょうか。 ゼロトラストが叫ばれて久しいですが、弊社のようにお客さまの環境を保守するサービスを行っている場合、やはり境界防御として接続元のグローバルIPアドレスを指定して許可されることが多いです。 地方オフィスが増えてくると特定の環境への接続許可をしてもらうIPアドレスの登録も増えてきます。VPN接続で本社など特定拠点経由での接続を行っていたとしても、プロバイダに依存することになったり冗長化が大変だったりしますね。 弊社では数年前からAWSのElastic IP経由で変化しない&冗長化されたグローバルIPアドレスからAWSに接続する社内ネットワークを構築してきました。 今回はクラスメソッ
サマリ Capital OneからのSSRF攻撃による大規模な情報漏えい等をうけて、Amazonはインスタンスメタデータに対する保護策としてInstance Metadata Service (IMDSv2) を発表した。本稿では、IMDSv2が生まれた背景、使い方、効果、限界を説明した上で、SSRF対策におけるIMDSv2の位置づけについて説明する。 SSRFとは SSRFは、下図のように「外部から直接アクセスできないエンドポイント」に対して、公開サーバーなどを踏み台としてアクセスする攻撃方法です。SSRF(Server Side Request Forgery)の詳細については過去記事「SSRF(Server Side Request Forgery)徹底入門」を参照ください。 最終的な攻撃目標は多様ですが、近年問題になっているのが、クラウドサービスのインスタンス・メタデータを取得する
Amazon Web Services ブログ AWS Batch ベストプラクティスまとめ この記事はプリンシパル HPC ソリューションアーキテクトの Pierre-Yves Aquilanti、AWS Batch のプリンシパルプロダクトマネージャの Steve Kendrex とプリンシパル HPC アプリケーションエンジニアの Matt Koop によるものです。 更新: 2021 年 10 月 5 日 セクション 2 に於けるサブネット CIDR ブロックのガイドラインを修正。 AWS Batch は、科学者や技術者が複雑なシステム構成を管理する必要なく、自由にスケールできる計算環境を提供するサービスです。2017 年に登場して以来、疫学、ゲームシミュレーション、大規模機械学習といった諸々のワークロードを稼動させる様々な業種や組織といったお客様に採用されてきました。 この投稿で
DockerとAWSのコラボによりdocker ecsコマンドが爆誕したので使ってみた | DevelopersIO
Docker社とAWSがコラボレーションするという驚きとともに、新しくdockerコマンドに組み込まれたdocker ecsの使い心地を試してみました。 「docker ecsコマンド？なにこれ？」 先日、突如、DockerのECSインテグレーションなるものが発表されました！ AWS and Docker collaborate to simplify the developer experience | Containers 従来あるdockerコマンドに、なんとdocker ecsコマンドが追加され、docker-composeファイルを利用したECSへのデプロイがAWS CLIなどのAWS製ツールを使わずに、全てdockerコマンドだけで完結するという、ちょっと想像がつかないアップデートです。 まだDocker社ではベータ版の扱いということですが、なかなかにおもしろいアプローチだった
0.THE FRUGAL ARCHITECT (倹約的なアーキテクト) 2023年11月下旬に開催された re:Invent 2023 のキーノートにおいて、Amazon CTO のワーナー・ヴォゲルス氏が「THE FRUGAL ARCHITECT (倹約的なアーキテクト)」という考え方をお話されました。 とても刺さる内容となっており、今後私なりの解釈を整理して記事化してみたいと考えています。 1. はじめに 近年、様々な企業や組織でAWSの利用が広まってきましたが、AWS活用をしていく中で適切なコスト管理は欠かせません。 適切なコスト管理ができていないと、予想外の箇所でコストが発生し、それに気づかないまま無駄な費用が 長期間にわたって発生し続ける恐れ があります。そのため現時点でどのくらいの費用がかかっているのかを正確に把握し、それを分析して最適化する必要があります。 2.主要なポイント
概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際のオペレーションミスが目立ったのが懸念点でした。 その為、まずはAWSマネージド化するための基盤を整備し、その後バッチアプリを載せ替えていくようにしました。 対応前の基盤構成 同じSREチームの安藤さんが CloudNative Days Tokyo 2023 で登壇されたときの資料をお借りします。 ご覧の通り、大体のサービスはマネージド化していましたがバッチ基盤だけは旧来のままEC2インスタンスを利用していました。 10年モノのサービスのインフラを漸進的
AWSの構成図をChatGPT(GPT-4V)に読み込ませてIaCコードを生成してみた | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です！ 最近ChatGPTがGPT-4Vを発表し、AI業界がさらに盛り上がりを見せてますね。 GPT-4Vを用いる事で、ChatGPTがユーザ側から入力された画像を読み取った上で、応答を返してくれるようになります。 GPT-4V(ision) system card この機能追加により、なんと以下のようにAWSの構成図を読み取って、IaCコードを生成できる事が話題になっていました。 本日をもって引退します pic.twitter.com/fygAQDQ5kj — 電気ひつじ(onoteru) (@teru0x1) October 13, 2023 これを見て私もGPT-4Vを試してみたくなったので、今回はChatGPTを使って、様々なAWSの構成図を入力し、どこまで正確にIaCコードを生成できるか確認してみます！ GPT-4Vを利用する際
今までに起こった AWS 障害情報履歴
今までに起こった AWS 障害情報履歴 AWSに過去どのくらい障害が発生したかを調べる必要がでたので、AWSが公表している公式の情報がないかを探してみるも、公式情報が全然見当たらない・・・。 仕方ないので、AWSサポートに問い合わせてAWSエンジニアの方へ電話で確認するも、AWSとしては過去の障害についてまとめて公表をしていないとの事でした。 SLAのからみなどから、きっと正式に公表がむずかしいのかもですね。 ということで、AWS公式情報がないので非公式情報ではありますが、ネットで確認調べる限りの情報をまとめてみました。 AWSは全世界にリージョンがありますが、日本のリージョン（東京と大阪）に絞って記載します。 2021年02月19日(金) az1障害発生 障害発生時間 ：約6時間 （2/19 23時 ～ 2/20 5時） 影響範囲 ：az1 のEC2、EBS 原因 ：セクショ
EC2やFargateが最大72%割引となる新しい料金モデル「Savings Plans」がリリースされました | DevelopersIO
AWSチームのすずきです。 2019年11月7日、AWSのEC2やFargateのオンデマンド料金が 最大72%割引で利用できる新しい料金モデル 「Savings Plans」 がリリースされました。 その概要と、従来のリザーブドインスタンス(RI)との比較について紹介させていただきます。 New – Savings Plans for AWS Compute Services 概要 1年、または3年間の期間で、1時間あたりの利用費をコミットする事により、 コミット分を割引価格で利用する事が可能になりました。 AWSコンソール EC2ダッシュボードに、「Savings Plans」のメニューが追加されています。 コミットメント 1時間あたりの利用費を登録します。 購入コミットメントの最小単位は「$0.001」。 最小コミットのSavings Plans を「期間3年」「全額前払い」で購入し
Amazon Web Services ブログ AWS ファイルストレージサービスの選び方 オフィス文書や画像データなどの様々な非構造化ファイルを、ファイル共有サーバや NAS（Network Attached Storage） などに格納して共有で利用されている方も多いと思います。AWS のファイルストレージサービスを利用することで、ファイル共有ストレージを簡単にクラウド上へ構築できます。また、AWS が提供するフルマネージドサービスのため、パッチ適用やストレージのディスク増設などの運用負荷を軽減できるメリットがあります。初期費用が不要の従量課金のため手軽に利用でき、調達が不要なのですぐに利用を開始することができます。また、ストレージのバックアップ機能が備わっているため、手間のかかるバックアップの設計や運用負荷も軽減できます。 AWS のファイルストレージサービスは、Amazon Ela
こんにちは、遠藤（@mametter）です。RubyKaigi Takeout 2020お疲れさまでした。 現在クックパッドには、フルタイムでRubyの開発をしている人が2人います（笹田と遠藤）。 それぞれ、Ruby 3の目標である並列性と静的解析の実現をメインミッションに据えて活動していますが、実はそれ以外にもRubyの開発を支えるための活動をいろいろやっています。 今回は、遠藤が関わっている範囲で、「Ruby開発者会議を支える技術」「Ruby開発のリモート議論を支える技術」「Rubyの品質を支える技術」についてざっと紹介してみます。 1. Ruby開発者会議を支える技術 Rubyに対する機能提案などの議論は、原則として、バグトラッカ上で行われます。 しかし、設計者であり最終決定権を持つmatzの多忙などの理由で、それだけでは議論が停滞してしまうのも事実です。 そこでRubyでは、開発促
11月11日に公開となった新海誠監督の映画最新作「すずめの戸締り」。制作に当たってはレンダリングなどの用途にクラウドサービス「Amazon Web Services」を活用しており、エンドロールにもAWSのロゴが載っているという。実際にクラウドで制作環境を構築・提供したシリコンスタジオ（東京都渋谷区）が発表した。 シリコンスタジオはクラウドを活用したレンダリング環境をAWSで構築。さらに、オンプレミスとAWS環境を組み合わせてレンダリングできる環境も設計・構築し、映画を制作したコミックス・ウェーブ・フィルム（東京都杉並区）に提供した。一連のシステムは映像制作ソフト「After Effect」や3Dモデリングソフト「3ds Max」「Houdini」などとも連携できるという。 環境の構築には、仮想サーバ「Amazon EC2」のうち、途中で利用を中断される可能性がある代わりに、安く利用できる
ちょいとした用途において、カジュアルにFargateの起動／停止を繰り返して、気ままに負荷全開かけていたら、あまりの違和感にCPU割り当てについて調査することにしました。 最近こんなことばっかやってる気がしますが、気に食わんかったからムカムカ解消に書くしかないんや。半分くらいブラックボックス与太話な感じで夜露死苦です。 はじまり とある処理を全開でFargateにやらせて、cpu=1024(100%), 2048(200%), 4096(400%) でどのくらい RPS (requests per second) でるかを計測していると、想定通りならほぼ比例でRPSが伸びるはずが、全然そうならないパティーンに遭遇。 並列過剰やエラー・バグ起因ではないことをほぼ確させた上で、まさかCPUガチャじゃあるまいなと試したら、まんまCPUガチャでしたということで、EC2からある話ではありますが、現在
Read this article in English. はじめに 見つけやすく、インストールしやすいソフトウェアパッケージは、開発者にとって使いやすいです。React、Ruby on Rails、Airflow のような有名な OSS は良い事例です。しかし、社内の非公開のコードは、企業秘密として世間から隠されることが多いです。権限を持っている人のみ見ることができて、オープンソースのように npm gem や pip で簡単にインストールすることもできません。 その結果、社内のコードがうまく再利用されなくなる（あるいはできなくなる）ことがあります。各チームはそれぞれ独立したコードベースを持ち、他のチームにコードを共有したくても、満足がいく解決策を導き出すことが難しかったりします。戦略を立てないままでは、それぞれの独立したコードベースを充実させ続け「社内共通のライブラリー」が遠い夢のよう
システムエンジニアの椎葉です。 ファイル数が多くなるとファイルの転送に時間がかかってしまいます。 ファイル転送の改善で処理時間やEC2のコストを削減することができます。 今回の例でも30%ほど転送時間＆コストを削減することができているので是非参考にしてみてください。 設定項目 今回改善するために変更する設定は下記の２つです。 項目名 説明 max_concurrent_requests 同時に実行できるリクエストの最大数を制御。この設定により、バケットへの同時アクセスを制御することができる。デフォルト:10 max_queue_size タスクキュー内の最大タスク数を制御。タスクが多くなると速度も速くなるが、比例して多くのメモリが必要になる。デフォルト:1000 設定変更のコマンド 設定を変更する際は下記のコマンドを実行します。 aws configure set default.s3.m
すでに多くの方々にお手に取っていただいておりますが、オライリージャパンから「ソフトウェア設計のトレードオフと誤り」の翻訳をフューチャーのメンバーと一緒に出版いたしました。好評なようで、発売一カ月ほどで増刷も決定いたしました。みなさまご購入いただき、ありがとうございます。初版をお買い求めになられたい方は今すぐ書店にダッシュ！ トレードオフこそが設計である良い設計とか読みやすいコードみたいな話題はツイッターではバズりやすい話題です。 読みやすいコードの話題ではいろいろなレイヤーの話が出てくるのですが、因数分解すると、だいたいいくつかのカテゴリーに分かれるように思います。 命名規則とか書き方のルール 従うべきクラス構造、アーキテクチャ構成の導入 サービスの境界をどこに引くか、どのようなときに設計手法を選ぶか、どのアルゴリズムを選ぶか 名前や命名規則の統一とか書き方の統一とかは用語のリストを作って
2021/10/22追記：最新版は下記記事になります！こちらもご一読くださいませ。 tech-blog.abeja.asia どうも、Tech Blog編集長(自称)の緒方(@conta_)です。 よくエンジニアの方にご質問いただく ABEJAってよく聞くけど、実際どんなことやってるのかよくわからない という点をクリアにするために、事業内容と技術視点でのABEJAの取り組みを紹介したいと思います。 ABEJAに興味のある方や、未来の一緒に働くメンバーに読んでいただけると嬉しいです！ 割とAIコンサルの会社と思われているらしいので、ちゃんとプロダクト作ってますよ！ということを伝えていきたい ABEJAの事業紹介 ABEJAは2012年から約7年間、機械学習・ネットワークやIoTデバイスを活用したプロダクトの研究・開発・運用を行っています。 様々な産業・業種へ機械学習の適用・運用を培ってきたナ
オンラインで開催されているAWS最大のグローバルカンファレンス「AWS re:Invent 2020」。12月2日に行なわれたAWS CEOのアンディ・ジャシー氏の基調講演では、データストア分野にもフォーカス。ストレージとデータベースの新サービスは、コスト削減と高い性能を求める顧客の声に応えた正常進化と言えそうだ。 もはや古いデータストアでは対応できない 3時間におよぶアンディ・ジャシー氏の基調講演において、コンピュート分野に続いて解説されたのがデータストアの分野だ。ここではデータを利活用するストレージの技術革新に加え、データベースへの取り組みも披露された。 まずゲストとして登壇したのは、2006年のAmazon S3ラウンチ当時にいち早くデータを格納したSmugMugの創業者であるドン・マクスキル氏。S3にデータをホストしたことで、最新の分析やデータ管理ツールを利用でき、1日数十億枚とい
MongoDBであるメリットが無くなってしまったのでMySQLに移行したはなし - KAYAC engineers' blog
SREチームの長田です。 この記事はTech Kayac Advent Calendar Migration Track 1日目の記事です。 今回はLobiで使用していたMongoDBをMySQLに移行したはなしです。 MongoDBを何に使っていたか DAUなどのKPIレポートや、サービスの状況を把握するための各種集計結果を保存するために使っていました。 サービス開始直後はこれらの数字を色々と試行錯誤しながら追加したり、減らしたりしていました。 頻繁な追加削除があるデータ構造を保存するために、スキーマレスなデータベースであるMongoDBはちょうどよかったようです。 (当時スキーマレスデータベースが流行っていたというのもあるでしょう) なぜ移行したのか MongoDBに保存されたドキュメントは、スキーマ管理がされていませんでした。 スキーマレスであることをいいことに、その時時によって様々
サーバーレスアーキテクチャーも大胆に導入！ 自律・自走できる組織作りを進めるカオナビのインフラチーム - はてなニュース
タレントマネジメントシステムを提供する株式会社カオナビでは、サービスをSaaS型にシフトするにあたってAWS（Amazon Web Services）を全面的に採用し、サーバレスの基盤開発でもAWSのマネージドサービスを積極的に活用しています。 そのベースにある「運用しない運用」という言葉の意図や、計測・監視の取り組み、アプリケーション開発の経験も活用できる「自走するインフラ組織」について、インフラグループの大久保智之さんと新井健さんに聞きました。 ※この記事は株式会社カオナビによるSponsoredContentです。 AWSへの移行から技術的な挑戦を進める サーバレスを推進して温かみある手順から脱出 開発の経験も生かしたアプリケーション監視と指標 自動化の原則は自走と自律 カオナビではエンジニアを積極募集しています！ AWSへの移行から技術的な挑戦を進める ── プロフィール（後掲）を
【アップデート】Amazon CloudFront を経由しないアクセスのブロックが簡単になりました | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程のアップデートで CloudFront の IP アドレスが Managed Prefix List でサポートされました。これにより CloudFront を経由しない不正なアクセスを簡単に弾くことが可能になります。CMS など CloudFront を使う機会が多いサービスではぜひご利用ください。また CloudFront で AWS WAF を使ってセキュリティを向上している場合の迂回路を塞ぐことができます。 Amazon CloudFront now supports a managed prefix list CloudFront を経由しないアクセス 今まで AWS で CloudFront を経由したアクセスだけ強制させる場合は、CloudFront ではカスタムヘッダを付与して、その値を ALB や Web サーバで
C5が一歩抜けた強さの割に全部 ECU=10 な時点でアレですが、さらに6g系は該当なしです。で、費用的には c5/m5 の比率と c6g/m6g の比率は同じ 86% です。 第５世代では、C5 はメモリが少ない分、安くCPUが高速だったので強い選択肢でしたが、第６世代ではメモリが少ない分、安い。だけになるので、C系を選ぶメリットがだいぶ弱くなりそうです。 単純に、14％安くしてc6gにするって考えよりも、14％高くしてメモリ倍の方がよくねっていう。そういうパターンのほうが多いんじゃないかと、いうだけで全然絶対じゃないですけど。 考えようによっては、AutoscalingGroupに複数のインスタンスタイプを指定するとき、c6g, m6g, r6g と混ぜてもCPU使用率の格差がAZ以外で起きづらくなるだろうから、扱いやすくなると言えなくもない。 vs C5 あまりに差が付きすぎて、自分
●相談者 男性 ７０代 ７０代男性です。５０年来の友人のことで相談させてください。 同じ大学から同じ会社に就職し、互いに独身の若い頃はよく遊びました。そのうち彼は同期の仲間たちのリーダーとなり、順調に出世し、部長まで務めました。一方、私は中間管理職止まりでした。友人の出世は自分にとってあまり喜ばしいことではありませんし、ライバル意識がなかったといえばうそになります。それでも在職中は自分もそれなりに納得していました。 ２人とも会社にいた時から、出身大学のＯＢ会の活動にも積極的に参加し、盛り上げてきました。共に定年退職して大学ＯＢ会の幹部役員になりました。彼は在職中の実績もあって組織の代表となり、私も彼をもり立てて、協力を惜しまずナンバー２の地位にいました。 やがて役員改選の時が来ました。私は自分が代表に推されると勝手に思っていたところ、彼は自分の後継に別の人間を指名しました。私としては、彼か
はてなブログをECSに移行してリリース頻度も改善した話 - Hatena Developer Blog
この記事ははてなエンジニア Advent Calendar 2022の26日目のエントリです。 こんにちは id:cohalz です。はてなブログでは2022年7月にインフラをAmazon EC2からAWS ECS(AWS Fargate)に移行するプロジェクトが完了しました。 プロジェクトは2021年9月から始まったので約10ヶ月間という大きなプロジェクトでした。 プロジェクト完了までに行ってきたことのうち、特に面白かったところなどをこの記事で実施した順に振り返ってみます。 はてなブログのインフラのこれまで アプリケーションを動かせるようにする ALBを追加する 検証環境を用意だけしておく プロキシの設定埋め込み 証明書の配信 アクセスログを配送できるようにする アクセスログの形式を新しくする EC2でもFirehoseを経由するように タイムゾーンをUTCに統一 FirehoseのLa
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
インフラエンジニア1年生がプログラミングを勉強するのに使った教材 - Qiita
AWS上でどのようにゼロトラストアーキテクチャを考えていくか | Amazon Web Services
シン・エヴァの「聖地巡礼」 庵野さん地元にファン殺到：朝日新聞デジタル
ゼロトラストアーキテクチャ: AWS の視点 | Amazon Web Services
Herokuにあった個人アプリを軒並み対応した - くりにっき
PathtraqというLifeLogサービスを作った - たごもりすメモ
月間1.6億秒の Lambda x Node.js 利用から得られた知見
Amazon VPC設計時に気をつけたい基本の5のこと | DevelopersIO
5分の設定でAWSの料金を最大57％カットしてくれるサービス「Usage」の仕組み＆レビュー
平城宮跡に4足ロボット AI学習しながら点検作業へ：朝日新聞デジタル
くらめその情シス：クラスメソッドの基幹ネットワーク構成を紹介します。 | DevelopersIO
SSRF対策としてAmazonから発表されたIMDSv2の効果と限界
AWS Batch ベストプラクティスまとめ | Amazon Web Services
AWSコスト最適化の勘所のまとめ - Qiita
EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers
AWS ファイルストレージサービスの選び方 | Amazon Web Services
Rubyの開発を支える技術 - クックパッド開発者ブログ
「すずめの戸締まり」制作でもAWSが活躍 レンダリングで活用 エンドロールにも……
AWS ECS Fargate のCPU性能と特徴 | 外道父の匠
社内コードを公開せずに内部で共有する方法 - Qiita
S3へのファイル転送を高速化する手順 - skymatix Developers Blog
ソフトウェア設計のトレードオフと誤りを出版しました | フューチャー技術ブログ
ABEJAの技術スタックを公開します (2019年11月版) - ABEJA Tech Blog
老兵のようなRDBMSからの解放を AWSが手がけるデータストアの再発明
AWS Graviton2 新CPUの性能検証 | 外道父の匠
（悩みのるつぼ）亡き友に問い逃したこと＝おことわりあり：朝日新聞デジタル