「YAPC（Yet Another Perl Conference）」は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ここで面白法人カヤックのmacopy氏が「デプロイ今昔物語 〜CGIからサーバーレスまで〜」をテーマに登壇。さらに「Push型のデプロイ」と「Pull型デプロイ」について話します。前回はこちらから。 Push型のデプロイmacopy氏：というわけで、（ここまで）アーキテクチャやプログラミングインターフェイスに関してデプロイの技術を紹介してきましたが、ここからはサーバーへの反映方法について紹介しようと思います。 今までずっとFTPをやっていましたが、FTPの説明をしていないですよね。ですが、まぁ（先ほどデモを）やったからいいかなと思っていて。（FTPを）使ってデプロイしていたのでとりあえず省略。ああいう感じでファイルをそのままピュッと上げるインターフェ
論文DynamoDB 2022に関するいくつかのメモ
PingCAPはエンタープライズ向けのソフトウェアサービスプロバイダーとして2015年に設立され、オープンソースでクラウドネイティブなワンストップのデータベースソリューションを提供することにコミットしています。PingCAPの代表的なプロジェクトであるTiDBは、オープンソースの分散型ハイブリッド・トランザクション/分析処理（HTAP）データベースで、水平方向の拡張性、強力な一貫性、MySQLとの互換性を備えた高い可用性を特徴としています。 ※このブログは2022年8月12日に公開された英語ブログ「Some Notes on the DynamoDB 2022 Paper」の拙訳です。 著者: Ed Huang (PingCAP共同創設者兼CTO) 編集者: Fendy Feng, Tom Dewan DynamoDBが論文を発表してから長い時間が経ちました。数日前、私はその新しく出版され
Amazon Web Services ブログ 単一アベイラビリティーゾーンでのアプリケーション障害からの迅速な復旧 2023 年 5 月 3 日のアップデート このアップデートにより、Amazon Route 53 Application Recovery Controller のゾーンシフトは、以下の AWS リージョンでも利用できるようになりました。 詳しくは、更新された What’s New ポストまたはゾーンシフトのドキュメントでご確認ください。 本日は、Elastic Load Balancing (ELB) に組み込まれた Amazon Route 53 Application Recovery Controller (Route 53 ARC) の新機能であるゾーンシフトをご紹介します。ゾーンシフトを実行することで、単一のアベイラビリティゾーン (AZ) 内のアプリケーショ
AWS Control Tower でコントロールを適用する際のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS Control Tower でコントロールを適用する際のベストプラクティス マルチアカウント環境で効果的なガバナンスを実現し AWS のベストプラクティスや一般的なコンプライアンスフレームワークと連携させる作業は、複雑になることがあります。多くのお客様、特に規制の厳しい業界で事業を営むお客様は、リスクを特定し、サービス間の関係や依存関係に対処するための独自の統制を開発するために、時間とリソースを投資する必要があるという課題に直面しています。このプロセスによって、新しいサービスを実装する際のタイム・トゥ・バリュー (TTV) が長くなることがあります。 AWS Control Tower は、コンプライアンスドメイン全体にわたる包括的なコントロールをお客様に提供し、強固なコンプライアンスフレームワークの確立を促進します。AWS のベスト
新規 — AWS Service Catalog を使用した Terraform オープンソース構成のセルフサービスプロビジョニング | Amazon Web Services
Amazon Web Services ブログ 新規 — AWS Service Catalog を使用した Terraform オープンソース構成のセルフサービスプロビジョニング AWS Service Catalog では、AWS での使用が承認された Infrastructure as Code (IaC) テンプレートのカタログを作成、管理、管理できます。このような IaC テンプレートには、仮想マシンイメージ、サーバー、ソフトウェア、データベースから完全な多層アプリケーションアーキテクチャまで、あらゆるものが含まれます。個人、グループ、部門、またはコストセンターに基づいて、使用可能な IaC テンプレートとバージョン、各バージョンで設定する内容、各テンプレートにアクセスできるユーザーを制御できます。エンジニア、データベース管理者、データサイエンティストなどのエンドユーザーは、日常
TerraformがAWS SSO(Single Sign-On)に対応してました | DevelopersIO
上記エントリを書いた際(2020/10/29時点)には、TerraformでAWS SSO(Single Sign-On)のリソースをプロビジョニングすることはできませんでした。が、その後terraform-provider-awsのv3.23.0、v3.24.0で一部リソースのプロビジョニングができるようになりましたので、使ってみたいと思います。 Support for Managing AWS SSO Permission Sets · Issue #15108 · hashicorp/terraform-provider-aws 追加された Resource / Data Source Resource aws_ssoadmin_account_assignment aws_ssoadmin_managed_policy_attachment aws_ssoadmin_permiss
Kubernetes アプリケーションの公開 Part 1: Service と Ingress リソース | Amazon Web Services
Amazon Web Services ブログ Kubernetes アプリケーションの公開 Part 1: Service と Ingress リソース この記事は Exposing Kubernetes Applications, Part 1: Service and Ingress Resources (記事公開日: 2022 年 11 月 22 日) を翻訳したものです。 はじめに 連載「Kubernetes アプリケーションの公開」では、Kubernetes クラスターで実行されているアプリケーションを、外部からのアクセスのために公開する方法に焦点を当てます。 連載の Part 1 では、Kubernetes クラスターでインバウンドトラフィックの制御を定義する 2 つの方法である Service と Ingress リソースタイプについて探ります。Service コントローラ
この記事について CaSEというPodcastを時々聴いているのだけど、その最新話がTeam Topologiesの著者であるManuel Pais氏のゲスト回だった。すごく学びが多く、同じ悩みをもつ人も多いと思ったので内容や思考を整理してみたものを記事化してみた。ちなみに書籍のTeam Topologiesは読んでいません。 “two pizza” チームの挑戦 話はAmazon CTOのVerner Vogelのインタビューから始まる。2006年頃にジェフベゾスがTwo pizzaチームの話をしたのは有名だが、面白いのはAWSはまさにプラットフォームチームをX as a Serviceモードにした結果になっていて、意図的ではないにしろトポロジーを体現していたのだと思った。これは後半のプラットフォームチームの話にも繋がってくる 本題に戻ると、Two pizzaサイズで自己組織化に向かった
その後、ポイントカードを導入いたします。 ちょっと自慢になってしまいますが、ポイントカード、後のゴールドポイントカードは、現在ではどこでも当たり前の仕組みですが、導入したのは全ての業界の中で実はヨドバシカメラが最初となっております。 1998年にECサイトを開設し、その後、サイトのマルチリージョン化や、配達サービスとつないで東京23区内には無料で当日お届けするサービスも2010年からやっております。これはエリアを拡大して主な大都市でも展開するようになっております。 13年には、ECサイトで注文いただいた商品を近くの店舗で受け取っていただくサービスも開始し、2015年には電子書籍サービスも開始いたしました。 面白い取り組みといたしまして「ヨドバシフリーWi-Fi」があります。店舗の中にフリーWi-Fiのサービスを設けて、店内で商品を撮影してSNSへ自由に投稿してください。他店との比較もその場
AWS Service Catalog は追加の Infrastructure as Code (IaC) プロビジョニングツールのサポートを発表
AWS Service Catalog のお客様は、Ansible、Chef、Pulumi、Puppet などのサードパーティの Infrastructure as Code (IaC) ツールを使用して設定された AWS リソースを作成、配布、起動できるようになりました。AWS Service Catalog 内では、以前サポートされていた AWS CloudFormation と HashiCorp Terraform Cloud の構成に加えて、これらの IaC ツールを使用できます。 この機能の導入により、お客様は使用する IaC ツールを移行または変更しなくても、AWS Service Catalog を単一のプラットフォームとして利用して、AWS リソースの整理、管理、配布を行うことができます。この機能は、アクセスコントロール、タグ付け、バージョニング、最小アクセス権限の維持、
論文から垣間見るAmazon Redshiftの進化と深化 2022 #jawsug #bdjaws | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。 本日は、2022年5月に発表された論文 「Amazon Redshift re-invented」を実際に読み、難しいところや弊社が実際に検証をした点を補足して解説します。普段はRedshiftの機能や使い方の解説が多く、あまり触れられることの少ないUnder the hoods 的なお話しようと思います。 本エントリはAWS Analytics Advent Calendar 2022の12/24（土）の記事です。 論文の詳細については、2022/12/19のBigData JAWS #22にて、登壇した資料をご覧ください。ブログの中では、紹介した機能についてのブログを紹介しています。 このブログをおすすめする人 オライリーの「データ指向アプリケーションデザイン」や「詳説データベース」とかを読むと、Redshiftの内部が
「コードを書けないITインフラ担当者に『Infrastructure as Code』は無理」が誤解である理由
「コードを書けないITインフラ担当者に『Infrastructure as Code』は無理」が誤解である理由：テレワーク時代のITインフラ管理効率化の切り札 ITインフラの構成自動化は「Infrastructure as Code」とも呼ばれ、近づきにくい印象がある。だが、それは誤解だ。アイティメディア ＠IT編集部の三木泉が、全社的にAnsible対応を推進するデル・テクノロジーズの岡野家和氏および小幡健一氏と話し合った。 インフラ構成作業をコード化することで再利用や自動化につなげる「Infrastructure as Code」は、大規模なWebテクノロジー企業を中心に実践されてきた。利用実績や事例が蓄積された結果、アプリケーションサービスベンダーから一般企業まで、より幅広いIT運用現場での活用が考えられるようになってきた。 特にソフトウェアがビジネスの中核的な機能を担っている企業に
オンプレミスにAmazon EKSと同等の環境を構築する「Amazon EKS Anywhere」がベアメタルサーバに対応。VMware環境が不要に
Amazon Web Services（AWS）は、オンプレミスのサーバ上にAmazon EKSと同等のKubernetes環境を構築できるソフトウェア「Amazon EKS Anywhere」が、ベアメタルサーバに対応したことを発表しました。 Amazon EKS Anywhereは、2021年9月にリリースされたソフトウェアです。 参考：Amazon EKS Anywhereが正式リリース。オンプレミスにAmazon EKSと同様のKubernetes環境を無料で構築可能 AWSのクラウド上でKubernetesによるコンテナオーケストレーション、ノードプロビジョニング、Kubernetes自身のパッチ適応や更新、統合的な管理コンソールなどをマネージドサービスで提供する「Amazon Elastic Kubernetes Service（Amazon EKS）と同等の環境を、VMwar
世界ではPCよりはるかに多くのモバイルデイバイスが使われており、自宅などリモートで仕事をする機会が増えていることから、従業員が持つ携帯端末は企業にとって主要な攻撃ベクトルとなりつつあります。セキュリティサービス大手のCloudflareが、見落とされがちなモバイルデイバイスのセキュリティをゼロトラストで保護する「Zero Trust SIM」を発表しました。 The first Zero Trust SIM https://blog.cloudflare.com/the-first-zero-trust-sim/ Securing the Internet of Things https://blog.cloudflare.com/rethinking-internet-of-things-security/ Cloudflare launches an eSIM to secure mo
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
この記事では、Cloud Service Mesh for Cloud Run を利用して PR 環境を構築する方法について紹介します。 背景・概要 newmo ではトランクベース開発を行なっているため、開発環境での動作確認は main branch (trunk) に merge されていることが前提になっています。 そのため現状では、手軽に開発環境で API の動作確認ができなかったり、動作検証が十分でないコードが main branch に merge されてしまう課題があります。CI での test 実行などにより一定品質は担保していますが 、PR 環境 (GitHub の Pull Request ごとに用意される一時的な環境) で QA ができれば問題発見のタイミングを前にずらすことができます。 PR 環境の要件は以下の通りです。 機能追加を行なった PR が実際に Cloud
こんにちはまたはこんばんは、バクラク事業部 Platform Engineering 部でID基盤などを管理するチームに所属してあれこれやっている id:convto といいます。 認可などに関連することからバクラクでも「組織図」と表現されるリソースを弊チームで管理しているのですが、今回はその組織図についてお話しします。 この記事で取り扱う組織図リソースについて この記事で「組織図」と表現されるものは、組織の階層をあらわす木構造と、それぞれのチームの従業員所属情報などを管理するリソース全体を指します。 よくある例を簡易的な図で示します。 組織図の例 各社に合わせた情報統制を実現しようとしたとき、組織図は重要な情報です。この組織図をベースにたとえば「あるチームに所属していたらある申請を承認可能にしたい」や、「上位部門に所属している場合はそれ以下のチームに関連するリソースを閲覧可能にしたい」な
AWS Organizationsあり、外部認証基盤なしでSingle Sign-On(SSO)を使うべきか | DevelopersIO
現在参画中のプロジェクトでAWS Single Sign-On(以下SSO)を利用するべきかどうか検討しました。 要件 Organizationsを使って、複数アカウントを管理する AD等の外部認証基盤は無い コードで構成管理したい (Infrastructure as Code) ManagementAccount(旧名MasterAccount)はできる限りいじりたくない できるだけ簡単に設定・管理したい できるだけ簡単に各アカウントにアクセスしたい ユーザーあるいはグループごとに細かな権限設定をしたい MFA(多要素認証)必須 (にするかも) AWSアカウントへのアクセスのみが目的。SAML 対応のクラウドアプリケーション (Salesforce、Office 365、Dropbox など)や他アプリケーションで認証基盤を共用することは考えていない ※ SSOで実現できる機能です 選
ZOZOのSREが行くAWS Summit Japan 2024参加レポート - ZOZO TECH BLOG
こんにちは。SRE部プラットフォームSREブロックの高塚です。 6月20日、21日の2日間に渡って幕張メッセで開催されたAWS Summit Japanに、SRE部から10名以上のエンジニアが参加しました。この記事では熱気あふれる会場の様子と面白かったセッションについてご紹介します！ AWS Summit Japanとは 会場の様子 セッションレポート おわりに AWS Summit Japanとは www.youtube.com AWS Summit Japanは延べ3万人以上が参加する日本最大の「AWSを学ぶイベント」です。今年は昨年に引き続き幕張メッセで2日間にわたり開催されました。ライブ配信も行われたほか、2024年7月5日まではオンデマンド配信を視聴できます。 aws.amazon.com ちなみに2023年と2019年以前はAWS Summit Tokyo、2020年から202
BigQuery MLでスロット使用量が急増しているプロジェクトやユーザーを異常検知する - yasuhisa's blog
背景 どうやって異常を検知するか BigQuery MLでの異常検知 検知できるモデルの種類 共通設定 データの前準備 モデルの学習 モデルを元にスロット使用量が異常に増加していないか予測する 所感 背景 BigQueryはオンデマンドとフラットレート(定額料金)がある オンデマンドはスキャン量がお金に直結するため、INFORMATION_SCHEMA.JOBS_BY_*などを使ってクエリ警察をしている方も多いはず INFORMATION_SCHEMAに代表されるデータ管理に役に立つ現場のノウハウを最近会社のTech Blogに書いたので、そちらも見てね 一方で、フラットレートに関しては定額使いたい放題のプランであるため、オンデマンドよりはクエリ警察をしていない場合もある 見れるなら見たいが、どうしても支出に直結するオンデマンドを優先して見てしまいがち。工数も限られている が、あまりに自由
AWSで10万円溶かした話 - Qiita
例えば、無料利用枠の推奨メモリである『t2.micro』の場合、東京リージョンだと0.0152USD/時間の課金が発生し、現在の為替レートだと約1.6円/1時間となる。 AWSの課金項目は大きく2種類存在しており、上表1,2のように起動している時間だけ課金が発生するものと上表3のようにデータ転送が発生した場合にのみ課金が発生するものがある。 何を思ったのか私は3のようなデータ転送を行っていないから、使わないサーバの消し忘れを甘く見ていたのであった ＃普通に考えれば起動している時間だけ課金が発生するものの方が高いに決まっている #実際の利用明細 以下が実際に今月私が請求されたAWSの利用明細である。 私はこの驚愕の数字に軽く1時間は茫然自失していた。 もうじきハロウィンの季節だが、ドッキリにしては痛手がすぎる。 AWS サービスの料金 $796.20 API Gateway $0.00 Cl
Microsoft Build 2020 で、Azure App Service の新たなオプションとして 静的サイトのホスティング を実現する Static Web Apps が発表になりました（執筆時点で Public Preview）。JavaScript で開発する Web フロントエンドのメインストリームである SPA（Single Page Application)）や 静的サイトジェネレータを使う JAMstack の運用に最適化されているそうです。 詳細は 公式アナウンス や 公式ドキュメント: Azure Static Web Apps documentation を読んだ方がいいですが、ざっと現在わかっている機能や特徴を書いておきます。 App Service Static Web Apps の概要App Service Static Web Apps（名前が長いので以
新機能 – Lambda関数の共有ファイルシステム – Amazon Elastic File System for AWS Lambda | Amazon Web Services
Amazon Web Services ブログ 新機能 – Lambda関数の共有ファイルシステム – Amazon Elastic File System for AWS Lambda 本投稿は AWS の Chief Evangelist (EMEA)であるDanilo Pocciaによる寄稿です。 AWS Lambda関数がAmazon Elastic File System（EFS）をマウントできるようになったことを非常に嬉しく思います。EFSは、高可用性と耐久性のために複数のアベイラビリティーゾーン（AZ）にまたがってデータを格納するスケーラブルでエラスティックなNFSファイルシステムです。このように、使い慣れたファイルシステムインターフェイスを使用して、関数単体、および複数のLambda関数のすべての同時実行環境にわたってデータを保存および共有できます。 EFSは、強力な整合性
[随時更新] AWS re:Invent 2020 Keynote で発表された新サービスまとめ #reinvent | DevelopersIO
ご機嫌いかがでしょうか、豊崎です。 今年もre:Invent 2020 キーノートではたくさんの新サービス/新機能が発表されるものと思います。 本投稿では、AWS re:Invent 2020のキーノートで発表された新サービスの記事をまとめます。 AWS re:Invent 2020では以下5つのキーノートが計画されています。 12/2： Andy Jassy Keynote 12/4： AWS Partner Keynote 12/9： Machine Learning Keynote 12/11： Infrastructure Keynote 12/16： Werner Vogels Keynote [随時Updateしていきます 2020/12/16 02:57 JST 更新] AWS Late Night Week 1 インフラストラクチャ キーノート前に１つ大きな発表がありました
![[随時更新] AWS re:Invent 2020 Keynote で発表された新サービスまとめ #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/108283f44a84b85921c0b31cf88831b365a682d7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-standard-hanyo.jpg)
CloudflareはWaiting Room/待合室という機能を提供しています。これは、高負荷が予測されるウエブサイトに対して、その前段に待合室というものを作成し、順次アクセスしてきたユーザーを順番にオリジンウェブサイトにリダイレクトしてあげる機能です。これを用いることで設計を超える急激なユーザーのアクセスをHTTP500エラー等を出力することなく捌くことが可能となり、ユーザー全体の体験を向上させることが可能です。 勿論、多くのユーザーは待ち時間を経験することになります。本質的にはウェブサイトはクラウドのAuto Scalingや例えばAmazon Aurora等のクラウドネイティブデータベースを用いることで、同時処理可能数を引き上げることが本質的な解決となりますが、アプリケーションによってはセッション管理がAuto Scalingに対応していなかったり、そもそもクラウドで動作していない
【AWS】AWS Lambda + ChatGPT でS3オブジェクトの自動タグ付けを実現する (Terraformコード付き) - APC 技術ブログ
はじめに こんにちは、クラウド事業部の葛城です。 今回は、AWS Lambdaを活用してS3にオブジェクトを配置した際に、ChatGPTを活用して自動で内容を分析してタグ付けするシステムを構築しました。 AWS LambdaとAmazon S3を初めて触る方や、コードを書いて少し格好良くシステムを構築したいAWS初学者向けの内容になります。 GitHubでコードを公開しています。 github.com こだわったポイントとしては、ChatGPTのAPIを試してみたかったので、s3のタグ生成の機能として活用しました。 また、AWSのインフラストラクチャをTerraformを使ってコード化したので、IaCにする際のTipsやAWSの IaCに興味ある方の参考になればと思います。 目次 はじめに 目次 1. AWSサービスの概要 AWS Lambda Amazon S3 2. 自動タグ付けアプリ
インターネットイニシアティブ（IIJ）は、ウェアラブル機器やIoTデバイスで、コンシューマー向けeSIMを利用可能にする新技術「LPA Bridge」を発表した。 LPA Bridgeの誕生に至った背景 eSIMとは通信に必要な情報を含むeSIMプロファイルを、インターネット経由でダウンロード（リモートプロビジョニング）し、物理SIMを使わずにモバイル通信サービスを利用可能にするためのもの。eSIMのリモートプロビジョニングには移動体通信事業者の業界団体「GSMA（GSM Association）」により、「コンシューマモデル」と「IoTモデル」の2つの規格が定義されている。 1つ目のコンシューマモデルはスマートフォンのように入出力装置（キーボード、カメラなど）が具備された機器での利用を想定したもの。QRコードの読み取りやアクティベーションコードの入力などで、ユーザーが使いたい通信サービス
GitLabとGoogle Cloudの統合がパブリックベータに。GitLabの認証からソースコード管理、ランナーの実行、デプロイまですべてGoogle Cloud上で
GitLabとGoogle Cloudの統合がパブリックベータに。GitLabの認証からソースコード管理、ランナーの実行、デプロイまですべてGoogle Cloud上で ソースコード管理やCI/CD機能などの開発プラットフォームを提供するGitLabは、Google Cloudとの本格的統合をパブリックベータとして公開しました。 これによりGitLabの認証、ソースコード管理、CI/CDランナーの実行、デプロイまでパイプライン全体がGoogle Cloudのサービスと連係統合され、ユーザーはこれらを利用して迅速にDevOpsのパイプラインを実行できるようになります。 Imagine a world where you can seamlessly move from code creation to deployment — all within a single integrated p
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年5月号 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。 先月に引き続き、re:Invent2022で発表された新機能やサービスが利用可能になりました。 Amazon Redshift MERGEステートメント Lake Formationとのデータ共有の集中型アクセス制御 Dynamic Data Masking AWS Glue Visual ETL が新しいネイティブ Amazon Redshift 機能をサポート その他にも、様々なアップデートがありますので、是非チェックしてください。 Amazon Redshift 新機能・アップデート 2023/04/13 Amazon Redshiftの文字列クエリのパフォーマンスを最大63倍向上 Amazon Redshift
Amazon OpenSearch Serverless による手軽なログ分析 | Amazon Web Services
Amazon Web Services ブログ Amazon OpenSearch Serverless による手軽なログ分析 この記事は、Log analytics the easy way with Amazon OpenSearch Serverless を翻訳したものです。 先日、Amazon OpenSearch Service の新しいサーバーレスオプションである Amazon OpenSearch Serverless が発表されましたが、これにより OpenSearch クラスターを構成、管理、スケールする手間なく大規模な検索および分析ワークロードを容易に実行することができます。非常に要求が厳しく予測不可能なワークロードに対しても高速なデータ取り込みとクエリ応答を実現するために、基盤となるリソースを自動的にプロビジョニングし、スケールします。 OpenSearch Serv
AWSアカウント間のDynamoDBテーブルコピーをData PipelineからStep Functions + AWS Backupに変更しました - Uzabase for Engineers
NewsPicks SREチームのEdwin Wilsonです。 NewsPicksでは開発環境のテストデータのプロビジョニングを行うツールとしてDatarefreshというものがあります。 このツールは本番環境のデータストアから開発環境のデータストアに対してデータを同期するアプリケーションです。 対象のデータストアは以下となります。 Amazon RDS Amazon DynamoDB Amazon S3 Amazon ElastiCache 個人情報はRDSにのみに存在しており、マスク処理を行った後、同期しています。 DynamoDB ,S3, ElastiCacheには個人情報を存在しないため、開発に必要なデータをそのまま同期しています。 Datarefreshの実行は開発者がいつでもChatopsで行えます。 ChatopsでDatarefreshの実行の仕方 Chatopsで呼び
AWS Compute Optimizer を使用した AWS Lambda のコストとパフォーマンスの最適化 | Amazon Web Services
Amazon Web Services ブログ AWS Compute Optimizer を使用した AWS Lambda のコストとパフォーマンスの最適化 本投稿は AWS Compute Optimizer のシニアプロダクトマネージャーである Brooke Chen、AWS Compute Optimizer のプリンシパルプロダクトマネージャーである Letian Feng、Amazon EC2 のプリンシパルデベロッパーアドボケイトである Chad Schmutzer による寄稿です。 コンピューティングリソースの最適化は、あらゆるアプリケーションアーキテクチャにとって重要な作業です。計算処理リソースの過剰なプロビジョニングは不要なインフラストラクチャコストにつながる一方で、不足すると、アプリケーションのパフォーマンスの低下につながります。 2019年12月に開始された AWS
#[shuttle_service::main] async fn axum(#[shuttle_aws_rds::Postgres] pool: PgPool) -> ShuttleAxum { ... } のように引数に必要とするリソースを書くと、自動で必要なものがプロビジョニングされて、何も考えなくてもプログラムから使える状態にしてくれるみたいです。Infrastructure-From-Codeと呼ばれるパラダイムのようです。あんまり良く知らなかったのですが、別途インフラ設定のコードを書くのに比べると、リソースの定義がそれを必要とするコードに直接書かれているし、コンパイラのチェックも入れられるので、たしかに筋が良いような感じを受けました。 shuttle依存の部分はここだけなので、あとはaxumを用いた普通のREST APIのコードを書いていくだけです。 axumはRustのデファ
Amazon EFS を使用して WordPress のパフォーマンスを最適化する | Amazon Web Services
Amazon Web Services ブログ Amazon EFS を使用して WordPress のパフォーマンスを最適化する 多くの組織は、単一ノードインストールを使用して WordPress のようなコンテンツ管理システム (CMS) を使用していますが、マルチノードインストールがパフォーマンスと可用性の面でメリットを提供するベストプラクティスであることから、これを使用することで恩恵を受けることができます。AWS Well-Architected フレームワークの信頼性の柱では、次の設計原則を推奨しています。すなわち、「水平方向にスケールしてシステム全体の可用性を高める: 1 つの大規模なリソースを複数の小規模なリソースに置き換えることで、単一の障害がシステム全体に与える影響を軽減します。リクエストを複数の小規模なリソースに分散させることで、共通の障害点を共有しないようにします」と
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（後編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編になります． tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります． 後編：SageMakerのリソースを用いてモデルのデプロイ（サービングシステムの構築）をStep Functionsのフローに組み込んだ話 モデル学習後の一連の流れで，推論を行うためにモデルのデプロイやエンドポイントの作成をStep Functionsで実装した内容になります． 今回紹介するのは下図の青枠箇所の内容になります． 検閲システムのアーキテクチャー概略図 目次 はじめに Step Functionsを使ってサービングシステムを構築する方法 学習済みモデルを含んだ推論コンテナの設定（モデルの作成） エンドポイントの構成を設定 エンドポイントの作成とデプロイ 機械
AWSでの通信ネットワークのデプロイと管理を自動化し、通信サービスプロバイダーが簡単かつ迅速にネットワークの構築、拡張できるよう支援 Amdocs、Infosys、O2 Telefónica などのお客様およびパートナーがAWS Telco Network Builder を採用 （シアトル — 2023 年 2 月22 日）Amazon.com, Inc. （NASDAQ: AMZN）の関連会社である Amazon Web Services, Inc.（以下、AWS）は2月22日、通信ネットワークを AWS 上でデプロイ、運用、拡張するお客様を支援するフルマネージドサービス、AWS Telco Network Builder の一般提供を開始したことを発表しました。通信サービスプロバイダーが、ネットワークの詳細（接続ポイント、ネットワーキング要件、コンピューティング需要、地理的分布など）
2月7日、Google Cloudがブログで紹介したところによると、大規模言語モデル（LLM）をGPUなしでローカル実行できる新しいツール「localllm」を発表した。localllmはCPUとメモリでLLMを実行可能にし、特にGPUの不足が課題となる開発者に新たな選択肢を提供する。 このアプローチでは、Google Cloudの完全管理型開発環境であるCloud Workstations内で、GPUなしでLLMを実行できる。具体的には、HuggingFaceの「TheBloke」リポジトリのLLMモデルを使用し、CPUや低消費電力GPUで動作できるように最適化された量子化手法を採用している。 量子化モデルは、制限された計算リソースを持つローカルデバイスで効率的に動作するように最適化されたAIモデルだ。例えば、以下の利点が挙げられる： パフォーマンスの向上: 低精度データ型を使用すること
IBMによるHashiCorp買収、注目は“Red Hat製品とのシナジー”とBSLライセンスの扱い IBMとHashiCorpは4月24日（米国時間）、IBMが約64億ドルでHashiCorpを買収するという契約を両社が締結したことを発表しました。IBMは1株あたり現金35ドルを支払い、買収はすべて手持ちの現金で行われます。買収発表前日のHashiCorpの株価は24.88ドルでしたので、10ドル以上のプレミアムが乗せられたことになります。 IBMのリリース IBM to Acquire HashiCorp, Inc. Creating a Comprehensive End-to-End Hybrid Cloud Platform HashiCorpのブログ HashiCorp joins IBM to accelerate multi-cloud automation Has
Amazon Web Services ブログ AWS SaaS Boost がオープンソースとしてリリースされました re:Invent 2020 で、Amazon は AWS SaaS Boost の プレビューを発表 しました。これは、ソフトウェア開発者が既存のソリューションの提供形態を SaaS (Software-as-a-Service) モデルに移行するのをサポートするツールです。AWS SaaS Boost を、AWS 上で貴社の SaaS を推進および管理するのに役立つすべての地上運用とロケットを備えた、アプリケーションのスペースローンチシステムとして考えてください。SaaS Boost によって SaaS へのアプリケーション変換を迅速化することで、開発作業を大幅に軽減し、ソフトウェア開発者は自社製品を差別化する機能の開発に集中できるようになります。何百人もの開発者から
※この投稿は米国時間 2022 年 4 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud などのパブリック クラウド上で実行されている環境で Terraform リソースをプロビジョニングしていて、そのリソースを破棄、再作成してクリーンな状態から開始する必要があるとしましょう。 Terraform には、これを実現するための 2 つのツールが備わっています。 terraform taint コマンド。Terraform 状態でオブジェクトを tainted としてマークするように Terraform に指示します。オブジェクトが tainted としてマークされている場合、Terraform はそのオブジェクトの置き換えを提案します。（このコマンドは非推奨とされています）。 terraform apply と terraform p
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
冗長化に伴うPush型デプロイの難点を補うために “自律的に”動く「Pull型デプロイ」という提案 | ログミーBusiness
単一アベイラビリティーゾーンでのアプリケーション障害からの迅速な復旧 | Amazon Web Services
Team Topologies(by Manuel Pais)のキーポイント
ヨドバシの“中の人”が初めて語る 「ヨドバシ.com」を支える内製プライベートクラウドの中身
CloudflareがゼロトラストのeSIM「Zero Trust SIM」を発表
ansibleでkubernetes環境の構築 1 - Qiita
Cloud Service Mesh for Cloud Run で実現する PR 環境 - newmo 技術ブログ
組織図に対するさまざまな要求と現在地 - LayerX エンジニアブログ
Azure App Service に Static Web Apps が登場！
Cloudflare Waiting Room (待合室）を設定する方法
スマホのeSIMを“かんたん”にIoT機器へ実装 IIJが新技術「LPA Bridge」を開発
YewとaxumとShuttleで RealWorld example を書いてみた
AWS、AWS Telco Network Builder を発表
Google、GPU不要でLLMの実行を可能にするツール「localllm」を公開
IBMによるHashiCorp買収、注目は“Red Hat製品とのシナジー”とBSLライセンスの扱い | gihyo.jp
AWS SaaS Boost がオープンソースとしてリリースされました | Amazon Web Services
Terraform リソースの再作成の強制 | Google Cloud 公式ブログ