GCPのCloud Pub/Sub Push SubscriptionをAWSで実現する - LayerX エンジニアブログ
この記事はLayerX Tech Advent Calendar 2022の20日目の記事です。 こんにちは。LayerXのバクラク事業部でOpsエンジニアをやっている@civitaspoです。みなさん、GCPのCloud Pub/Sub Push Subscriptionはご存じですか？便利ですよね。この記事では、あの便利さをAWSで実現する方法を紹介したいと思います。 GCPのCloud Pub/Sub Push Subscription とは？ GCPにはCloud Pub/Subというメッセージングサービスがあります。Pub/Subモデルを実現するGCPのマネージドサービスです。Cloud Pub/Subには3つのSubscription Typeがあり、その一つがPush Subscriptionです。 cloud.google.com cloud.google.com 引用した
【アップデート】ECSタスク定義を利用したローカル環境でのテスト実行が可能に！ | DevelopersIO
完全独自仕様だったECSのタスク定義はローカル環境で使うのが難しかったのですが、それがめっさ簡単になるという超絶アップデートです。 「Docker ComposeとECSタスク定義の2重管理めんどくさい(TдT)」 ECSはフルマネージドのコンテナコントロールプレーンとして、AWS上のコンテナワークロードのデファクトスタンダードと言えます。ただ、EKSとは違ってECSは完全にAWS独自仕様のため、ローカル環境やAWS以外の環境で、その設定情報をそのまま流用できないのが難点でした。 今回、ECS CLIのローカルテスト機能が、思いっきりアップデートされました。 Amazon ECS now offers improved capabilities for local testing 今回のアップデートで、ECSのタスク定義をシームレスにDocker Compose仕様に変換したり、ローカル環
【小ネタ】ECSのタスクスケジュールはEventBridgeから登録するとタスク定義の最新リビジョンから起動できる | DevelopersIO
Amazon ECS - タスクスケジュールの設定 Amazon ECSのタスクスケジュールは、その名の通り指定したタスクを実行するスケジュールを設定する機能です。 スケジューリング Amazon ECS タスク タスク定義を定義する際にタスク定義のリビジョンを指定しますが、いずれかのリビジョンを選択する必要があります。例えば、10(latest)を選択してみます。 作成されたタスクスケジュールを見ると選択したリビジョンで設定されています。 タスク定義を更新し、最新のリビジョン(11)が登録されました。 タスクスケジュールの設定を見てみましょう。 新しいリビジョンが登録されてもタスクスケジュールの設定は変更されません。都度リビジョンを変更する必要があります。 指定したリビジョンを使い続ける場合はなんの問題もありませんが、最新のリビジョンを常に選択したい場合に厄介です。 Amazon Eve
日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました | Amazon Web Services
Amazon Web Services ブログ 日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました 多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の特性に即した形で前処理を行う必要があります。日本語の自然言語処理を実施する際には、形態素解析と呼ばれる文章の分解処理を前位処理として一般的に行います。日本語形態素解析を行うためには、日本語の語彙データが必要となりますが、このデータは通常 GB 以上のサイズに及ぶ大きなサイズとなります。またこれらを用いた計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
AWS News Blog
Amazon Titan Text V2 now available in Amazon Bedrock, optimized for improving RAG The Amazon Titan family of models, available exclusively in Amazon Bedrock, is built on top of 25 years of Amazon expertise in artificial intelligence (AI) and machine learning (ML) advancements. Amazon Titan foundation models (FMs) offer a comprehensive suite of pre-trained image, multimodal, and text models accessi
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
AWS News Blog
AWS Chatbot Now Integrates With Microsoft Teams I am pleased to announce that, starting today, you can use AWS Chatbot to troubleshoot and operate your AWS resources from Microsoft Teams. Communicating and collaborating on IT operation tasks through chat channels is known as ChatOps. It allows you to centralize the management of infrastructure and applications, as well as to automate and streamlin
Amazon S3 Glacier ストレージクラス | AWS
Amazon S3 Glacier ストレージクラスは、データアーカイブ専用に設計されており、クラウドで最高のパフォーマンス、最高の検索の柔軟性、最低のコストのアーカイブストレージを提供します。すべての S3 Glacier ストレージクラスは、事実上無制限のスケーラビリティを提供し、データの耐久性が 99.999999999% (11 ナイン) を実現できるように設計されています。S3 Glacier ストレージクラスは、アーカイブデータへの最速のアクセスとクラウド内の最低コストのアーカイブストレージのためのオプションをもたらします。 さまざまなアクセスパターンやストレージ期間に最適化された 3 種類のアーカイブストレージクラスから選択できます。医療画像、ニュースメディアアセット、ゲノミクスデータなど、すぐにアクセスする必要のあるアーカイブデータであれば、ミリ秒レベルの取得時間で最低コス
Clojureの作者が作ったデータベースDatomicが凄い
プログラミング言語Clojureの作者Rich Hickey氏率いるClojure HackerのチームがDatomic(デートミックと発音するらしい)というデータベースをリリースしました。これが何やらとてつもないです。10年先を行ってる技術じゃないでしょうか。 まだ本番サービスは始まっていませんが開発環境用のライブラリが配布されています。 Datomicは斬新なアーキテクチャなので一言で説明するのはとても難しいです。 私が理解できたことを簡単に説明します。 2014/1/20追記 ライセンスモデル、サポートストレージ、サービスとしてではなく独立して使用する形になるなど記事作成時の内容から色々変更が合った部分を更新しました。 変更不可なAppend-onlyデータベース 従来のデータベースで、あるレコードを変更するというのはそのレコードに対応した場所があり、そこのデータを書き換えるというこ
AWS-CloudDesignPattern CDP2.0候補
AWSクラウドデザインパターンとは？ AWSクラウドデザインパターン (AWS Cloud Design Pattern, 略してCDPと呼ぶ)とは、AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したものである。 これまで多くのクラウドアーキテクト達が発見してきた、もしくは編み出しきた設計・運用のノウハウのうち、クラウド上で利用が可能なものをクラウドデザインのパターンという形式で一覧化し、暗黙知から形式知に変換したものであるといえる。 パターンの中には、クラウドでなくても実現できるもの、今まででも実現されていたものも含まれているが、クラウド上でも今まで通りのアーキテクチャが実現でき、かつクラウドを利用する事で、より安価にそしてより容易に実現できるものは、CDPとして収
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
Amazon RDSメモ - Sooey
Amazon Relational Database Service(以下RDS)は、MySQL 5.1が稼働するサーバーをEC2インスタンスライクに利用することができるサービス。Amazon Web Servicesのアカウントがあれば、Webから申し込みをするだけで、初期費用なしで利用を開始することが可能。 RDSにおける用語 データベースインスタンス (DB Instance) クラウド内で稼働する個別のデータベース環境。通常のMySQLサーバーだと考えてよいが、SSHでのログインはできない。1つのデータベースインスタンス内には複数のデータベースを作成することができる。 データベースインスタンスの作成時には「マスターユーザー名」と「マスターユーザーのパスワード」を指定する必要がある（起動後も変更可能）。また、通常のMySQLと同様にユーザーの追加や権限の設定を行うこともできる。 デー
Amazon EC2 は本当に安いのか？
答えは Yes and No。 ハートレイルズが Amazon EC2 を勧めるのは、とりわけ次のような場合です。 1) 顧客数の増減が頻繁に発生する法人向けの ASP を運用している場合 2) ユーザー数が急激に伸びている BtoC のサービスで、サーバーの管理工数を圧縮したい場合 3) 必要に応じてバッチ処理を実行するジョブサーバー 4) 期間限定のキャンペーンサイト 基本的に、Amazon EC2 の利点はサーバーのセットアップフィーがなく、またサーバーの増減 （とりわけ減） を即時に実行できることに集約されます。単純な料金のみで比較すると、Amazon EC2 の Reserved Instance （3 年） を採用できる場合にはかなりの競合力を持ちますが、通常のケースでは Amazon EC2 よりもはるかに高スペックで同価格帯のサービスは （特に海外では） 無数にあります。ま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSからのメール送信
kiyoka.2012_05_08 -- [AWS][EC2] 失敗事例: Microインスタンスのスラッシング状態で 1日 $10課金された件
Amazon Web Services (AWS) v2.4.1 | Graffletopia