AWS Outpostsで実現するオンプレデータレイク - NTT Communications Engineers' Blog
はじめに こんにちは、イノベーションセンターの鈴ヶ嶺です。普段はクラウドサービスをオンプレ環境でも同様のUI/UXで使用を可能とするハイブリッドクラウド製品の技術検証をしています。 NTT Comでは以下の過去の記事のように、AWSのハイブリッドクラウドソリューションAWS Outposts ラックの導入や技術検証を進めています。 engineers.ntt.com engineers.ntt.com engineers.ntt.com 本記事では、AWS Outpostsで実現するオンプレ環境におけるデータレイクのユースケースについて紹介します。 データレイクとは構造化データ、非構造化データに関わらず全てのデータを一元的に保存可能なストレージを意味しています。 このユースケースにより、低遅延性が求められる、もしくは秘匿性の高い大規模なデータをオンプレ環境で一元的に取り扱うことが可能となり
データレイクをGitライクに使いたい！lakeFSを使ってみた | DevelopersIO
はじめに lakeFSは、ざっくり言うとデータレイクをGitのようなリポジトリぽく取り扱うソフトウェア/サービスです。Gitライクなので、ブランチの作成、バージョン管理、ロールバックなどをCLIまたはGUIにて実行できます。 現在、クラウドストレージをデータレイクとして使う場合にはAWS S3/Google Cloud Storage/Azure Blob Storageなど複数の選択肢があるかと思いますが、lakeFSをインターフェースとして入れることで、実際のストレージがどこにあるかを意識することなくデータレイクを取り扱えるため、マルチクラウドなデータ分析基盤においてより力を発揮します。 lakeFSにはローカル環境に導入するオープンソース版と、SaaSとして提供されるlakeFS Cloudがあります。 今回はオープンソース版でクイックスタートをやってみます。環境はMacBook P
Amplifyにおける複数モデルのGraphQL APIについて - 虎の穴開発室ブログ
虎の穴ラボのかのたんです。 AWSが公式で提供しているAmplifyという開発ツールは非常に簡単、かつ高速にAPI環境が構築できるということで注目度が上がっており、AWSの公式セミナーや勉強会等でも取り上げられる機会が増えています。 弊社でも有志でAmplifyの使い方についての調査を行っており、特に以前弊社のNSSさんがブログに投稿したAmplifyに関する記事は非常に多くの方に読んでいただきました。 toranoana-lab.hatenablog.com Amplifyの導入については、こちらのNSSさんの記事が非常に参考になります。 私の方でもAmplifyについて触ってみたので、今回の私の記事は上記のNSSさんの記事から派生するような形で、複数モデルのGraphQL APIの作り方について書きます。 GraphQL APIの作成 本記事の前提条件として、上記のNSSさんの記事等を
ECSで作業用のタスクをサクッと作るためのツールを作成した - カンムテックブログ
インフラエンジニアの菅原です。 最近、バイクに念願のグリップヒーターをつけました。 これでツーリング時の手の寒さが多少楽になりそうで喜んでいます。 とはいってもなかなか出かけられないのですが… 現在私はAWS Fargateを使ったサービスをECS上に構築を進めており、日々コンテナと戯れています。 基本的にストレージ以外のコンポーネントはほとんどECSで動いているのですが、VPCのネットワーク内でちょっとした作業（たとえばネットワークの疎通確認など）をしたい場合、都度新しいタスクを起動して作業しています。 また、DBにテストデータを入れたかったり、どうしてもDBを直接操作したいことがある場合、stoneを新しいタスクを起動した上で、そのタスクを踏み台としてaws ssm start-sessionでポートフォワーディングを行い、手元から直接DBにアクセスできるようにしたりしています。 しか
GitHub ActionsでAWSの永続的なクレデンシャルを渡すことなくIAM Roleが利用できるようになったようです | DevelopersIO
GitHub ActionsでAWSの永続的なクレデンシャルを渡すことなくIAM Roleが利用できるようになったようです アクセスキー、撲滅してますか？ ナカヤマです。 目黒方面より、以下のような福音が聞こえてきました。 何がどのくらい最高かと言いますと！ GitHub Actions に AWS クレデンシャルを直接渡さずに IAM ロールが使えるようになることがまず最高で！ クレデンシャル直渡しを回避するためだけの Self-hosted runner が必要なくなるところも最高です！！✨✨✨ https://t.co/IUQmfzkIB0 — Tori Hara (@toricls) September 15, 2021 元ネタはこちら。 Ok I blogged about it. That's how excited I am. 1. Deploy this CFN templ
CloudFrontで素早くコンテンツを更新させたい場合にTTLを短くしInvalidationを行わないキャッシュ戦略を考える | DevelopersIO
CloudFrontで素早くコンテンツを更新させたい場合にTTLを短くしInvalidationを行わないキャッシュ戦略を考える CloudFrontで頻繁に更新されるコンテンツではないため長くキャッシュさせておきたいが、更新があった場合はすぐに反映させたい、というケースではTTLを短くしておきましょう。オリジンからのデータ本体の転送は更新の際にしか実施されません。 はじめに 清水です。AWSのCDNサービスであるAmazno CloudFrontを利用する場合に、頻繁に更新されるファイルではないため、なるべく長くCloudFrontにキャッシュさせオリジンへのアクセスやデータ転送の負荷などは極力少なくしたい。けれどオリジン側でファイルの更新があった場合は、なるべく早くCloudFront側でもキャッシュの反映を行いたい、といったことがあります。 このようなケースで1つ考えられる方法は、C
EC2 シリアルポートアクセスが可能になりました | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな ネクストモード株式会社 の吉井です。 EC2 へのシリアルポートアクセスが開始されました。 私は Solaris 産まれ Solaris 育ちでして、きしめんケーブル片手に全国を飛び回り保守作業をしていたことが懐かしく思い出されます。 サーバーの初期セットアップや HW 障害調査時には、物理サーバー背面のシリアルポートに PC を接続し作業を行っていました。 きしめんケーブルを指した瞬間に Break が走ってマシンが一時停止する、なんていうインシデントもまれによくありました。 どのような機能なのか EC2 インスタンスへの接続は SSH やセッションマネージャーといったネットワーク接続が基本だと思います。 ただ、ブート時にトラブルがありネットワーク接続性が失われる、i
Terraform で AWS Certificate Manager 無料証明書を発行する（AWS Provider 3.0.0 以降の場合） | DevelopersIO
Terraform で AWS Certificate Manager 無料証明書を発行する（AWS Provider 3.0.0 以降の場合） 先日、Terraform で AWS Certificate Manager（以下、ACM） の無料証明書をリクエストおよび検証まで実装する機会がありました。ちょっと詰まったところがありましたので同じように悩んでココへ辿り着く誰かのためにまとめておきます。 AWS Provider 3.0.0 から仕様変更されています 今回の記事は AWS Provider 3.0.0 以降を対象とします。今回の実行環境は以下のとおりです。 $ terraform version Terraform v0.12.29 + provider.aws v3.4. AWS Provider 2.x 以前は以下のエントリーを参考にしてください。 Error: Inval
C# で出来ること一覧 - Qiita
更新履歴 2020/03/23 IoT について追記 その他に帝国兵さんのツイートを追加 サーバーレスカテゴリーを追加して AWS Lambda を追加 ASP.NET Core Razor Pages を追記 2020/03/24 kennakamu さんの「個人的に C# が向かないと思うこと」へのリンク追加 本文 昔ブログにこんな記事を書きました。 C# で何か出来るのか？まとめてみた あれから 2 年が経って昔からある Windows 専用の .NET Framework に対する新機能の提供が終わり、クロスプラットフォームに対応した .NET Core が今後のメインストリームとして .NET 5 → .NET 6 のように進化していくことが 2019 年 5 月の Build 2019 で発表されました。以下の Blog 記事がアナウンス後に発表されています。 Introduc
[アップデート] GuardDuty の検出結果を S3 にエクスポート出来るようになりました | DevelopersIO
先日のアップデートで GuardDuty の検出結果を直接 S3 に保存することが可能になりました。 Amazon GuardDuty Supports Exporting Findings to an Amazon S3 Bucket なにが嬉しいのか これまで GuardDuty の標準機能としてログを保管する仕組みはありませんでしたので、CloudWatch Events から Lambda や Kinesis Firehose を連携させて S3 にアウトプットする。といった作り込みが必要でした。 これが標準機能として S3 に保存できるようになりますので、ログ保管の実装が非常に簡単になります。 検証環境 今回は以下の環境で検証しています。 GuardDuty、S3、KMS すべて東京リージョン ログ用バケットは同一アカウント内の S3 を指定 すべてのリージョンの GuardDu
![[アップデート] GuardDuty の検出結果を S3 にエクスポート出来るようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/667f87d2f54fdeff2f01ae7c6408e45a44404f8e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-guard-duty.png)
20190819 AWS におけるモニタリング 議論のための観点総ざらえ
- The document discusses monitoring AWS resources using Amazon CloudWatch. It covers collecting metrics and logs from EC2 instances, ELB, RDS, and other services and visualizing the data in CloudWatch. - Key services mentioned include CloudWatch Metrics to collect CPU, memory, disk and network utilization from EC2 instances, CloudWatch Logs to collect logs, and integrating monitoring with services
MicroBatchFramework - クラウドネイティブ時代のC#バッチフレームワーク
Cy#の河合です。昨年12月に、『MagicOnion』というライブラリのリリースを告知しました。今回、再びオープンソースライブラリとして、C#のためのCLI/Batchライブラリをリリースしました。 [GitHub – Cysharp/MicroBatchFramework] .NET CoreになってWindows／Mac／Linux問わずクロスプラットフォームなアプリケーション開発環境として機能するようになったC#ですが、そして機能的には十分揃っているのですが、ちょっと気の利いたフレームワークは意外と欠けているところがあります。バッチ・コマンドラインアプリ。というと地味なトピックスですが、ゆえに基本機能以上のサポートがなかったりします。しかし、「C#の可能性を切り開いていく」という理念を掲げるCy#としては、派手・地味を問わず、現状のC#に欠けているものを埋めていくことで、C#がアプ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://jp.techcrunch.com/2020/12/16/2020-12-15-twitter-taps-aws-for-its-latest-foray-into-the-public-cloud/
フロントエンドエンジニアのためのAWSアーキテクチャ