次世代データ基盤：データレイクハウスを Google Cloud で実現する
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ
Amazon SageMaker Lakehouse とはどのようなサービスか - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事は Japan AWS Ambassadors Advent Calendar 2024 12 日目の記事です。 はじめに 先日開催された AWS re:Invent 2024 で Amazon SageMaker Lakehouse が発表されました。 Amazon SageMaker Lakehouse により Amazon S3 のデータレイクと、Amazon Redshift のデータウェアハウスを統合し、Apache Iceberg の API を使用してデータソースに横断的にアクセスできるようになります。 本記事では
静的Webサイト構築パッケージ ｜NURO Biz（ニューロ・ビズ）
AWSが提供するCDN（コンテンツデリバリネットワーク）サービス「Amazon CloudFront」と、オンラインストレージ「Amazon S3」を組み合わせることで、静的コンテンツで構成されるWebサイトのサーバレス化を実現。さらに、「AWS Certificate Manager（AWS ACM）」を活用することで、WebサイトのHTTPS化にも対応します。本パッケージでは環境構築から、運用に必要な設定までをまとめて提供。サーバレス化することで、運用コスト削減、OSパッチ適用などの運用負荷軽減、可用性・耐障害性の向上、セキュリティ強化につながります。 静的Webサイトホスティング構築パッケージの構成 動的Webサイトなど将来拡張予定のさまざまな構成にも対応 本パッケージでは静的コンテンツで構成されるWebサイトのサーバレス化を実現しますが、Amazon EC2を活用したWebサーバ構
スタッフエンジニアの道: The Staff Engineer’s Path
スタッフエンジニアの道 - Forkwell Library #66 での発表資料です https://forkwell.connpass.com/event/323138/ #Forkwell_Library
進出して分かった日本とアメリカのSaaSプロダクトニーズの違い
はじめにこれは何？ 数カ月間マーケット調査、商談をして見えてきた日本とグローバルでSaaSプロダクトに求められることの違いを紹介する 誰向けの記事？ グローバルで利用されるプロダクト開発に興味のあるPdM, エンジニアの方 まとめると？ 競合がエグい。日本はプロ野球で、グローバルはメジャーリーグみたいなイメージ。プロダクトは広く浅く→狭く深くに要件が変わる。 エコシステム、SaaS市場の成熟度の違いから、インテグレーションファーストになる 時差や人件費の違いがプロダクトに影響を与え、セルフサービス前提の設計になる 伝えたいこと グローバルで使われるSaaSプロダクトづくり（＝メジャーで野球する）、そしてそこで勝つためのプロダクト・開発組織づくりに経営者として本気で取り組みます。 メジャーで勝利するために、優秀なメンバーが集まり、切磋琢磨し、成長できる環境。勝ち筋も見えています。他ではできな
CloudFrontでセキュリティ対策をとった場合の効果
今回は、第18回Security-JAWSで講演させていただきました「CloudFrontを活用してアタックサーフェスを減らした対策を導入してみる。」の内容についてご紹介させていただきます。 以前、本ブログでもCloudFrontを利用してアタックサーフェース「攻撃対象領域」を削減する方法をご紹介しましたが多くの攻撃は無差別にスキャンを行い、脆弱性を検出したサイトに対して攻撃を仕掛けます。 攻撃者はIPアドレスやクラウドサービスで生成されたドメインに対して自動的にスキャンをかけます。クラウドサービスで生成されたドメインはIPアドレスをベースにある法則で生成したドメインであるため、簡単にサイトの存在を検出することができます。
元ヤフー執行役員・村上臣がお子さんに渡した「誓約書兼スマートフォン貸与契約書」がガチだった
※このページの末尾にダウンロード用のリンクを配置していますが、本記事では作成に至る想いをご紹介しておりますので、ご一読のうえでご利用いただければ幸いです。 ※本記事は、2018年2月に㈱フィラメントのコーポレートメディアで公開された記事の再掲です。2018年2月5日、LinkedIn日本代表であり、フィラメントCSOであり、電脳コラムニストである村上臣さんが、個人のFacebookに投稿した1枚の写真が話題になりました。 このコメント欄にて、弊社CEOの角が、 と依頼したところ…… と、快諾。すぐに「誓約書兼スマートフォン貸与契約書」の原本がFacebookメッセンジャーで送られてきました。 そしていきなり目に飛び込んでくる「甲」と「乙」の文字、小学6年生を相手に、ガチの「誓約書兼スマートフォン貸与契約書」です。 とはいえ、中身は大人の世界にあるような難解なものではなく、 「一度インターネ
業務でAWSを利用する時に知っておくべきポイント10選 - Qiita
2024年1月時点のAWSベストプラクティスに従って作成しました 好評でしたら続編も検討します 1. 環境ごとにアカウントを分離する 本番、検証、開発ごとにアカウントを分割しましょう ✕良くない例 ◎良い例 最初にアカウント分割しておかないと、後で分割するのはとても大変です アカウントを分割することで「検証と思って作業したら、実は本番だった」のような事故を減らすことができます コストがアカウント単位で集計されるため、環境ごとのコストを簡単に算出することができます AWS Organizationsを使用することで、各環境に応じた権限設定が簡単にでき、ガバナンスを強化することができます AWSアカウントはAWS Control TowerのAccount Factoryを使用することで、クレジットカード情報を都度入力することなく簡単にアカウントの払い出しが可能です また、AWS Contro
Announcing the new Amazon S3 Express One Zone high performance storage class | Amazon Web Services
AWS News Blog Announcing the new Amazon S3 Express One Zone high performance storage class Update (January 24, 2024) – The original version of this post used the s3 sync command to copy objects from my local directory to the storage bucket. The newest version of this command does not support copying to directory buckets, so I have revised the example to use s3 cp instead. — Jeff; The new Amazon S3
AWSガチャは下手なチューニングよりも効果が出る？
Amazon EC2は立ち上げるインスタンスによって微妙なパフォーマンス差が出ると言われていて、複数回、インスタンスを立ち上げたり、捨てたりして、良いインスタンスを得ることを”Amazon EC2インスタンスガチャと”呼ばれています。 そのパフォーマンス差は、どれくらいなのか？気になったので測ってみました。 検証環境はこんな感じです。 AMI ID: CentOS 7 x86_64 (2014_09_29) EBS HVM-b7ee8a69-ee97-4a49-9e68-afaee216db2e-ami-d2a117ba.2 (ami-89634988) Instance Type: c3.xlarge １）Magnetic(standard) ２）Magnetic(standard) + EBS-Optimized ３）General Purpose (SSD) + EBS-Optimi
AWS ファイルストレージサービスの選び方 | Amazon Web Services
Amazon Web Services ブログ AWS ファイルストレージサービスの選び方 オフィス文書や画像データなどの様々な非構造化ファイルを、ファイル共有サーバや NAS（Network Attached Storage） などに格納して共有で利用されている方も多いと思います。AWS のファイルストレージサービスを利用することで、ファイル共有ストレージを簡単にクラウド上へ構築できます。また、AWS が提供するフルマネージドサービスのため、パッチ適用やストレージのディスク増設などの運用負荷を軽減できるメリットがあります。初期費用が不要の従量課金のため手軽に利用でき、調達が不要なのですぐに利用を開始することができます。また、ストレージのバックアップ機能が備わっているため、手間のかかるバックアップの設計や運用負荷も軽減できます。 AWS のファイルストレージサービスは、Amazon Ela
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Visional CCoE におけるパブリッククラウドのセキュリティ対策 / Security of Public Cloud in Visional CCoE
Visional CCoE におけるアジリティとガバナンスを両立するクラウド活用への挑戦 / The Challenge of Enhancing Agility and Governance in the Cloud with CCoE
CCoE による Terraform を活用した Infrastructure as Code / IaC by Terraform in CCoE
実践：Cloud Center of Excellence を中心としたクラウド戦略/The Practice of Cloud Center of Excellence
ASM (Attack Surface Management） 導⼊ガイダンス 外部から把握出来る情報を⽤いて ⾃組織の IT 資産を発⾒し管理する
AWSのマルチアカウント管理で意外と知られていないOU設計の話
https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2022_Amazon_S3_for_Beginner_1231_v1.pdf
GitHub - atsushieno/vscode-language-review: Re:VIEW language Support for Visual Studio Code. / issue/PRは日本語でも対応できます
Articles