Amazon EMR で S3 Express One Zone ストレージクラスが利用できるようになりました - サーバーワークスエンジニアブログ
こんにちは、マネージドサービス部テクニカルサポート課の柏尾です。 今回は re:Invent 2023 で発表された「Amazon S3 Express One Zone Storage Class」を Amazon EMR から利用できるようになりましたので、その内容について確認していきたいと思います。 Amazon S3 Express One Zone Storage Class とは S3 Express One Zone の特徴 S3 Express One Zone の主なユースケース Amazon EMR とは Amazon EMR で S3 Express One Zone を利用するには 前提条件 考慮事項 Amazon S3 Express One Zone Storage Class とは 以下の記事[1] によると「Amazon S3 Express One Zon
大事だけど AWS 構成図では省略してしまうことが多いサービスについて - サーバーワークスエンジニアブログ
コーヒーが好きな木谷映見です。 今回は小ネタです。AWS 構成図を書く際、省略してしまうことが多いサービスについて思いを馳せました。 よくある？構成図 リージョン アベイラビリティゾーン ルートテーブル AWS IAM インスタンスプロファイル Amazon EBS Elastic IP Elastic network interface（ENI） セキュリティグループ セッションマネージャーする時のエンドポイント 最終構成図 終わりに よくある？構成図 よくあると思われる構成図を描いてみました。 AWS になじみがある方から見ると、 「ふむ、パブリックサブネットとプライベートサブネットに 1 台ずつ EC2 インスタンスがあって、プライベートサブネットのインスタンスにはセッションマネージャーでログインするのかな？S3 バケットもあるな」 くらいの想像ができるかもしれません。 リージョン
【PySpark入門】第３弾 RDDの理解 - サーバーワークスエンジニアブログ
はじめに こんにちは。孔子の80代目子孫兼ディベロップメントサービス課の孔です。この前久しぶりにリーダブルコードを再読しました。名著は何回読んでも面白いですね。イラストがとても好きで、文章で説明すると２ページかかる内容が絵一枚で説明できるイラストレーターのセンスがとてもいいなと思ってました。 前回のブログでは、Dockerを使ってPySparkの環境を構築してみました。基本的にこのブログは読むだけでもある程度概念の理解やPySparkの使い方が理解できるように書いていますが、手を動かして実際コードをなぞったり、実行してみたりするとより理解が進むと思いますので、ぜひ環境を構築して手を動かしながらブログ内容を追っていただけると嬉しいです。 今回は、実際RDDというPySparkで使用するデータモデルを操作して、データをいじってみましょう。RDDがなんなのか、どのように操作できるのかに関する話が
【PySpark入門】第２弾 PySparkの環境構築 - サーバーワークスエンジニアブログ
はじめに こんにちは。孔子の80代目子孫兼ディベロップメントサービス課の孔です。今日は久しぶりに新宿に行ってきました。夏といえば新宿御苑、都会の中で緑に包まれて散歩するのは気持ちいいですね。 前回のブログではPySparkがどのようなものか、概要をざっくり見てみました。「分散処理を用いて大容量のデータを分析するためのフレームワーク」であるSparkが、Pythonで使えるようAPIを提供しています。その「PythonでSparkを利用するためのAPI」のことをPySparkと呼ぶとの内容でしたね。（前回の記事はこちらのリンクをご参照ください） これからこのPySpark入門シリーズで、実装いろいろなAPIを使ってPySparkの使い方を見ていきますが、そもそもそのPySparkを動かす基盤がないといけないですね。OS環境に合わせて、スタンドアロンで動くPySpark環境を構築することも可能
S3を使う時のベストプラクティス（を訳してみた） - サーバーワークスエンジニアブログ
最近子どもの水いぼを取る際に、麻酔テープが健康保険適応内である事を知った小室＠福岡です。 AWSのドキュメントの一つに、Articles & Tutorialsという物が有ります。これはAWSの中の人、また使っているユーザーがこのように使うといいよ、とAWSをよりよく使える方法を教えてくれる場所です。 サーバーワークスでは、日々のAWSのドキュメントの確認だけではなく、このようなArticles & Tutorialsを読みより深くAWSのサービスについて理解を深めようと個々に担当し、社内発表会を行っています（始めたばかりだけどね！）。 今回私が訳してみたのはこちらです。 Best Practices for Using Amazon S3 この記事は2008年に投稿(更新2009年)されており、現在とは少し違うかもしれませんが、とても参考になりましたので、ご紹介したいと思います。 ※これ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
