新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを
GitHubとクラスメソッドの勉強会でGitHub EnterpriseとAWSについて発表してきました | DevelopersIO
はじめに こんにちは、中山です。 2017年4月26日(水)、株式会社IDOM様の会場を利用して開催されたGitHubとクラスメソッドの勉強会！〜GitHub x AWSの最新DevOps事情〜で発表してきました。会場を提供いただいたIDOMのみなさま、GitHubのみなさま、参加者のみなさまありがとうございました。 発表資料 今回はGitHub EnterpriseをAWSで利用する場合、どういった方法を使えばいい感じに管理できるのかという内容でお話しました。AWSの各種サービスを利用することで、運用負荷を低減した形でGitHub Enterpriseを管理することができます。 資料は以下です。よろしければ参照ください。 GitHub Enterpriseは45日間のFree Trialが利用可能です。さらに、コマンド一発でAWS上にGitHub Enterpriseを構築することもでき
【遂に来た！】EBS でボリュームサイズを変更できるようになりました（ボリュームタイプ変更も）
こんにちは、藤本です。 待ちに待ったアップデートです。EBS のボリュームサイズ、ボリュームタイプを変更できるようになりました。 Amazon EBS Update – New Elastic Volumes Change Everything 概要 今まで運用中に EBS のボリュームが足りなくなった場合、 一度スナップショットを作成して、 新規ボリューム作成して（この時にボリュームサイズ増加）、 ディスクを差し替える必要がありました。 これにより、インスタンスを停止する必要が発生したり、出来るだけダウンタイムを短くしたくてノーリブートでスナップショットを取ると整合性が担保されない、スナップショット取得から切り替えまでのデータの欠損が発生するなど、多くの問題がありました。 それが今回のアップデートにより、インスタンスの停止する必要がなく、データの欠損が発生することなく、ボリュームサイズを
仮想デスクトップサービスのAmazon WorkSpacesがWebブラウザから利用可能に。専用クライアントソフト不要、Chrome、Firefoxに対応
クラウド上にあるWindows 7相当の環境をリモート接続して利用できる、いわゆる仮想デスクトップサービスの「Amazon WorkSpaces」が、Webブラウザから利用可能になったと発表されました。 対応するWebブラウザは最新のChromeもしくはFirefoxで、Windows、Mac OS X、Linuxから利用可能です。 これまでAmazon WorkSpacesを利用するには、PC上の専用クライアントソフトもしくはシンクライアント用のデバイス、iPadやAndroidタブレット、Kindleなどではクライアント用アプリなどを利用する必要がありました。 Webブラウザへの対応でこうした専用ソフトウェアやデバイスが不要になり、またアクセス後のデバイス上には消去しなければならないキャッシュデータなどを残さないため、安全に利用できると説明されています。 Amazon WorkSpac
【新機能】Amazon Elastic File System (Amazon EFS)がついにGA (一般利用可能)に！ | DevelopersIO
CloudWatchには[BurstCreditBalance]という項目がありますので、こちらをチェックしてみるとどれくらいの容量が必要か見積が出せると思います。 非同期書き込み EFSは共有ストレージ、ということで非同期による書き込みが出来るようにマウント時に非同期オプション（async)をつけることができます。その場合バッファはEC2内にキャッシュされます。 またパフォーマンスを確保するためにはEC2そのもののメモリやCPU処理能力も関係します。パフォーマンスが出ないと感じた時はインスタンスタイプを上げてみるのも手です。尚EBS最適化されたインスタンスでもEFSにはその影響はないので注意しましょう。 制限事項 その他制限事項を羅列します。 最大ファイルシステム数: 10 AZ毎の最大ターゲットマウント数: 1 ターゲット毎の最大セキュリティグループ数: 5 ファイルシステム毎の最大タ
AWS News Blog
New – Amazon EC2 Hpc7a Instances Powered by 4th Gen AMD EPYC Processors Optimized for High Performance Computing In January 2022, we launched Amazon EC2 Hpc6a instances for customers to efficiently run their compute-bound high performance computing (HPC) workloads on AWS with up to 65 percent better price performance over comparable x86-based compute-optimized instances. As their jobs grow more co
microインスタンスはlimitかけると大きくパフォーマンスが向上する（※再追記あり） - アルパカDiary Pro
※2014/07/02 T2インスタンスタイプとの比較 を追記しました。 ※2014/03/13 他インスタンスタイプとの比較／m3.mediumの検証 を追記しました。 こちらの記事の二番煎じです。 cgroupで、お手軽CPU使用率制限 なるほど。 リソースにLimitかけるとstealを防げるためパフォーマンスも上がるというわけですね。 どのくらい変わるのか実験してみました。 cgroup前準備 sudo yum install libcgroup sudo chkconfig cgconfig on sudo service cgconfig start cgroup設定 上記参考URLとほぼ同じ設定です。 実行時はcpu.cfs_quota_usを変動させて比較してみました。 sudo vi /etc/cgconfig.conf # 以下を追加 group limittest {
AWSの請求管理をちゃんとやる話 - Librabuch
本エントリは、次のAdvent Calendarのために書かれたものです。 AWS Advent Calendar 2013 (12月21日) 取り扱う内容 2013年はAWS界隈盛り上がりましたね！ALBERTでも、パートナー認定を受けたり、導入事例に掲載頂いたりと中々縁深い1年になったのではないかと思っています。 さて、今回は技術的な話とは少し離れて、Amazon Web Serviceの請求関連のお話をします。 参考資料 AWSマイスターシリーズ AWS Billingについて ※ 82スライドある資料です AWS請求管理の問題 AWSの料金体系の素晴らしいところと言えば、時間課金で、柔軟で、それらがコントローラブルな点にあります。気ままに使ってもそれなりに高いコストパフォーマンスを出してもらえますが、きちんと設計をすれば（例えばリザーブドインスタンス）さらに高いコストパフォーマンス
小規模SI案件で、 AWS + Chefを使ってみて
ーーーーーーーーーーーーーーーーーーーーーーー schoo WEB-campusは「WEBに誕生した、学校の新しいカタチ」。 ＷＥＢ生放送の授業を無料で配信しています。 ▼こちらから授業に参加すると、先生への質問や、ユーザーとのチャット、資料の拡大表示等が可能です。 https://schoo.jp/class/698/room ーーーーーーーーーーーーーーーーーーーーーーー
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。
[AWS] Amazon SNS の新機能「Mobile Push」を Android で使ってみた | DevelopersIO
はじめに 8月13日(現地時間)、Amazon SNS にモバイルデバイス用の新機能「Mobile Push」がリリースされました。これによって SNS と GCM を組み合わせたプッシュ通知機能を簡単に実装することができます。ちなみに iOS は APNS、Kindle Fire は ADM といったようにクロスプラットフォームなプッシュ通知を簡単に実装することができます。しかも100万件まで無料！ ということでサクッとサンプルコードを試してみました。 ちなみに SNS ってなんじゃーってかたはこちらを、GCMについてはこちらをご参照ください！ iOS 版はこちら！ 事前準備 AWSアカウントの作成 Google APIアカウントの作成 (自分の Google アカウントで OK です) Google Play Services SDK のインポート AWS SDK for Java の
![[AWS] Amazon SNS の新機能「Mobile Push」を Android で使ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/495673edbefe7b7bc5e6e9e54b2565989b893342/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F09%2Faws1.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch