新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを
eBPFを用いたネットワーキングやセキュリティなど、AWS、Azure、Googleの3大クラウドが採用。Isovalentが明らかに
eBPFを用いたネットワーキングやセキュリティなど、AWS、Azure、Googleの3大クラウドが採用。Isovalentが明らかに クラウドネイティブな環境でeBPFを採用したネットワーキングやオブザーバビリティなどの機能を提供するオープンソースの「Cilium」を開発するIsovalentは、AWS、Microsoft Azure、Google Cloudの3大クラウドそれぞれのKubernetes環境でCiliumの採用が出揃ったことを、10月24日に米国ミシガン州デトロイトで行われたCloud Native eBPF Day NA 2022（KubeCon + CloudNativeCon NA 2022と同時開催）の基調講演で明らかにしました。 eBPFとは、Linuxカーネルのコードを変更することなく、カーネルの持つさまざまな機能をフックすることでカーネルに対してプログラマブ
オラクル、PostgreSQLデータベースに最適化した専用ストレージ「Aries」を用いた、高性能なマネージドサービス「PostgreSQL Aries」を提供予定と発表。Oracle CloudWorld 2022
オラクル、PostgreSQLデータベースに最適化した専用ストレージ「Aries」を用いた、高性能なマネージドサービス「PostgreSQL Aries」を提供予定と発表。Oracle CloudWorld 2022 オラクルは米ラスベガスで10月17日から4日間に渡って開催したイベント「Oracle CloudWorld 2022」において、PostgreSQLのマネージドサービス「PostgreSQL Aries」をOracle Cloudで提供予定だと明らかにしました。 「私たちはPostgresにも非常に大きな投資をしており、Postgresのマネージドサービスを提供しようとしている」（Well, we're also investing very heavily into Postgres. We're coming out with a managed Postgres ser
［速報］分散PostgreSQLをAzure Cosmos DBが提供開始、オープンソースの分散DBエンジン「Citus」を採用。Ignite 2022
［速報］分散PostgreSQLをAzure Cosmos DBが提供開始、オープンソースの分散DBエンジン「Citus」を採用。Ignite 2022 マイクロソフトは現在開催中のイベント「Microsoft Ignite 2022」で、グローバル規模の分散NoSQLデータベース「Azure Cosmos DB」でPostgreSQLをサポートする「Azure Cosmos DB for PostgreSQL」を発表しました。 Cosmos DBはデータを自動的にユーザーの近くのリージョンにレプリケーションすることで、どのユーザーに対しても高速なデータベースアクセスを実現し、かつグローバルな規模で稼働する大規模分散NoSQLデータベースです。 最大で数ペタバイトのデータ容量と秒間数百万トランザクションまでスケールする性能をカバーできる点を特徴としています。 Azure Cosmos DB
Windows Autopilotにバインドされた交換用ハードウェア | Dell 日本
最近、マザーボードの交換やコンピューターの交換を行いましたか？Azure Active Directory (AD)テナントにサインインしないユニットを受け取りましたか？そのコンピューターは別のAzure ADドメインに登録されている可能性があります。その場合、認証情報の入力を求められますが、誤ったAzure ADドメイン名が表示されます。 修復されたコンピューターは、Out of Box Experience (OOBE)を終えると、インターネット接続をチェックします。そして、マザーボードのIDをAutopilotクラウドと照合して確認し、登録されている組織を見つけ、そのAzure ADテナントへの参加を試みます。これは、以下の図1にMicrosoftの汎用テスト テナント名を使用して示されています。 図1 これは、Microsoftクラウド内のデバイスを識別するためにマザーボードの主要
「オンプレシステム移行は今もAWSやAzureの方がやりやすい」なら、Google Cloudは日本でどう使われているか
「オンプレシステム移行は今もAWSやAzureの方がやりやすい」なら、Google Cloudは日本でどう使われているか：大日本印刷、みんなの銀行やインテグレーターに聞いた（1/4 ページ） 国内のAWS専業インテグレーターがGoogle Cloudを扱う動きが相次いでいる。第3のメジャークラウドであるGoogle Cloudの使われ方が変化してきたということなのだろうか。だとすれば具体的にどう使われているのか。ユーザーやインテグレーターに聞いてみた。 3大パブリッククラウドで最後発のGoogle Cloud。日本に進出後、ゲームをはじめとするテック企業の世界でこそ存在感を示してきたが、現在も「一部の人が使うクラウド」というイメージが強い。一般企業には浸透してきているのだろうか。 グーグル・クラウド・ジャパンは、他の主要クラウドと同様、日本での売り上げや成長率を明らかにしていない。だが、A
3大クラウド大手の太い利幅を守る闘い
2022年3月1日（火）、スペイン・バルセロナのFira de Barcelona会場で開催されたMWC Barcelonaの2日目の基調講演で、Amazon Web Services（AWS）のCEOであるアダム・セリプスキーが講演を行った。Angel Garcia/Bloomberg ニューヨークのナスダック証券取引所で最高経営責任者（CEO）が終業ベルを鳴らすのは、たいてい自分の会社が株式公開されたばかりだからだ。6月27日にアダム・セリプスキーが鳴らしたのは、取引所との提携を祝うためだった。彼は、ハイテク企業のクラウドコンピューティング部門であるアマゾン・ウェブ・サービス（AWS）のボスであり、この取引は、取引所が株式市場をAWSのクラウドに移行する一環として行われたものだ。ナスダックの顧客は、証券取引所のプラットフォームを通じて、機械学習（ML）などAWSの高度な分析ツールを利用
【Teams障害時のワークアラウンド】Azure Communication Service を使って9クリックでグループ通話アプリをデプロイしてみた - Qiita
【Teams障害時のワークアラウンド】Azure Communication Service を使って9クリックでグループ通話アプリをデプロイしてみたMicrosoftAzureTeamsAzureCommunicationServices はじめに 本日のTeams 障害でみなさんお仕事への影響はいかがでしたか？数時間ながらこういう障害はTwitterが盛り上がりますね。 私はちょうどフォーカスしていたタイミングだったのであまり影響はなかったですが、そんな中でりなたむ 💉✖︎3⃣ || Microsoft MVP さんが、こんなつぶやきを。 一般「なにぃ！？ #Teams が落ちた！？12時からの××社との打ち合わせどうするんだーワタワタ」 弊社「あ、Teams落ちたのかー じゃあ #Azure の Communication Services つかって 簡易的な Web会議室作っちゃ
期限の制約なく無料で使えるクラウド「Free Tier」主要サービスまとめ。2022年版
いくつかのクラウドサービスでは、1年程度の無料トライアルや一定額のクーポンなどに加えて、期間の制限なくずっと無料で使える、いわゆる「Free Tier」や「Always Free」と呼ばれる無料枠のサービスが提供されています。 こうした無料枠は試行用の環境や一時的なテスト環境などとして、期間を気にせずサービスを試すうえで非常に有効です。 本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2022年版としてまとめました。 ただしこれらの無料提供サービスは提供側の都合によって終了することもあり得ます。また、最近では半導体不足などの影響でクラウドのサーバリソースなどが不足がちのためか、無料枠の申し込みが制限される場合もありますので、それらに留意して利用しましょう（一部では無料枠が空いたらすかさず取得する自動スクリプトなども出回っているそうです）。 Amazon Web Serv
Google CloudがArmプロセッサの採用を発表。これでAWS、Azure、Google Cloudなど主要なクラウドでArmプロセッサが利用可能に
Google CloudがArmプロセッサの採用を発表。これでAWS、Azure、Google Cloudなど主要なクラウドでArmプロセッサが利用可能に Google Cloudは、Arm Neoverse N1コアを搭載したAmpere Altraプロセッサベースの仮想マシンやKubernetesのノードの提供を、Google Compute EngineやGoogle Kubernetes Engineでプレビュー版として開始すると発表しました。 Introducing our first VM family based on the Arm architecture, T2A. Powered by Ampere® Altra® Arm-based processors, T2A VMs deliver exceptional single-threaded performance
Systemd Creator Lands At Microsoft - Phoronix
Systemd Creator Lands At Microsoft Written by Michael Larabel in Microsoft on 6 July 2022 at 07:00 PM EDT. 213 Comments Yesterday's surprise was that Lennart Poettering quietly had left Red Hat following a decade and a half there leading PulseAudio among other projects and ultimately going on to start systemd that has fundamentally reshaped modern Linux distributions. It turns out he had joined Mi
OBS on Azureで高速・堅牢なライブ配信環境を作る | SIOS Tech. Lab
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチンで構築する方法を紹介するイベントです。 https://tech-lab.connpass.com/event/311864/ OBSとは？昨今、テレワークの隆盛により、勉強会などのライブ配信に対する需要は高まるばかりです。オープンソースなライブ配信ソ
「AzureじゃないとOfficeが高くなる」問題が緩和へ ただしAWSだと高いままの謎
関連キーワード Microsoft（マイクロソフト） | Amazon Web Services | Google | Windows | クラウドサービス Microsoftは同社の「Microsoft Azure」ではない競合他社のクラウドサービスで、「Windows」「Microsoft Office」「Windows Server」「SQL Server」などの同社製ソフトウェアを使用するときに、利用料金が高くなるライセンス規約を設けてきた。同社は2022年5月、欧州の規制当局による調査を受け、このライセンス規約を緩和すると発表した。ライセンス規約の変更の実施時期は明らかにしていない。 今回のライセンス規約変更で恩恵を受けるユーザー企業は、限られる可能性がある。Microsoftは、Amazon Web Services（AWS）の同名サービスやGoogleの「Google Clo
コンテナをサーバレスで実行する「Azure Container Apps」が正式サービスとして提供開始
マイクロソフトはコンテナをサーバレスで実行する新サービス「Azure Container Apps」の正式サービスとしての提供開始を発表しました。 Azure Container Apps is now generally available! You can learn more from our announcement: https://t.co/HvFxpRCmON. We can't wait to see the serverless apps and microservices you will build! #MSBuild — Azure Container Apps (@AzContainerApp) May 24, 2022 Azure Container Appsは昨年11月のイベント「Microsoft Ignite 2021」で発表されたサービスで、コンテナとし
クラウド アプリケーションのベスト プラクティス - Azure Architecture Center
これらのベスト プラクティスは、信頼性が高く、スケーラブルで、セキュリティで保護されたアプリケーションをクラウドで構築するのに役立ちます。 効率的で信頼性の高いシステム、メカニズム、アプローチを設計および実装するためのガイドラインとヒントを提供します。 多くの場合、Azure サービスで使用できるコードの例も含まれています。 これらのプラクティスは、ホストが Azure であるか別のクラウド プラットフォームであるかにかかわらず、すべての分散システムに適用できます。 プラクティスのカタログ 次の表は、さまざまなベスト プラクティスを示しています。 「関連する重要な要素やパターン」列には、次のリンクが含まれています。 そのプラクティスと設計パターンによって対応できるクラウド開発の課題。 そのプラクティスで重点が置かれている Microsoft Azure Well-Architected F
“3大クラウド”での設定ミスランキング、トレンドマイクロが発表 中にはミス率98％のサービスも
いわゆる“3大クラウド”（AWS、Azure、GCP）が提供するサービスのうち、設定ミスが起きやすいのは？──トレンドマイクロは4月6日、定期的に公開しているセキュリティレポート内で、こんな調査の結果を発表した。 調査はトレンドマイクロが提供する、クラウド環境の設定不備を検知する企業向けサービス「Trend Micro Cloud One-Conformity」が、2021年に全世界で実施した検査の結果を基に実施。設定ミスの発生率などをクラウドサービスごとに算出した。 AWSで最も設定ミスが多かったのは、AWSの各種サービスの設定や管理を支援する「AWS CloudFormation」。約582万回の検査で、約257万件（発生率44％）の設定ミスが見つかったという。2位はストレージサービス「Amazon S3」（約753万回で約267万件、発生率35％）、3位はEC2インスタンス向けのスト
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NTT東日本、Azure Stack Hubを活用したプライベートクラウド基盤を地域向けに提供する「地域エッジクラウド」を開始
日本マイクロソフトのクラウド型量子コンピューティングサービス「Azure Quantum」
GitHub - Azure/Azure-standardization-guideline: Repository for Azure standardization guideline
GitHub - Azure/jp-sqlsecurity: データ基盤で求められるセキュリティと、Microsoft Defender for SQL を使った効果的なセキュリティ対策について紹介
