はてなブックマーク

データ分析基礎 データレイク AWSでは、規模にかかわらず、すべての構造化データと非構造データを保存できる一元化されたリボジトリと定義している。 特徴 格納できるデータ容量に制限がない 格納できるデータの形式に制限がない どこにどのようなデータが入っているか管理されているので、必要なデータを探し、取り出すことができる データウェアハウス AWSでは、十分な情報に基づく優れた意思決定を行うための、分析可能な情報のセントラルリポジトリと定義している 集約されたリレーションデータとしてデータを保持。 ETL(Extract-Transform-Load) ETL:データウェアハウスを構築するために必要な前処理。 Extract(抽出） データベースやデータレイクから、分析に必要なデータを抽出する処理。 分析に使わないデータは抽出しないことが大事。 分析に使わないデータを抽出する 変換処理やロード

AWS Well-Architectedフレームワークとは？ AWSを利用するためのベストプラクティスをまとめたもの。 Well-Architected フレームワーク AWS Well-Architectedフレームワークの3つの構成要素 1. ホワイトペーパー レビュープロセス 5本の柱 設計の原則 ベストプラクティス 2. Well-Architected Tool ワークロード管理 レビュー結果の管理 3. 支援するソリューションアーキテクト 構築 設計 運用 レビュー ホワイトペーパーの５本の柱 3つの構成要素の中のホワイトペーパーの5本の柱。 5本の柱は、Well-Architected を体系立てる基本的な考え。 クラウド全般についての一般的な設計原則 そもそも、クラウド全般の一般的な設計原則は以下です。 - 実際に稼働して計測し、確実なキャパシティ設計をする - 本番環境と

import lxml.etree #ファイルを読み込む tree = lxml.etree.parse('rss2.xml') #getroot()メソッドでXMLのルート要素い対応する root = tree.getroot() #xpath()メソッドでXPathにマッチする要素をリストを取得 for item in room.xpath('要素を階層で指定'): #取得したいデータを指定し、取得 feedparserを使う RSSのフォーマットを意識せずにスクレイピングできる。RSSフィードには、RSS1.0, RSS2.0,Atomなど複数フォーマットがあって、めんどくさいので、おすすめ。 公式 Dockerのタグがついたqiitaの記事を取得 import feedparser d = feedparser.parse('https://qiita.com/tags/docke