ETLにAWS使う場合の選択肢 - Qiita
この記事は ただの集団 AdventCalendar PtW.2019 の7日目の記事です。 昨日はtakatorixさんのGo言語でフレーズ検索を実装してみるでした。 はじめに ETLネタで被っておりました。 機転を利かせて昨年末のAWS re:Invent 2018で出てきたGlueの上位版のようなAWS Lake Formationのプレビュー申請して内容を変更したりできれば良かったのですが、力量不足だったので気にせず記載します。 せめてGlueを避けて、今更ですがDataPipeline中心の内容で、選択に迷った時の一助になれば幸いです。 AWS Data Pipeline AWS Data Pipeline とは ずばりETL(抽出、変換、ロード)を行うAWSのサービスです。 所感ですが、コンポーネントを繋いでいくだけで直感的にわかりやすく、公式のドキュメントを読むだけで大体のこ
AWS Data Pipelineを使ってRDS MySQLのデータを定期的にS3に出力する
なぜData Pipelineを選んだか？ 調査を行う過程で、AWS GlueとAWS Data Pipelineが候補に上がりました。 Q: AWS Glue とAWS Data Pipeline はどのように使い分けますか? AWS Glue では、Apache Spark サーバーレス環境で運用されるマネージド型 ETL サービスが提供されています。お客様は ETL ジョブに集中でき、基盤となるコンピューティングリソースの設定や管理について心配する必要がありません。AWS Glue ではデータ優先のアプローチが採用されており、ビジネスインサイトを引き出すことができる形式にデータを変換するための、データのプロパティと操作に集中できます。データカタログが統合され、ETL に加えて Amazon Athena や Amazon Redshift Spectrum でのクエリにもメタデータを
定型データ移動処理のスケジュール自動化設定サービス『AWS DataPipeline』の構成要素をひと通り整理してみた ｜ DevelopersIO
AWSをお使いの皆さん、『AWS Data Pipeline』というサービスを御存知でしょうか？そしてAWSをお使いの皆さん、AWS Data Pipelineをお使いになられているでしょうか！ ( °д°) ｸﾜｯ!! 『AWS Data Pipeline』のフレーズで検索を掛けてみると、国内はもとより海外でも、そこまで(AWSの他サービスと比べて)言及数や情報共有されている形跡が無いようなイメージです(笑) 昨今、ビッグデータや統計・分析がもてはやされている(とは言え最近は以前よりは落ち着いて来たでしょうか)中で、データ連携の重要性がより一層認識されている現在、比較的リリースされてから時間の経つこのサービスがクローズアップされていないのは勿体無いな〜と思っておりました。 思っておりましたが、私自身も興味は持ちつつそこまでAWS Data Pipelineに対する知識や利用経験・ノウハウ
電気自動車ゲスト充電の【実録レポート！】取扱説明書 - EVsmartブログ
レンタカーなどのEVで遠出する際、自動車メーカーなどが発行する充電カードがないと、各充電器ごとに設定された手順に従って「ゲスト（ビジター）充電」する必要があります。ところが、複数の仕組みが乱立していて使いにくいのが実情です。EVsmartブログチームのスタッフが、充電器巡りして試してきました。 まずは簡単に自己紹介をしておきます。私、石井は2019年10月にアユダンテ入社。以来、EVsmartブログチームの一員としてもサポート業務をしています。社有車であるテスラ『モデル3』の管理も担当していて、電気自動車に充電する機会は少なくありません。とはいえ、会社が契約して普通充電器を設置してある駐車場かテスラ「スーパーチャージャー」で充電することがほとんど。たまにCHAdeMO規格の急速充電器を使う際にも、会社で作成している「NCSカード」があったので、ゲスト充電は体験したことがありませんでした。
【2021年版 まとめ表】電気自動車用充電カード徹底検証 - EVsmartブログ
電気自動車やプラグインハイブリッド車で公共の充電スポットを利用するには「認証」が必要です。各自動車メーカーなどがさまざまな充電カードを発行していますが、あまりに多様で料金設定が異なるなどかなり複雑。最新情報を一覧に整理してまとめておきます（随時アップデート予定）。 【2021年3月17日更新】 電気自動車充電用「充電カード」一覧 電気自動車やプラグインハイブリッド車（外部から充電可能なプラグイン車）で公共の充電スポットを利用するには、ほとんどの充電器で「認証」が必要です。あらかじめクレジットカード情報などを登録して、認証、課金を行うための「充電（認証用）カード」にはさまざまな種類があり、料金設定などが異なっています。 まず、2021年3月現在、加入することが可能な個人向け認証カードの一覧をご紹介します。本来は税込価格でご紹介するべきですが、なぜか各カード料金の設定が「税別」で発表されている
SRE Team のオンボーディングのいま - スタディサプリ Product Team Blog
こんにちは。SRE の @chaspy です。 Quipper の SRE Team ではじめて「オンボーディング」と呼ばれるものを行って約2年経ちました。 quipper.hatenablog.com その後、3人の仲間が入社し、そのたびにオンボーディングプロセスを改善してきました。 本記事では、SRE Team のオンボーディングプロセスの"いま"を振り返るとともに、その効果や意義を、オンボーディングを受けたメンバーからのコメントを交えて紹介したいと思います。 オンボーディングの目的 あらためてオンボーディングの目的について言語化しておきます。これは今も昔も変わっておらず、「New Joiner の早期の戦力化」だと思っています。 早期の戦力化のためには何が必要か、ということを考えると、現在のチームのミッションから普段の業務へブレークダウンし、それらをスムーズに遂行するために何が必要か
ALB で Cognito ユーザープール認証を使う構成で 1 週間以上ログイン状態を維持できません | DevelopersIO
困っていた内容 Application Load Balancer（ALB）でユーザー認証に Cognito ユーザープールを使用しています。 Cognito ユーザープールのアプリクライアントの設定では、ID トークン・アクセストークンの有効期限を 10 日としましたが、1 週間で再ログインが求められます。 ALB のユーザー認証に Cognito を使用する構成で、1 週間以上ログイン状態を維持することはできますか？ どう対応すればいいの？ 上記の構成では 1 週間以上ログイン状態を維持することはできません。 ALB がログイン状態を維持するにはセッションが必要です。しかしながら、ALB のセッションタイムアウト設定は、最大で 604,800 秒（1 週間）であるため、1 週間経過すると再ログインを求められる挙動になります。（2021/03/15 時点） ALB のセッションタイムアウ
useEffect完全ガイド
あなたは Hooks を使って複数のコンポーネントを書きました。ちょっとしたアプリも作ったことがあるでしょう。満足もしている。API にも慣れて、その過程でコツも掴んできました。しかも重複したロジックを転用できるよう Custom Hooks を作り、同僚に自慢して見たり。 でも useEffect を使う度、いまいちピンときません。class のライフサイクルとは似ているけど、何かが違う。そしていろんな疑問を抱き始めます。 🤔 componentDidMount を useEffect で再現する方法は？ 🤔 useEffect 内で正確に非同期処理を行う方法とは？ []ってなに？ 🤔 関数をエフェクトの依存関係として記すべき？ 🤔 非同期処理の無限ループがたまに起こるのはなぜ？ 🤔 古い state か props がエフェクト内にたまに入るのはなぜ？ 私も Hooks を使
[React Hooks] React ComponentライフサイクルをおさらいしながらuseEffect で無限ループが発生する条件について理解する | DevelopersIO
[React Hooks] React ComponentライフサイクルをおさらいしながらuseEffect で無限ループが発生する条件について理解する useEffect で無限ループが発生した場合、原因を調査する上で注目すべき点に以下の 2 点があげられると思っています。 React Componentライフサイクル と useEffect が実行されるタイミングがバッティングしている 上記以外のロジックのバグ(例えば、useEffect で発生した副作用を依存配列で参照してコンポーネントがまたレンダリングされてしまう、など) ① と ② のどちらが原因で無限ループが発生しているのかがわかるだけでもデバッグが少し楽になります。本記事では React Component のライフサイクルをおさらいしながら ① が原因で無限ループが発生するケースと解決方法を 3 つまとめてみました。 Re
![[React Hooks] React ComponentライフサイクルをおさらいしながらuseEffect で無限ループが発生する条件について理解する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/406d924d7d4c6327201a8281e75820982243f551/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F01%2Freact.jpg)
【アップデート】EventBridgeがX-Rayのトレースコンテキストの伝搬をサポートしました。 | DevelopersIO
CX事業本部＠大阪の岩田です。少し間が空いてしまいましたが3/2付のアップデートによりEventBridgeがX-Rayのトレースコンテキストの伝搬をサポートしました。 このアップデートにより、イベントドリブンなアプリケーションのトレーサビリティ向上が期待できます。早速試してみたので、簡単に内容をご紹介します。 やってみる 早速実際に試してみたいと思います。今回は API GW → Lambda → EventBrdge → Lambda という流れでAWSの各種サービスを連携させ、X-Rayのコンソールからトレース結果を表示してみます。 SAMテンプレート 各種リソースは以下のSAMテンプレートからデプロイしました。 AWSTemplateFormatVersion: '2010-09-09' Transform: AWS::Serverless-2016-10-31 Descripti
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GCP連載2021を始めます | フューチャー技術ブログ