What we keep in mind when migrating from Serverless Framework to AWS CDK and AWS SAM
先日のアップデートで AWS Glue がストリーミング ETL をサポートするようになりました! AWS Glue now supports serverless streaming ETL New – Serverless Streaming ETL with AWS Glue なにが嬉しいのか まず、AWS Glue?ナニソレ?という方は、是非、以下の再入門ブログをお読みください。 AWS Glue はフルマネージドでサーバーレスな ETL(抽出/変換/ロード)サービスですが、これまでデータソースとしては S3、RDS、Redshift・・・etc といったデータストレージのみが対象でした。そのため、Kinesis Data Streams や Apache Kafka といったストリーミングデータに対して Glue を組み込んだ ETL 処理は出来ませんでした。 従来であれば、例え
本エントリはAWS re:Invent 2019のセッション CON306 Building machine-learning infrastructure on Amazon EKS with Kubeflowのレポートです。 Kubeflowの概要とBabylon社での事例について はじめに 本エントリはAWS re:Invent 2019のセッション CON306 Building machine-learning infrastructure on Amazon EKS with Kubeflowのレポートです。 このセッションの動画と資料はそれぞれ公開されています。 セッション概要 Data science, machine learning (ML), and artificial intelligence have exploded in popularity in the
Prefectとは AirflowやDigDagと同じワークフローエンジンです。 このブログでも紹介していますが、 Sensyさんの2020年のアドベントカレンダー [増補改訂]ビッグデータを支える技術 JX通信社さんのブログ などがわかりやすいと思います。 英語でもよければ、公式ページ(core部分とオーケストレーションの二つ)がわかりやすいです。 Prefect Orionとは 2021/10/6にPrefectがアナウンスした「our second-generation… …. DagsterやPrefect)はあまりないです Airlfowの「できるけどやらない方がいい事」、「やるなら注意してやるべき事」を説明してくれているのが、良きかな 「ストリーミングデータの処理」とか「xcomに大きなデータ入れる」とか「動的なDAGを書く」とか Airflowは分散Python実行基盤なので
AWS Big Data Blog Stream data to an HTTP endpoint with Amazon Data Firehose February 9, 2024: Amazon Kinesis Data Firehose has been renamed to Amazon Data Firehose. Read the AWS What’s New post to learn more. The value of data is time sensitive. Streaming data services can help you move data quickly from data sources to new destinations for downstream processing. For example, Amazon Data Firehose
コマンドラインの処理を並列実行したいときなどに使う xargs(1) だけど、引数にシェル関数を使おうとすると少し工夫する必要がある。 工夫しない場合に失敗する理由から説明しているので、うまくいくやり方だけ知りたいときは下までスクロールしてもらえると。 使った環境は次のとおり。 シェルとしては bash を想定する。 なお、xargs(1) は GNU 版か BSD 版かは問わない。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G5033 $ bash --version GNU bash, version 3.2.57(1)-release (x86_64-apple-darwin18) Copyright (C) 2007 Free Software Foundation, Inc. と
はじめにGoでデータベースを扱う場合、Gorm, Gorp, sqlx といった O/Rマッパ がよく使われます。多くの場合は構造体のフィールドとデータベースのカラム名のマッピングをするタグ付きの構造体を実装します。例えば Gorm を用いて users テーブルにアクセスする場合、以下のような構造体が一例として考えられます。 model_user.gotype User struct { UserID string `gorm:"column:user_id;primary_key"` UserName string `gorm:"column:user_name"` } func (u *User) TableName() string { return "users" } Gorm や Xorm といった O/Rマッパ を用いる場合、スキーマから構造体を生成できず、構造体の生成が面倒
TypeScriptでReactをやるときは、小さいアプリでもReduxを最初から使ってもいいかもねというお話 前日の丸野さんがReduxを分かりやすく解説してみたというReduxの基本的な紹介を行いました。Reduxはコンパクトなライブラリながらよく考えられた仕組みです。Jetpack ComposeやらFlutterやら、ReactインスパイアなGUIフレームワークも増えているので、JavaScript(TypeScriptではなく) + Reduxをやってみるのは、ウェブに限らず、今後のユーザーインタフェース関連のコードを触るための理解力向上には良いと思います。 本エントリーは、プロダクションコードでたくさんRedux周りにもreducerなどを実装しなくてはいけなくなったときの次のステップとして、Redux Toolkitの紹介をします。 たいてい、Reduxは導入コストが大きく、
フューチャー Advent Calendar 2018 Qiita 5日目の記事です。 みなさん、こんにちは。 本記事は、AWS Glueについてのサービス概要や開発Tipsを紹介する5TB/日 のデータをAWS Glueでさばくためにやったこと(概要編)の続編で、Glueの性能検証した内容を共有していきます。 検証についてGlueの性能がテーマですが、Glueそのものには設定できるパラメータが少ないためチューニングの余地が比較的小さいです。 その中で、Glueの機能に着目すると以下の1~4が挙げられると思います。 DPU数 ジョブに使用されるDPU(Data Processing Unit)の数、Sparkで言うところのworker nodeの数に該当 1DPUは4vCPU、16GBのメモリを持ち、これ以外を選択することは不可 ジョブ実行に使用できるDPU数は最低2つ、最大で100まで設
Serverless Frameworkで構築するStep Functions & AWS Glue Jobを用いたワークフロー 好物はインフラとフロントエンドのかじわらゆたかです。 タイトルだけでなんかお腹いっぱい感ありますが、説明したいことを詰め込んだらこの様になりました。 Serverless Frameworkのプラグインを用いたStep Functionsの構築ブログは坂巻が書いたエントリがあるのでそちらを参考にしてください。 Serverless Frameworkで構築するStep Functions 今回のエントリーはこのStep Functionsの中でGlue Jobを動かしてみたといった内容になります。 今回の検証で使ったServerlessFrameworkとStepfunctionsのプラグインのバージョンは下記になります。 serverless : 1.63.0
What’s New In Python 3.8¶ Editor: Raymond Hettinger This article explains the new features in Python 3.8, compared to 3.7. Python 3.8 was released on October 14, 2019. For full details, see the changelog. Summary – Release highlights¶ New Features¶ Assignment expressions¶ There is new syntax := that assigns values to variables as part of a larger expression. It is affectionately known as “the walr
Pythonのasyncio、またasync/awaitについてはあまり実践的な例が出回っていなかったため、収集した情報をもとに用例ベースの逆引きリファレンスを作ってみました。 ただ、この辺はほんとに情報がなくて何が真実なのか謎に包まれている点があるので、情報をお持ちの方はぜひご連絡をいただければと思います。 今回紹介する例は、以下のgistにまとめてあります。実装時の参考にしていただければと思います。 icoxfog417/asyncio_examples.py はじめに Pythonにはthreading、multiprocessing、asyncioとどれも並列処理に使えそうなパッケージが3つあります。これらの違いをまず押さえておきます。 これらのパッケージの違いは、そのまま「マルチスレッド」、「マルチプロセス」、「ノンブロッキング」の違いに相当します。まず、マルチスレッドとマルチプ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く