音声からテキストに文字起こしをしよう｜LocalStack 実践入門 | AWS サーバレスパターン開発ワークショップ
データウェアハウスをRedshiftからSnowflakeに移行するために考えたこと（１） - Uzabase for Engineers
この記事は NewsPicks Advent Calendar 2024 の6日目の記事です。 ソーシャル経済メディア「NewsPicks」の中村です。最近はデータ基盤の開発運用、データアナリストのサポート、LLM活用等をやっています。 現在、NewsPicksではデータウェアハウスとして長年利用してきたAmazon RedshiftからSnowflakeへの移行を進めています。まだ移行作業の途上ではありますが、完了の目処が立ったので、なぜデータ基盤の移行を行なっているのか、どのように移行計画を立てたか、実際に移行作業を進めてみてどうだったか等を紹介したいと思います。データ基盤を運用している方、データウェアハウスの比較検討をされている方などの参考になれば幸いです。 なぜデータウェアハウスを移行するのか Redshiftのパフォーマンスとコストの問題 まず、NewsPicksの従来のデータ基
[アップデート] AWS Step Functions で変数が使えるようになりました | DevelopersIO
いわさです。 Step Functions を使っている全員がこれまで感じていたと思いますが、ステート間の値の引き渡し面倒でしたよね。頑張って出力に入れて...とか。 昨日、AWS Step Functions で変数が使えるようになったというアップデートがありました。 ステートマシンでは様々なタスクを組み合わせてワークフローを作成するのですが、前半のタスクの取得・処理結果を後半のタスクに引き渡したいことが必ず出てきます。 例えば以下のフローで Step1 の処理結果を Step5 で参照するためには、Step2、Step3、Step4 と引き継いでいく必要がありました。 画像引用元：https://docs.aws.amazon.com/step-functions/latest/dg/workflow-variables.html 今回のアップデートで変数がついに使えるようになり、例え
![[アップデート] AWS Step Functions で変数が使えるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/cf30d29748e6f1b93da1abc6bcdff37fcce26f4d/height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2Fwp-thumbnail-5f8ac6d1392d52f09eefb00a5ad1b303%2Ffceee02f9b8607d60014a828933bc45b%2Faws-step-functions)
AWSによるクラウド入門
真野 智之 (Tomoyuki Mano) <tomoyukimano@gmail.com> version 1.0, 2020-06-19
AWSエンジニアに必要な知識
はじめに 私は2024年1月からAWS設計構築のプロジェクトに入り、現在設計を進めている真っ只中なのですが、プロジェクトにアサインされてからの気づきについて書き留めてきたいと思いましたので本記事を執筆いたします。 まず、結論ファーストでお話させていただきますが、タイトルの「AWSエンジニアにとって必要な知識」についてはIT全般の知識を7割程度把握 しておくのが自分的ベストプラクティスかと思います。 ある知識に特化しているよりも、全体的に網羅されている方がことAWSにとっては必要な要素ではないかと考えています。 なぜなら、設計において任されるタスクは自分の得意としていない分野においても任されるからです。 ではその全体の知識って具体的にどんなことを知っておいたら良いの？について紹介していきます。 Linuxの知識 言わずもがな、Linuxの知識は必須になってきます。 前提として設計段階でEC2
AWS LambdaからRDS Proxy経由でAmazon RDSに接続してみる - サーバーワークスエンジニアブログ
DS課の古川です。 RDS Proxyの登場により、AWS LambdaとAmazon RDS間接続のボトルネックを回避できるようになりました。 今回は、RDS Proxyを経由してAWS LambdaからAmazon RDSに接続する手順を試してます。 はじめに 最大同時接続数 LambdaとRDBの接続 RDS Proxy リソース Security Group Lambda用 RDS Proxy用 RDS用 手順 1. データベースを作成 2. 接続テスト 踏み台サーバー or Cloud9を用意 RDSに接続 テスト用のテーブルを作成 3. Secrets Managerの設定 4. RDS Proxyの起動 5. Lambda関数の作成 serverless.yml lambda_rds_proxy.py 6. Lambdaを実行 気をつけるポイント 参考 はじめに 最大同時接続
sarのstealってなんじゃらほい？（AWSのt2系インスタンス限定のお話） - メグリ株式会社
ここ最近はずっとAWSのコンソールとイチャコラしてるのですが、弊社がリリースしたEAPが実運用に耐えられるかどうかという負荷テストを行っていた際に珍しい（？）ものが見れました。 EAPは標準構成の場合サーバはAWSのt2系インスタンスで稼働するのですが、このt2系インスタンスというのは普段はあまりCPU使用率が高くなく、ここぞという時に短時間であれば高CPU使用率もこなせるというWebサーバに向いたインスタンスなんですね。 で、JMeterでもりもりと負荷をかけていたところ急にレスポンスが悪くなり、sarコマンドで見ていたサーバリソースに見慣れない物が。 まぁ、タイトルで書いてしまってるんですが、こんな感じですね。 09:09:04 AM CPU %user %nice %system %iowait %steal %idle 09:09:05 AM all 32.35 0.00 0.00
2020/06/04時点 Aurora MySQL 5.6 vs 5.7 vs Serverless 機能比較一覧 | DevelopersIO
注釈 5.6系、5.7系ともにマイナーバージョンは最新版とします。つまり、5.6系と互換性のあるAurora MySQLのバージョンは1.*ですが、最新版である1.22.2についての記載になっています。同様に5.7系と互換性のあるAurora MySQLのバージョンは2.*ですが、最新版である2.08.0についての記載です。これより古いバージョンの場合、上記表の通りではない場合があります。 機能間で依存関係がある場合があります。その部分については記載していません。例えば並列クエリが有効になっている Aurora MySQL DB クラスターではパフォーマンスインサイトはサポートされていません。 特にマルチマスタークラスターには多くの制限があります。利用時には注意しましょう。[参考情報] 感想 Serverlessは使えない機能が多いですね。5.7系も以前は同様の印象だったのですが、昨年末に
【AWS】【Python】Lambda で EC2 インスタンスを起動・停止するプログラム＆スケジュール化手順【2018年最新版】
最近の AWS は新しい機能が次々と追加されています。もはや「人工知能」や「ビジネス分析ツール」など AWS の機能だけで、ビジネスに必要なすべての環境が準備できるのではないかと思います。 「Lambda」という AWS のサービスがあります。「Lambda」はプログラムを実行できるサーバーレスの環境なのでサーバーの準備が不要です。2016年まで「Lambdaの利用手順」は結構ありますが、2017年から設定手順が変わりました。（AWSは変化のスピードが速いため昔の手順が利用できなくなることがよくあります）そのため、2017年現在の「Lam... しかし2018年になり、更に AWS の設定手順や設定画面が変わっていたので、再度手順を作り直しました。 それにしても AWS はどんどん進化して付いていくのも大変ですよね。 Lambda（ラムダ）とは？ Lambdaとは「ラムダ」と読みます。 ギ
備忘録 技術 AWSとPython3とDjangoと | hdkworks blog
@kazsogaさんと少し話していて、表題の件、そろそろまとめたいね、ということで、まとめることにしました。今まで自分たちでやって来たことをまとめるのは、自分の脳みその整理にもなるので、いろいろと新しい気づきなんかもありました。 ゴール 今回のまとめのごーるですが、ひとことでいえば、「Djangoを動かす」ことですね。データベースは、そのままSQLiteですませちゃうとして、まずは動かしてみるところまでいきたいと思います。 方針 基本的には、私のような技術にはずぶの素人でも大丈夫なレベルで、いっこいっこ、しかもデフォルトのままでいいやというところはよく考えずにすすめていきますので、プロフェッショナルな皆様からは”oh…”と思われることもあるかもしれませんが、そんなときは、ご指摘をいただければと思います。また@Kazsogaさんと一緒にやってますもので彼のサイトともリンクを作りながら進めてい
無料で使えるAWSの初期トレーニングまとめ | NHN テコラス Tech Blog | AWS、Google Cloudなどのインフラ技術ブログ
こんにちは。sunnyと申します。運用企画チームというところで、サーバ監視運用部隊の運用をやっています。趣味はジョギングでマラソン大会にも出場しますが、一向にスリムになる気配がありません。知ってる方はつまらないけど、知らない方にとって「へー」となりそうな緩めの記事を書きます。よろしくお願いします。 AWSを学ぶ 今日は、AWS初学者にオススメの学習ノウハウのお話です。 何かをきちんと学ぶには本やドキュメントなどを読むという方法が一般的かと思いますが、私はどうも文字が苦手なので（もちろん必要な時は読みますが）、実際に手を動かしたり動画で学べるものが無いかと探しました。それで効果的だと思ったものをまとめましたので、書いていきたいと思います。ちなみに幸いなことに「AWSを勉強したい」と会社に言ったら、AWSのアカウントが貰えました。ありがとうございますありがとうございます。 注意 : AWSは日
エンジニアが左うちわでホクホクする。AmazonEC2を使い月額1000円程度で24時間FX自動売買環境を整える方法 - 電脳ミツバチのコンピュータ広報室
今日はAmazonEC2を使ってコンピュータに24時間FX自動売買させる方法をご紹介します。 これによって寝ている間も機械がトレードを続け、うまくいけば左うちわで暮らしていけるかもしれません。 FXはやったことあるけど結局負けて退場した、システムトレード（自動売買）は聞いたことあるけどコンピュータを24時間稼働させるのが出来なくて諦めた、という方いませんか？ そんな方のご参考になればと思います。 まず、必要な準備として証券会社とAmazonEC2のアカウントが必要になります。 ①メタトレーダー4が使えるFX会社のアカウント 私はFXDDという海外の業者ですが日本の業者も多くあります zai.diamond.jp ②AmazonAWSのアカウント aws.amazon.com さて、お金持ちへの準備が整ったところで早速設定をしていきましょう。 最初にAmazonEC2で24時間稼働させる方法
Amazon EC2 を使った無限IPアドレスの作り方 - ぼくはまちちゃん！
こんにちはこんにちは！！ たまにIPアドレスがたくさん必要な時ってありますよね。 ぼくも先日そういう機会があって、ちょっと困りました。 で、「AmazonさんならIPいっぱいもってるのでは？」ってことで、 ちまたで話題のクラウドサービス Amazon Web Servise を試してみました！ あ、もちろんタイトルは煽りぎみで実際にはIPアドレスは有限なんですが＞＜ 正直、クラウドとかサーバーとかよくわかってなかったんですが、 とりあえず試してみたら意外と簡単にできたので、忘れないようにメモしておきます！ そうそう、Amazonのクラウドって高そうなイメージがあるけど、いまだと制限つきで無料らしいので、お得ですね！ もし無料枠こえても、無茶な使い方をしない限りはそれほど高くない。と思います。たぶん。 制限を見る限り、とりあえず一ヶ月がっつり試すだけならタダです！ 必要なもの： ・クレジット
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サーバレスパターンから学ぼう｜LocalStack 実践入門 | AWS サーバレスパターン開発ワークショップ
AWSのLambda + sqlite でサーバレスRDSもなしでAPI実装 - 今からお前んちこいよ
https://jp.techcrunch.com/2014/11/18/20141117sourcelair-lets-you-code-right-in-your-browser/
AWS + Windows(C#)で構築する.NET最先端技術によるハイパフォーマンスウェブアプリケーション開発実践