昨日AWSウルトラクイズで優勝して浮かれている大栗です。 本日もre:Inventに参加しておりますが、Werner Vogels氏が話す2日目のKeynoteでAWS Lambda用のワークフロー管理を行う新サービスが発表されましたので、まとめてみます。 AWS Step Functions AWS Step Functions AWS Step Functionsとはビジュアライズなワークフローを使用して、分散アプリケーションとMicroservicesのコンポーネントを簡単にコーディネートできるサービスです。つまりLambdaなどを上手く連携させてステートマシンとして定義し実行させるサービスの様です。 Lambdaなどの各ファンクションを状態として考えてワークフローをステートマシンとして定義します。各ファンクションをシリアルに繋いだり、パラレルに繋いだり、条件分岐をステートマシンとし

AWS re:Invent 2016のDAY2キーノートにて、フルマネージドなデータカタログとETLサービスとなる『AWS Glue』のリリースが発表されました！ これまでの状況 AWSのデータ分析における各種サービスはこれまでに数多くリリース・展開されて来ていましたが、一連の流れで見てみると幾つかピースが欠けている部分がありました。 今回新たにリリースされた『AWS Glue』を適用する事で、その欠けたピースを全て埋める事が可能となります。 AWS Glueとは AWS Glueは、完全に管理されたETLサービスで、データストア間でデータを簡単に移動できます。 AWS Glueは、困難で時間のかかるデータの発見、変換、マッピング、およびジョブスケジューリングのタスクを簡素化し、自動化します。 AWS Glueは、使いやすいコンソールでデータを移動するプロセスをガイドし、データソースの理解

Amazon Web Services ブログ AWS X-Ray – 分散アプリケーションの内部を見る 大統領自由勲章の受賞者であるGrace Hopperが、プログラムからエラーを特定し取り除く作業にデバッグという言葉を与えた最初の人だと思います。 実際にコンピュータから本物のバグ(虫)を見つけたことはないですが、働き初めた頃にアセンブラ言語のデバッグに膨大な時間を費やしました。その当時は、デバッグとはコードを1ステップずつ実行し、各プロセッサのレジスタの中身をステップの前後で比較し、自分の頭の中のモデルと実際に起こっていることが一致しているかを検証するというものでした。これはとてもうんざりするようなものでしたが、バグが残る余地はほとんどなく、自分のコードがどの様に動くかの深い理解も得られるものでもありました。その後、1ステップずつの実行はなくなり、デバック出力(こんにちは、stder

こうした膨大なデータ処理にはバッチ処理が用いられるが、サーバクラスタのプロビジョニングやバッチ処理ソフトウェアのインストール、ジョブの管理やスケジューリングなど、困難が多いとVogels氏は指摘。 そこで発表されたのが「AWS Batch」です。どんなスケールのバッチ処理もフルマネージドで提供するサービス。 動的にリソースを配分し、スポットインスタンスを利用したコストの最適化、キューの管理やスケジューリングなどを行ってくれます。

Amazon Web Services ブログ AWS CodeBuild ― フルマネージドのビルドサービス 開発者は通常、ソースコードの変更に対する継続的インテグレーションのビルドとテストを実行するために、共有のビルドサーバを構築し運用しなければいけません。継続的インテグレーションを運用するのは面倒なことなので、多くの開発者はそれを避けてローカルマシンでビルドを実行します。これによって、ある開発者の環境では動作するコードが最終的な本番環境ビルドで動作しないという状況が、しばしば引き起こされます。 多くの開発チームは、CI/CD（継続的インテグレーション / 継続的デプロイ）パイプラインの構成要素としてビルドファームを構築します。ビルドファームの構築と運用はコストが高く、また独特のスキルが求められます。普段はビルドファームはあまり使われていませんが、修羅場の時には利用率は100%に達し、