AWSサーバーレスバッチ処理アーキテクチャの構築 | Amazon Web Services
Amazon Web Services ブログ AWSサーバーレスバッチ処理アーキテクチャの構築 この投稿は、AWSソリューションアーキテクトであるReagan RosarioとWWPSソリューションアーキテクトであるMark Curtisによって書かれました。バッチ処理は多くの組織にとって基礎となるもので、大量の情報を効率的に自動化した形で処理することができます。ユースケースとしては、ファイル取り込み処理、キューベースの処理、トランザクションジョブ、さらに重いデータ処理のジョブなど、多岐にわたります。 この記事では、ファイル取り込み処理を実装するためのバッチ処理を、サーバーレスに実現するための方法を説明していきます。今回の例では、オーケストレーションにAWS Step Functions、オンデマンドのコンピューティングにAWS Lambda、データストアにAmazon S3、メールの送
How Amazon Web Services Uses Formal Methods – Communications of the ACM
Since 2011, engineers at Amazon Web Services (AWS) have used formal specification and model checking to help solve difficult design problems in critical systems. Here, we describe our motivation and experience, what has worked well in our problem domain, and what has not. When discussing personal experience we refer to the authors by their initials. At AWS we strive to build services that are simp
Complement Commercial Intelligence by Building a Knowledge Graph out of a Data Warehouse with Amazon Neptune | Amazon Web Services
AWS Database Blog Complement Commercial Intelligence by Building a Knowledge Graph out of a Data Warehouse with Amazon Neptune This is a guest post from Shahria Hossain, Software Engineer, and Mikael Graindorge, Sales Operations Leader at Thermo Fisher Scientific. The continuous expansion of data volume is a growing challenge for businesses to produce strategic solutions for their customers. Thank
AWS でのワークロード検出 | AWS ソリューション | AWS ソリューションライブラリ
AWS でのワークロード検出 (旧称: AWS Perspective) は、AWS クラウドのワークロードを可視化するツールです。この AWS ソリューションを使用し、AWS からのライブデータに基づいて、ワークロードの詳細なアーキテクチャ図を作成、カスタマイズ、および共有できます。 このソリューションは、アカウントと AWS リージョン全体の AWS リソースのインベントリを維持し、それらの間の関係をマッピングし、それらをウェブユーザーインターフェイス (UI) に表示します。 このソリューションには、コストが発生している可能性のある AWS リソースやサービスを検索できるコストクエリビルダーも付属しています。予想コストデータは、指定された期間について自動的に計算され、アーキテクチャ図に表示されます。予想コストの概要を含むアーキテクチャ図のコストレポートを生成し、それらを CSV でエ
ABEJAの技術スタックを公開します (2019年11月版) - ABEJA Tech Blog
2021/10/22追記：最新版は下記記事になります！こちらもご一読くださいませ。 tech-blog.abeja.asia どうも、Tech Blog編集長(自称)の緒方(@conta_)です。 よくエンジニアの方にご質問いただく ABEJAってよく聞くけど、実際どんなことやってるのかよくわからない という点をクリアにするために、事業内容と技術視点でのABEJAの取り組みを紹介したいと思います。 ABEJAに興味のある方や、未来の一緒に働くメンバーに読んでいただけると嬉しいです！ 割とAIコンサルの会社と思われているらしいので、ちゃんとプロダクト作ってますよ！ということを伝えていきたい ABEJAの事業紹介 ABEJAは2012年から約7年間、機械学習・ネットワークやIoTデバイスを活用したプロダクトの研究・開発・運用を行っています。 様々な産業・業種へ機械学習の適用・運用を培ってきたナ
AWS Well-Architected - Build secure, efficient cloud applications
AWS Well-Architected helps cloud architects build secure, high-performing, resilient, and efficient infrastructure for a variety of applications and workloads. Built around six pillars—operational excellence, security, reliability, performance efficiency, cost optimization, and sustainability—AWS Well-Architected provides a consistent approach for customers and partners to evaluate architectures a
ClouderaDirectorを使ったクラウドマルチHadoopクラスタの設計 - CyberZ公式エンジニアブログ
はじめに F.O.X事業で、ビッグデータ、インフラ全般、SRE的な事をやってる茂木(@tkmoteki)です。 CyberAgent Developers Advent Calendar 2016 21日目の記事です。昨日は @matsuokah さんのImeFragmentというライブラリを公開しました！キーボード開発でもFragmentを使う！でした。 CyberZ公式エンジニアブログでは、ちょうど1年ほど前にオンプレミス環境のHadoopクラスタ全台のメジャーアップグレードについて書きました。 今回は、オンプレミス環境のHadoopクラスタを、クラウド上にCloudera Directorを使って再設計をする話です。 背景 オンプレミス環境以外でのHadoop Cloudera DirectorとCloudera Manager,クラウド上でのHadoop利用について インフラ構成
機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャのお話 - ZOZO TECH BLOG
はじめに こんにちは、CTOの今村です。 先日弊社のiQONが3年連続でGoogle Play「2016年ベストアプリ」に選ばれました。また、今回ベストイノベーティブ部門の大賞を受賞しました。 イノベーティブ部門ということなので、Androidアプリの品質だけでなく、アプリの中にある様々な機能の技術的な取り組みも評価してもらった背景があるのかなと個人的には感じています。 さて、ちょうど先日Minami Aoyama Night #1にて、弊社のデータまわりのアーキテクチャについてお話させていただく機会がありました。 今回は2016年12月時点での、機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャについて紹介したいと思います。 最近のデータまわりの取り組み 今年になってからVASILYは過去のテックブログでも紹介したように、データまわりの取り組みを一層強化して
(BDT310) Big Data Architectural Patterns and Best Practices on AWS
(BDT310) Big Data Architectural Patterns and Best Practices on AWS The world is producing an ever increasing volume, velocity, and variety of big data. Consumers and businesses are demanding up-to-the-second (or even millisecond) analytics on their fast-moving data, in addition to classic batch processing. AWS delivers many technologies for solving big data problems. But what services should you u
Building and Maintaining an Amazon S3 Metadata Index without Servers | Amazon Web Services
AWS Big Data Blog Building and Maintaining an Amazon S3 Metadata Index without Servers Mike Deck is a Solutions Architect with AWS Amazon S3 is a simple key-based object store whose scalability and low cost make it ideal for storing large datasets. Its design enables S3 to provide excellent performance for storing and retrieving objects based on a known key. Finding objects based on other attribut
CodeIQについてのお知らせ
2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod
AWS at Strata+Hadoop 2016: Building a Scalable Architecture on AWS to Process Streaming Data | Amazon Web Services
AWS Big Data Blog AWS at Strata+Hadoop 2016: Building a Scalable Architecture on AWS to Process Streaming Data Gone are the days when big data was confined to batch processing. To remain competitive, companies must be able to analyze real-time data streams in areas such as video streaming, real-time recommendation engines, preventive maintenance, and fraud detection applications. Last month, Siva
Serverless Architectures on AWS
NEWER EDITION AVAILABLE IN MEAP Serverless Architectures on AWS, Second Edition is now available in the Manning Early Access Program. An eBook of this older edition is included at no additional cost when you buy the revised edition! You may still purchase Serverless Architectures on AWS (First Edition) using the Buy options on this page. Serverless Architectures on AWS teaches you how to build, se
Machine Learning, Recommendation Systems, and Data Analysis at Cloud Academy | Amazon Web Services
AWS News Blog Machine Learning, Recommendation Systems, and Data Analysis at Cloud Academy In today’s guest post, Alex Casalboni and Giacomo Marinangeli of Cloud Academy discuss the design and development of their new Inspire system. — Jeff; Our Challenge Mixing technology and content has been our mission at Cloud Academy since the very early days. We are builders and we love technology, but we al
Registration: Machine learning & data conference | O'Reilly Strata
We’ve made the very difficult decision to cancel all future O’Reilly in-person conferences. Instead, we’ll continue to invest in and grow O’Reilly online learning, supporting the 5,000 companies and 2.5 million people who count on our experts to help them stay ahead in all facets of business and technology. Come join them and learn what they already know. Become an O’Reilly online learning member
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Amazon Builders' Library
WordPress.com
Run Amazon payments analytics with 750 TB of data on Amazon Redshift | Amazon Web Services
Building a Data Lake on AWS
[要約] Building a Real-Time Bidding Platform on AWS #AWSAdTechJP![[要約] Building a Real-Time Bidding Platform on AWS #AWSAdTechJP](https://cdn-ak-scissors.b.st-hatena.com/image/square/08b0c6c64f389d2ae0e5fad6e5795f2e5c2c3b75/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F2016rtbwhitepaper-160310091325-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
