2016/11/22 at Microservices Meetup vol.4 by @ovrmrw Auth0を使ってサインインを一括管理したり Azure Functionsをセキュアにしたりした話
先日『AWS re:Invent 2016』にて発表された新サービス『Amazon Athena』は、マニュアルにもある通りAWSが提供するフルマネージドHiveサービスと言えるでしょう。DWH用途で考えるとレコードをフルスキャンするよりも特定のカラムを集計・フィルタするというユースケースが多くなりそうですので、カラムナフォーマット『Parquet』を試したみたいと思いました。Parquetファイルの変換や、一般的なCSVとの簡単な比較をしてみました。(意外な結果が...) カラムナフォーマット『Parquet』とは データ分析では大福帳フォーマットのテーブルデータに対して、特定の列の値を集計したり、フィルタリングすることが多いため、カラム毎にデータが連続して格納されていると必要なデータのみをピンポイントで読み込むことができるからです。また、列方向には同じ種類のデータが並んでいるため、圧縮
ちょっと最近腹に据えかねる記事がネットで散見されるので敢えてアレなタイトルで、よろしくおねがいします。 なおこの記事は、自分はソフトウェアエンジニアリングの専門家であるので、そのような領域を大雑把に想定して書かれております。が、たぶん他の専門領域においても似たような状況なのではないかと推察しております。 専門用語ばかり使って会話するような人は本当のプロではない という言説を最近ちょくちょく見ますね。曰く、普通の人に説明できないようではダメだ。曰く、普通の人でも重要性が理解できないように話せないということは、実際にはお前のやっていることは重要ではないのだ。曰く、専門用語ばかりで会話するようでは実際の能力はわからない、専門用語などわからなくても本当に能力がある人にはあるのだ。 んなわけねーだろ。 専門家というのは、非専門家には扱えない問題を扱う専門家だから専門家として働けていて、それなりの待遇
はじめに こんにちは、中山です。 AWS re:Invent 2016で発表されたAWS Step Functions。複数のLambda関数の連携をAmazon States LanguageというJSONベースの設定ファイルで記述することができ、大変便利なサービスだと感じています。今回はこのAmazon States Languageを静的解析し、記述内容に間違いがあればエラーを標準出力に表示してくれるCLIツールawslabs/statelintをご紹介したいと思います。ちなみにこのツールはご存知Jeffさんのエントリでも軽く触れられています。 使ってみる インストールはとても簡単です。Gemとして配布されているため gem コマンドでインストール可能です。 $ gem install statelint <snip> 使い方も非常にシンプルなものになっています。現時点(2016年1
書き込みと読み込みのどちらに力を入れているかは、ストレージエンジンによって異なります。たとえば昔ながらのリレーショナルデータベースは、外部キーなどの制約を使ってデータの整合性をうまく制御できるようになっています。一方でNoSQLデータベースは、スループットとスケーラビリティを確保するために、そういった組み込みのガードレールをはずしてしまいました。データ層においても、どちらか一方に特化した最適化をすることがあります。たとえば、あらかじめ計算済みの値を保持しておけば、「一日あたりのサイト訪問者数」などの読み込み操作を効率よく行えるでしょう。ストレージソリューションのメーカーはどこも、「うちのプロダクトならあらゆるニーズを満たせます」などと自社製品の機能を自慢します。しかし実は、昔ながらのCRUDモデルに沿ってストレージエンジンを選んでデータ層を設計した時点で、さまざまな関心事の間で何らかの妥協
Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので,知り合いが試した情報も含めて,今思っている所を書いてみる. 実装 Athenaのページにあるように,実行エンジンは独自実装ではなくて,Facebookが公開しているPrestoを使っている.FacebookのみならずTreasure Data,Airbnb,Netflixなどクエリがガンガン飛ぶ環境で元気に動いている実績もあるので,拡張性,パフォーマンス,安定性で選ばれたのだろうと思われる.あとAWS的にJavaの方が相性は良さそう. パフォーマンス いくつかの記事で言及されている. Analyzing Data in S3 using Amazon Athena Amazon AthenaをBigQueryと比較してみた Amazon
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 https://cloud.google.com/storage/docs/public-datasets/landsat からダウンロードできるデータで、Amazon Athenaをつかって、クエリを実行してみました。 テーブル構成は以下の通りです。 CREATE EXTERNAL TABLE athena_test.landsat_data_csv ( SCENE_ID STRING, PRODUCT_ID INT, SPACECRAFT_ID STRING, SENSOR_ID STRING, DATE_ACQUIRED DATE, COLLECTION_NUMBER S
Amazon Web Services ブログ AWS LambdaのC#サポートの発表 本日、AWS Lambdaのサポート言語としてC#を発表しました。新しいオープンソースの.NET Core 1.0ランタイムを使用すると、さまざまな一般的な.NETツールからC#コードをAWS Lambdaに簡単に公開できます。 .NET開発者は、C#言語と使い慣れた.NETツールを使用して、Lambda関数とサーバーレス アプリケーションを作成できます。 Visual Studio、Yeoman、およびdotnet CLIにおけるツール サポートによって、C#で記述された個々のLambda関数またはサーバーレスアプリケーション全体をLambdaおよび Amazon API Gatewayに簡単に展開できます。 LambdaはAWSサーバーレスプラットフォームの中核です。もともと2015年に発売された
西澤です。S3の新コンソールUIに合わせてリリースされた4つの新機能のうちの1つ、S3 Inventoryを試してみたので、ご紹介します。訳(後述)あってご紹介が遅れました、すみません。 その他のリリースについてはこちらをご確認ください。 S3コンソールが新しくなりました | Developers.IO 【新機能】S3 のオブジェクトへタグが設定できるようになりました | Developers.IO 【新機能】S3 Analytics, Storage Class Analysisを試してみた #reinvent | Developers.IO [新機能] Amazon S3で新しいメトリクスが利用出来るようになりました #reinvent | Developers.IO S3 Inventoryとは S3 Inventoryは、S3に保管されたオブジェクトの一覧を定期的に出力してくれる機
$ gcloud --version Google Cloud SDK 136.0.0 alpha 2016.01.12 bq 2.0.24 bq-nix 2.0.24 core 2016.11.30 core-nix 2016.11.07 gcloud gsutil 4.22 gsutil-nix 4.20 ■ Cloud Functions (ALPHA) とは CLOUD FUNCTIONS (ALPHA) イベントベースの軽量なマイクロサービス Google Cloud Functions は軽量、イベントベース、かつ非同期のコンピュート ソリューションです。クラウド イベントに対応できる、単一目的の小規模な関数を作成することができます。サーバーやランタイム環境を管理する必要はありません。Google Cloud Storage と Google Cloud Pub/Sub のイベ
業務で初めて Lambda を使うことになりました。 その際に Lambda のデプロイや管理に Apex という OSS を利用したので その基本的な使い方を備忘録として書きます。 Lambda とは AWS の Lambda の公式ドキュメントにも説明がありますが、サービスの概要は以下のとおりです。 実行したいコードをユーザーの代わりに実行してくれるコンピューティングサービスの一種 Lambda の処理の主なランタイム環境は Java 8、Python 2.7、node.js v4.3.2 Lambda の処理は基本的にイベント駆動で実行される※1 実行環境やインフラ等のリソースの手配・管理は AWS が勝手にやってくれるのでユーザーは気にしなくて良い Lambda の実行環境ではメモリや実行時間には制限がある(メモリは最大 1.5GB、実行時間は最大 300秒) コストも処理実行のた
2016年12月5日より、Amazon Dash Buttonで利用できるようになりました。これは、ボタンを押すだけでAmazonから一部の商品(天然水, ひげそりなど)が購入できるようになるという端末です。 今回はこのAmazon Dash Button(※ 以降ボタンと呼びます)を、押したらHTTPリクエストが飛ぶボタンとして利用し、おうちハックなどで利用できるようにしていきます。 とりあえずボタンを押したらSlackにWehbook飛ばすくらいまでやりました。 ボタンの仕組み ボタンは電源がオフされているので、以下のような順序で動きます。 電源ON 同時に設定されたWi-Fiネットワークに接続 IP重複検知のためにARPプローブ送信 IPが重複していたらIP再設定?(自信ない) Amazonへ購入処理の実行(HTTP???) 参考 : How I Hacked Amazon’s $5
This document discusses building a data lake on AWS. It describes using Amazon S3 for storage, Amazon Kinesis for streaming data, and AWS Lambda to populate metadata indexes in DynamoDB and search indexes. It covers using IAM for access control, AWS STS for temporary credentials, and API Gateway and Elastic Beanstalk for interfaces. The data lake provides a foundation for storing and analyzing str
2019/11/6追記 既にAmazonのApp上から設定項目が削除されてしまった関係上、DashButtonのセットアップ手段がないのでこちらの手法を使うのはかなり厳しいかと思います。 代替のセットアップ手法があれば良いんですが、Amazon側がリセットコマンド返せたりするので多分面倒しかないです。 いずれにしても安くでボタンを買える以外にはメリットがないので、省電力なワイヤレスボタンがほしいってニーズを満たすなら、割高ではありますがAWS IoTエンタープライズボタンあたりを検討したほうが良いかと思います。 少なくとも低消費電力という点はDashButton同様ですし、ローカルで監視掛けなくても良いのでスマートです。 話題のAmazon Dash Buttonを買ってみました。昼過ぎに買えば19時には届いたのでAmazonすげぇなと。 それはさておき、4個も買った理由は500円という値
Amazon Elastic File System (Amazon EFS), which provides simple and scalable file storage for use with Amazon EC2 instances in the AWS Cloud, now allows you to access your file data from on-premises datacenters. On-premises servers can now move file data to and from your Amazon EFS file systems when connected to your Amazon VPC with AWS Direct Connect, allowing you to migrate data sets to EFS, enab
AWS Lambda が C# をサポートしました。 にわかC#erとしては試さざるを得ないと思い、とりあえずさっくりと動かしてみました。 用意するもの 前提 Windows 端末 Visual Studio VS 2015 Enterprise Update 3 にて動作を確認。 Community でもいける…はず。確かめてはいない。 記事中でインストールするもの AWS Toolkit for Visual Studio .NET Core ※ Mac 用の Visual Studio がリリースされたのでそれでも行けるかな?と思いましたが、 現時点では VS for Mac 用の AWS Toolkit が見当たらないので厳しそうです。 使ってみる AWS の Credential は発行済みで、アクセスキーの類を持っている前提。 持っていない方は公式ドキュメントの以下のページあた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く