タグ

ブックマーク / mao-instantlife.hatenablog.com (3)

  • Swaggerのファイル仕様が不満だったのでRAMLを触って比較してみる - 冥冥乃志

    前回、こういうの書きました。 mao-instantlife.hatenablog.com で、最後に触れたSwaggerの定義ファイルへの不満点。これに悶々としていたところ、隣の席の人にRAMLというのを教えてもらったので比較がてら使ってみました。 RAML is 何? Welcome | RAML 系統としてはSwaggerと同じく、yaml形式の仕様ファイルから公開向けドキュメントやライブラリ、サーバスタブなどを作るための定義仕様です。仕様のみの提供で、開発環境やコード生成ツールなどはサードパーティやコミュニティで開発されています。 例えばライブラリ生成なんかはこれ。 scraml.io API Gatewayにデプロイしたいなーというときは、AWSが公式に出しているAPIGateway Importerを使いましょう。 github.com 開発環境 デファクトになりそうなのが、A

    Swaggerのファイル仕様が不満だったのでRAMLを触って比較してみる - 冥冥乃志
  • AWS Glueのお試し:ドキュメントのざっと読みとクローラを使ってみる - 冥冥乃志

    先日、このようなブログが発信されました。 aws.amazon.com この辺りのデータ環境周りを作るためのサービスは、どんな状況であっても覚えておいて損はないですし、好きなレイヤーでもあるのでちょっと触ってみました。なお、公開されているのはまだ北米リージョンのみです。 ドキュメント読みながら、使いながらメモ書きしてたらある程度のボリュームになったので、一旦区切って出します。 参考リソース なんにせよ公式リソースが一番ですので、迷ったらここに当たってみましょう。 docs.aws.amazon.com サンプルや各種ライブラリのリポジトリもすでに作られています。今はまだ少ないですが、これから充実して行くことを期待しています。 github.com github.com AWS Glue is 何 AWS上のフルマネージドなETLです。ETLはextract, transform, and

    AWS Glueのお試し:ドキュメントのざっと読みとクローラを使ってみる - 冥冥乃志
  • AWS Glueのお試し:ジョブを動かしてみるのと、ついでに気づいたAthenaとの連携を確認 - 冥冥乃志

    前回、全体像を追いかけてクローラを実行するだけで結構なボリューム行ってしまったので続きです。 mao-instantlife.hatenablog.com 今回は右から左に流すジョブを作ってみるのと、その過程でわかったことを何点かまとめておきたいと思います。 Webコンソールからジョブを作る ソースもターゲットが単一で、単にマッピングの変更があるレベルであればウィザードから作成するだけでジョブが作れます。下図のように、ソースもターゲットもウィザード上はラジオボタンなので、ソースやターゲットが単一でないようなレベルのジョブを作りたい場合は、メインのソースやターゲットのみ決定してテンプレートとして作った後でソースを編集するなどの方法を取る必要があります。 ちなみに、ジョブの全般的な設定でTemporary directoryの入力が必須なんですが、デフォルトでは何も入力されていません。スクリプ

    AWS Glueのお試し:ジョブを動かしてみるのと、ついでに気づいたAthenaとの連携を確認 - 冥冥乃志
  • 1