AWS Outposts に必要なネットワーク接続を理解しよう #reinvent | DevelopersIO
こんにちは、菊池です。 AWS re:Invent 2019でいよいよ一般提供開始がアナウンスされた、AWS Outposts。気になっている方も多いと思います。本記事では、オンプレミスに設置するOutpostsを、どのようにオンプレミス/AWSとネットワーク的に接続するのか、どのように設計すべきかを紹介します。 参考資料 ネットワーク接続に必要な情報は、公式ドキュメントに詳細に記載されています。こちらを参考に読み解いていきます。 How AWS Outposts Works Outpostsのネットワーク 論理構成 Outpostsを利用すると、以下のように自社専用のAvailability ZoneのようにVPC内のサブネットを作成し、サブネット内にEC2などのインスタンスを配置することが可能になります。オンプレミスのネットワークとは、Loal Gatewayを経由して通信しますので、
MITからメルカリにやってきた20代AIエンジニアが放つ偉才っぷり「趣味でやってみたら天職でした」 - エンジニアtype | 転職type
2019.08.22 働き方 AI等のテクノロジー で「売ることを空気に」することを目指すというテックカンパニー・メルカリ。同社では現在すでに国内外から集まった約40名のAIエンジニアが活躍しており、10月にはさらに約16名の新入社員を迎えるという。 そして今、メルカリの中でも特に偉才っぷりを発揮しているのが、AIエンジニアの松岡玲音（まつおかれいん）さん（27）だ。 株式会社メルカリ AIエンジニア 松岡玲音さん（@lain_m21） 1992年生まれ。東京大学薬学部卒業後、アメリカの大学院へ渡り宇宙工学を専攻。その後、機械学習のロボットへの応用へ興味を持ち、マサチューセッツ工科大学（MIT）の航空宇宙工学専攻へ転学。ロボットAIなどについて研究を重ねた後、中退。2018年10月よりメルカリでインターンシップをはじめ、2019年１月に入社し、現職 メルカリに入社するまで「Pythonは独
Amazon Athena のPartitioningとBucketingによるパフォーマンス戦略 ｜ DevelopersIO
はじめに 先日ご紹介したAmazon AthenaのCTASサポートで、出力ファイルのBucketingとPartitioningに対応しました。BucketingとPartitioningは、相反するものではなく、必要に応じて組み合わせることでパフォーマンスの改善が期待できます。本日はBucketingとPartitioningの具体的なユースケースとパフォーマンス戦略について解説します。 Amazon Athena が待望のCTAS（CREATE TABLE AS）をサポートしました！ PartitioningとBucketingの解説 Partitioningとは Partitioningとは、データを指定したキーごとにファイルにまとめてグループ化します。指定したキーのことをパーティションキーと呼びます。一般的なDBのパーティショニングと概念は一緒ですが、Hiveのパーティショニング
Amazon Athena ユースケースで学ぶデータ分析環境のCTASクエリ活用 | DevelopersIO
CTASクエリをSQLで作成するとより詳細なオプション指定が可能であり、コードの変更管理という観点でも有用です。今回は前回書ききれなかった、データ分析環境で使うCTASクエリでSQLで作成する様々なユースケースについてご紹介します。さらに実用性がどうかを確認するため、約24.6GBファイル(GZIP)をParquetに変換するヘビーな検証実施しました。 はじめに 先日はダイアログベースでCTAS（CREATE TABLE AS）クエリを自動生成して、テーブル作成する方法をご紹介しました。CTASクエリをSQLで作成するとより詳細なオプション指定が可能であり、コードの変更管理という観点でも有用です。今回は前回書ききれなかった、データ分析環境で使うCTASクエリでSQLで作成する様々なユースケースについてご紹介します。さらに実用性がどうかを確認するため、約24.6GBファイル(GZIP)をPa
[レポート] (ANT307) Athena deep dive #reinvent2019 | DevelopersIO
こんにちは！DA事業本部の石川です！ 本記事はAWS re:Invent 2019のセッション「(ANT307) Athena deep dive」のレポートです。Amazon Athenaの最新機能の紹介になります。 セッション概要 Amazon Athena is an interactive query service that makes it easy to analyze data in Amazon S3 using standard SQL. Athena is serverless, so there is no infrastructure to manage, and you pay only for the queries that you run. Learn how customers are using Athena to query their data l
![[レポート] (ANT307) Athena deep dive #reinvent2019 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
Amazon Redshift の新機能「Auto Vacuum & Auto Sort」の徹底検証 #reinvent | DevelopersIO
先週、AWS re:Invent 2019で発表のあった「Auto Vacuum & Auto Sort」は、機械学習を使用してクエリのパターンを分析した結果に基づき、VACUUMを自動実行する機能です。なんかいい感じで暇な時に自動でVACUUMしてくれる、というニュアンスが伝わってくるのですが、本当のところどうかという点が気になります。そこで、この「機械学習を使用してクエリのパターンを分析」とは何かという点に着目して、実際の動作を確認してみました。 Auto Vacuum & Auto Sort とは これまでのRedshiftのAuto Vacuum Delete は論理削除した領域の開放のみなので、ソートキーを設定したテーブルは別途VACUUMを実行が必要でした。「Auto Vacuum & Auto Sort」は、Auto Vacuum で データのソートも自動実行されるようになり
ステートマシーンを簡単に作るための「AWS Step Functions Data Science SDK」の紹介 | DevelopersIO
概要 当エントリは『機械学習 on AWS Advent Calendar 2019』の13日目のエントリです。 クラスメソッド 機械学習 on AWS Advent Calendar 2019 - Qiita クラスメソッド 機械学習 on AWS Advent Calendar 2019 ｜ シリーズ ｜ Developers.IO SageMakerを使ったワークフローをStepFunctionsで実装したい、となった時にとてもお世話になりそうな「AWS Step Functions Data Science SDK」のサンプルスクリプトを触ってみたので、簡単な解説エントリーです。 対象者は「Step FucntionsとSageMakerに興味がある人」です。 本エントリーの最終ゴールは、下記のようなステートマシーンを「AWS Step Functions Data Science
「Fargate for EKS」というタイトルでre:Growth 2019に登壇しました #reinvent #cmregrowth | DevelopersIO
2019年12月11日に弊社主催セミナーで「Fargate for EKS」についてお話させて頂きましたので資料を公開します。 資料 まとめ 5分のLTということもあり、そんなに多くのことは話せなかったので別途検証ブログ（ログ周りの実装やコスト面など）書きます！
LambdaのProvisioned Concurrencyを使って、コールドスタート対策をしてみた #reinvent | DevelopersIO
はじめに CX事業本部の佐藤です。この記事はAWS LambdaとServerless #1 Advent Calendar 2019の12日目 です re:Invent 2019のLambdaで Provisioned Concurrency というアップデートがありました。弊社の岩田が速報ブログとして書いています。Provisioned Concurrencyのアップデートによって、Lambdaの同時実行数を事前にプロビジョニングすることが可能になりました。この機能によって、設定した数のコンテナは常にウォームスタート状態になるため、コールドスタートをある程度防ぐことが可能になりました。ただし、設定したコンテナ数以上のリクエストが来ると、Lambdaは通常通りスケールアウトしてコンテナを起動します。その際はコールドスタートとなるため、この設定値の調整が必要になりそうです。 やってみること
AWS SAMでLambdaのPolicyとRoleを両方設定すると、Roleが優先されてハマった話 | DevelopersIO
AWS SAMでLambdaのPolicyとRoleを付与したとき、Roleが設定されてPolicyで付与した権限が無いという現象に遭遇しました。 よくよく考えれば当たり前なのですが、地味にハマったのでご紹介します。 なお、本記事はAWS LambdaとServerless #2の12日目です。 ハマったこと 最初はPolicyのみ付与していた たとえば、AWS SAMで次のLambdaを定義し、DynamoDBのReadOnlyAccessポリシーを付与していました。 Resources: HelloWorldFunction: Type: AWS::Serverless::Function Properties: CodeUri: hello_world/ Handler: app.lambda_handler Runtime: python3.7 Policies: - arn:aw
Apache Kafkaのトラブルシューティングに見る、LINEが“根本的な”原因究明を大切にする理由
Apache Kafkaのトラブルシューティングに見る、LINEが“根本的な”原因究明を大切にする理由 Reliability Engineering Behind The Most Trusted Kafka Platform #2/2 2019年11月20、21日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。1日目は「Engineering」をテーマに、LINEの技術の深堀りを、2日目は「Production」をテーマに、Web開発技術やUI/UX、プロジェクトマネジメントなど、より実践的な内容についてたくさんのプレゼンテーションが行われました。「Reliability Engineering Behind The Most Trusted Kafka Platform」に登壇したのはLINE Z
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アイティメディアID：セッションエラー