世界一のブロックチェーンゲーム『マイクリプトヒーローズ』を支える技術スタックとサーバ環境
日本発のRPGブロックチェーンゲーム『マイクリプトヒーローズ』 司会：ここまでで5社のピッチが終了しまして、残すところ、あと2社ですね。次は、 double jump.tokyo株式会社のエンジニアである満足さんにご登壇をいただきたいと思います。それでは、よろしくお願いします。 満足亮氏（以下、満足）：よろしくお願いします。さっそくですけど、ブロックチェーンを知っている方、手を挙げてください。 （会場挙手） じゃあ、だいぶ飛ばしていきます。 我々は『マイクリプトヒーローズ』というゲームを作っております。「ゲームにかけた時間もお金も情熱も、あなたの資産となる世界」というキャッチフレーズでやっています。ブロックチェーンのEthereumを使っていまして、プラス、分散ストレージであるIPFSを利用して、ゲーム資産の非中央集権性を実現しています。 ただ、ブロックチェーンによくあるスケーラビリティや
Amazon ECS services now support multiple load balancer target groups
You can now attach multiple target groups to your Amazon ECS services that are running on either Amazon EC2 or AWS Fargate. Target groups are used to route requests to one or more registered targets when using a load balancer. Attaching multiple target groups to your service allows you to simplify infrastructure code, reduce costs and increase manageability of your ECS services. Previously, you co
Amazon Linux 2 Extras now provides AWS-optimized versions of new Linux Kernels
AWS is expanding the Extras catalog in Amazon Linux 2 to include AWS-optimized variants of new Linux Kernel releases. Starting today, an AWS-optimized Linux Kernel 4.19 is now available in Amazon Linux 2 in the Extras channel. The new kernel includes enhancements such as improved performance on A1 instances and higher bandwidth with lower latency on smaller instance types. The Linux Kernel 4.14 co
Amazon ECS Console now enables simplified AWS App Mesh integration
When creating or updating an ECS task definition in the ECS console, you now have the ability to add the task to a mesh in AWS App Mesh. AWS App Mesh is a service mesh that provides application-level networking to make it easy for your services to communicate with each other across multiple types of compute infrastructure. App Mesh uses the open-source Envoy proxy as a sidecar container for servic
The Journey of learning Apache Flink (1) — Initial EMR and Project Setup
According to Apache Flink website: Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming applications. With this journey I won’t discuss hot topics like “Apache Flink vs. Apache Spark” or “Benchmark comparison” on the data processing framework, I believe there are other blogs did better job than this one. The rea
Introducing Amazon EC2 Instance Connect
Amazon EC2 Instance Connect is a simple and secure way to connect to your instances using Secure Shell (SSH). With EC2 Instance Connect, you can control SSH access to your instances using AWS Identity and Access Management (IAM) policies as well as audit connection requests with AWS CloudTrail events. In addition, you can leverage your existing SSH keys or further enhance your security posture by
AWS Solutions Architect ブログ
ナスダック - 大量のデータセットへのアドホックアクセスのためのAmazon EMRとAmazon S3を利用したアーキテクチャ これは、AWS BigData blogへのナスダックのPrinciple ArchitectであるNate Sammonsによるゲスト投稿を翻訳したものです。 ナスダックグループは世界中の金融取引所を運営し、毎日多くのデータを処理しています。ナスダックでは、本質的には同じデータセットにアクセスすることが求められ、幅広く多方面において、分析と監視のシステムを動かしています。 ナスダックグループは、Amazon Redshiftがリリースされて以来のユーザーであり、とてもこのサービスを気に入っています。Re:Inventでは「FIN40 Seismic Shift: Nasdaq’s Migration to Amazon Redshift」など、数回にわたりシス
AWS re:Invent 2016: Deep Dive: Amazon EMR Best Practices & Design Patterns (BDM401)
AWS re:Invent 2016: Deep Dive: Amazon EMR Best Practices & Design Patterns (BDM401) Amazon EMR is one of the largest Hadoop operators in the world. In this session, we introduce you to Amazon EMR design patterns such as using Amazon S3 instead of HDFS, taking advantage of both long and short-lived clusters, and other Amazon EMR architectural best practices. We talk about how to scale your cluster
Why did Airbnb switch from Amazon Redshift to Presto for their analytics stack?
36 people want answers to this question. Be the first to answer.
【レポート】 Amazon EC2 パフォーマンス Deep Dive #AWSSummit | DevelopersIO
幕張で開催されているAWS Summit Tokyoの中でもディープなセッションがありました。 Day1 のセッション、「Amazon EC2 パフォーマンス Deep Dive」を受講しましたので、レポートを記載します。 セッション概要 EC2の持つポテンシャルを最大限に利用して効率的な運用をするためのCPU、ネットワーク、ストレージなどといった各種処理性能の理解とチューニングポイントについて 登壇者 小川 貴士 様 宮本 大輔 様 コンピュート EC2インスタンスタイプについて インスタンスタイプ、仮想化方式(kvmかXenか)によってCPU、メモリ、ネットワーク帯域といった性能が異なる。 インスタンスタイプはc5d.9xlarge といったように表記される。この場合は、それぞれの記号に対して下記のような意味がある。 c : インスタンスファミリー 5 : インスタンス世代 d : 追
(BDT305) Amazon EMR Deep Dive and Best Practices
Amazon EMR is one of the largest Hadoop operators in the world. In this session, we introduce you to Amazon EMR design patterns such as using Amazon S3 instead of HDFS, taking advantage of both long and short-lived clusters, and other Amazon EMR architectural best practices. We talk about how to scale your cluster up or down dynamically and introduce you to ways you can fine-tune your cluster. We
Amazon Elastic MapReduce (EMR) ではじめる Presto/Trino 入門
Presto/Trino 1は日本語の入門書がなく、「Presto/Trino を運用することになったけど何から勉強すれば良いかわからない＞＜」という人も多いのではないかと思います。そこで、Presto/Trino を運用する時にこの辺の内容を知っていれば、よりスムーズにキャッチアップできたかなぁと思うことをまとめてみました。 Hive connector を使いたいので、Hive と Presto の環境構築をサクッと行える Amazon Elastic MapReduce (以降 EMR) で実際に手を動かせればと思います。 以降 Presto/Trino ではなく Presto と表記しますが、Trino は元々同じソフトウェアであるため、Trino でも当てはまる内容がほとんどのはずです。 なお、Presto のバージョンは 2019-03-13 時点で最新の EMR 5.21.0
Best Practices to Secure Data Lake on AWS (ANT327) - AWS re:Invent 2018
Best Practices to Secure Data Lake on AWS (ANT327) - AWS re:Invent 2018 As customers are looking to build Data lakes to AWS, managing security, catalog and data quality becomes a challenge. Once data is put on Amazon S3, there are multiple processing engines to access it. This could be either through a SQL interface, programmatic, or using API. Customers require federated access to their data with
金融機関でのHive/Presto事例紹介
Hadoop/Spark Conference Japan 2016でのライトニングトークの資料 by Ryosuke Iwanaga (@riywo) Read less
データレイクとは
データレイクは、規模にかかわらず、すべての構造化データと非構造化データを保存できる一元化されたリポジトリです。データをそのままの形で保存できるため、データを構造化しておく必要がありません。また、ダッシュボードや可視化、ビッグデータ処理、リアルタイム分析、機械学習など、さまざまなタイプの分析を実行し、的確な意思決定に役立てることができます。 データからビジネス価値を生み出すことができる企業は、同業他社よりも優れた業績を上げることができます。Aberdeen 社の調査によると、データレイクを実装した企業は、同業他社と比べて本業の収益成長が 9% 上回っています。このようなトップ企業は、ログファイルのほか、クリックストリーム、ソーシャルメディア、インターネットに接続したデバイスからのデータなど、データレイクに保存されている新しい情報源に対して、機械学習などの新しいタイプの分析を実行していました。
AWS上でApache Flinkを使用してリアルタイムストリーム処理パイプラインを構築する | Amazon Web Services
Amazon Web Services ブログ AWS上でApache Flinkを使用してリアルタイムストリーム処理パイプラインを構築する 今日のビジネス環境では、多様なデータソースが着実に増加していく中で、データが継続的に生成されています。したがって、このデータを継続的にキャプチャ、格納、および処理して、大量の生データストリームを実用的な洞察に素早く繋げることは、組織にとって大きな競争上のメリットになっています。 Apache Flinkは、このようなストリーム処理パイプラインの基礎を形成するのに適したオープンソースプロジェクトです。ストリーミングデータの継続的な分析に合わせたユニークな機能を提供しています。しかし、Flinkを基にしたパイプラインの構築と維持には、物理的なリソースと運用上の努力に加え、かなりの専門知識が必要になることがよくあります。 この記事では、Amazon E
AWS: SQS, Lambda, デッドレターキューを用いたリトライ仕様の検証 - Qiita
ソースコード Lambdaのソースコードを以下に示す。 バッチサイズの検証ではLambda(Input)のソースコードを複数メッセージ送るように変更、Lambda(Output)側で複数メッセージが入っているかprintするように変更、などしたが割愛する。 Lambda(Input) import boto3 from datetime import datetime SQS_NAME = 'nagatest' def lambda_handler(event, context): sqs_sends() def sqs_sends(): print('Input--------------------start') now = datetime.utcnow() now_str = datetime.strftime(now, '%Y-%m-%dT%H:%M:%S.%fZ') print
Best Practices for Running Apache Kafka on AWS | Amazon Web Services
AWS Big Data Blog Best Practices for Running Apache Kafka on AWS NOTE: This blog post was written before the launch of Amazon MSK, a fully managed, highly available, and secure service for Apache Kafka. We recommend using Amazon MSK instead of running your own Apache Kafka cluster in EC2. If you need to run Apache Kafka on EC2 then you will find this blog is still useful. ——————————————- This post
Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するためのベストプラクティス ビッグデータの世界における一般的なユースケースは、さまざまなデータソースからの大量のデータにおける抽出/変換 (ET) とデータ分析の実行です。多くの場合、この後でデータを分析してインサイトを取得します。このような大量のデータを処理するための最も人気のあるクラウドベースソリューションのひとつが Amazon EMR です。 Amazon EMR は、AWS での Apache Hadoop および Apache Spark などのビッグデータフレームワークの実行をシンプル化するマネージドクラスタープラットフォームです。Amazon EMR は、組織が複数のインスタンスを持つクラスターをほんの数分でスピンアップすることを可能にし
新しい Amazon S3 ストレージクラス – Glacier Deep Archive | Amazon Web Services
Amazon Web Services ブログ 新しい Amazon S3 ストレージクラス – Glacier Deep Archive AWS のお客様の多くは、大量 (大抵の場合ペタバイト以上) の重要データを収集して保存しますが、そのデータにアクセスすることはほとんどありません。raw データを収集してからすぐに処理し、その後万が一さらに処理または分析する必要が生じたときのために数年または数十年にわたって保存しておく場合もあれば、データをコンプライアンスまたは監査目的のために保持する場合もあります。このパターンに当てはまる業界とユースケースには以下のようなものがあります。 金融 – 取引アーカイブ、活動 & 監査ログ、および通信ログ。 ヘルスケア/ライフサイエンス – 電子医療カルテ、医療画像 (レントゲン、MRI、または CT)、遺伝子配列、製剤開発の記録。 メディア & エンタ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
