この記事は GraphQL Advent Calendar 2020 14 日目の記事です。 前回の記事は @joe-re さんの 「ライブラリの実装からCursor-based paginationにおけるcursorのフォーマットのベストプラクティスを探る」 でした。 前置き GraphQLは2010年代後半に出てきた技術の中でも個人的に特に強力なアプリケーション実装パターンの一つだと思っているのですが、シンプルな実装なのに利用用途が豊富にあることと利用する立場が違うと全く印象を抱く事から全体像を掴みづらく、本来持つべきポテンシャルに対してまだ認知が広がっておらず利用されていないように感じます。 今回はサーバーサイドからの視点を中心にGraphQLを構築する要素を分解して解説するのとともに、それを利用した際にWebアプリケーション開発やそれに関わるエンジニアに起きうる変化について書いて

はじめに以前 Yuki Furuyama さんが「NEG とはなにか」という哲学的な(?)記事を書かれていましたが、このたび「Serverless NEG」(Serverless Network Endpoint Group)という新しいタイプの NEG が追加されました。(まずは Beta でのご提供です → EDIT(2020–10–14): 2020年10月14日に GA になりました。) これで NEG は Zonal NEG、Internet NEG、Serverless NEG の三種類になりました。 Furuyama さんの Zonal NEG に関する記事には「NEG は Kubernetes の Service に相当するもの、Network Endpoint は Pod に相当するものです」とありましたが、Serverless NEG では「Network Endpoi

Cloud Run CPU 0.08 ~ 8 Core (2nd gen は最小 0.5~) Memory 128 MiB ~ 32 GiB (2nd gen は最小 512MiB~) Deploy App Engine は Deploy (gcloud app deploy) を実行すると Cloud Build が暗黙的に動いて Deploy が行われるが、これがなかなか時間がかかる。 開発環境だと CI でとりあえず main branch に merge されたら、Deploy したりするけど、Deploy を Skip してもよいような時でも CI 回してると Deploy を待つことになって、ちょっとめんどうに感じる。 更にこの仕組みは成果物は Deploy しないと生まれないので、CI と CDを分離しづらい。 Cloud Run は Container Registry a

この記事はニフティグループアドベントカレンダー6日目の記事です。 はじめに 先週のre:InventでLambdaでコンテナイメージがサポートがされるようになりました。 今後さらに活躍の場が広がりそうなLambdaですが、今回はCDKを使ったLambdaのデプロイについて書いていきたいと思います。 LambdaとCDK まずはCDKについておさらいをします。 CDKはインフラをコードで管理、すなわち Infrastrucure as Code（IaC） を実現するためのツールでありCloudFormationやTerraformといったものもこれに属します。 CDKの特徴はJavaScript、TypeScript、Python、Java、C#から好みの言語を使うことができ、CloudFormationやTerraformと比べてより抽象化された記述でインフラを定義することが可能です。 最

結論 fastify使うなら fastify-cli使え 環境 Nodejs 10 fastify v3.0.0 概要 Nodejsでサーバーfastify-cliを使ってAPIサーバーのひな壇を作って、GCPのCloud Runにデプロイするところまでやってみる。 インストール まずはfastify-cliをインストール 公式ではグローバルインストールが推奨されている npm install fastify-cli --global これで fastify コマンドが使えるようになる。 ひな壇作成 fastify generate YOUR_APP_NAME cd yourapp yarn install するとこんな感じのひな壇が生成される。 ├── app.js ├── node_modules ├── package.json ├── plugins │ ├── README.md

「一般消費者が事業者の表示であることを判別することが困難である表示」の運用基準に基づく開示: この記事は記載の日付時点で株式会社ソラコムのエンジニアリングチームに所属する社員が執筆しました。ただし、個人としての投稿であり、株式会社ソラコムとしての正式な発言や見解ではありません。 はじめに SORACOM Advent Calendar 2020 7 日目の記事です。今日は昨年の SORACOM Napter 用の Visual Studio Code 拡張を作りました に続いて SORACOM Napter (以下 Napter) に関する話題です。 SORACOM Napter とは Napter は、SORACOM の SIM を使用したデバイスへ簡単にセキュアにリモートアクセスできるサービスです。SORACOM IoT SIM の刺さっているデバイスであれば、グローバル IP アドレ

Japan APN Ambassador Advent Calendarqiita.com 2020 8 日目のエントリです。 先日、会社でStepFunctionsの利用方法や、 Tipsを説明することがありました。 良い機会なので記事に書いてみようと思いました。 Stepfunctions概要 docs.aws.amazon.com サーバレスのサービスを組合せて利用する際の オーケストレーションのサービスです。 具体例をみると分かりやすいかもしれません。 下記の図の各NodeがLambda、SQS等、 各種AWSのサービスを表しており、 それらの処理を組み合わせて定義することが可能です。 Tips 利用し始めるとStepFunctionsならではの 機能や制限があることに後から気付き、 処理を作り直すことが良くありました。 事前に知っておきたかったことを 会社の後輩に伝えたところ割と

どうも、じゃがです！ 本記事は AWS Amplify Advent Calendar 2020 の9日目のエントリになります 2020年はAmplify iOS, AndroidのGA、Amplify JSのSSR対応やFlutterのDeveloper Preview、そしてAmplify Admin UIの登場など、Amplifyのアップデートが楽しい一年でしたね！ 今回はGraphQL APIのユニットテストを書くノウハウについてまとめてみたいと思います！ 想定読者 AmplifyでGraphQL APIのテストを書きたい人 テストが要件に入ってくる開発でもAmplify使いたい人 Amplify の基本的な使い方については解説しませんのでご了承ください。手を動かしてAmplify学びたいとうかたは、以下のWorkshopもご参照ください https://amplify-sns.w

AWS Amplify Advent Calendar 2020 10日目の記事です！ Amplify CLIを使うとAPI GatewayのREST APIをサクッと作成できます。 ただ、API GatewayのREST APIは、Lambda統合のタイムアウトが最大29秒なので、データのダウンロードとか時間のかかる処理を行うとタイムアウトしてしまうことがあります。そこで、Step Functionsを使ってタイムアウトの問題を解決してみます。 ※つまり、以下で説明されているようなことを、Amplify CLIでやろうという感じです。とてもわかりやすくまとまっているので、まず読んでもらってから続きを見てもらえると良いかと思います。 【API Gatewayタイムアウト対策】Step Functionsを組み合わせて非同期処理にしてみる 概要 Amplify CLIでAPI Gateway

AWS CloudWatch Logs をご利用のみなさん、CloudWatch Logs Insights は利用していますか？ 自分は CloudWatch Logs の検索記法に慣れていたのもあり、Logs Insights の記法を学習する元気がいまいち起きず、初めの方は filter @message =~ "hoge" みたいなクエリしか使っていませんでした (このクエリは今もよく使います )。 しかしながら、Saved Query 対応などもきっかけに、ここ 1 年くらいで結構 Logs Inshigts の集計クエリを活用する場面も増えたので、集計クエリの使い方のチュートリアルのような記事にまとめてみます。 以下、簡単な API アクセスログみたいなものを想定して、ログデータの集計というシーンにおけるクエリ例やちょっとしたテクニックを紹介していきます。 あるフィールドの値で

こんにちはdelyでサーバーサイドエンジニアをしているyamanoiです この記事は「dely #2 Advent Calendar 2020」の12日目の記事です。 adventar.org adventar.org 昨日は@yochidrosさんの「KMMでiOS・Android
を共通化しよう」でした。 みなさんwebサイトを作成する時にSPAを利用していますか？ SPAはユーザーに対してメリットが大きいですが、SEO観点やOGPタグのレンダリング等で SSRが避けられない場面に出くわすことがあると思います。 SSRが不要であればビルドして生成された成果物をs3等でホスティングするだけなのでデプロイや、運用が楽なのですが、 SSRをするとなるとNode jsの実行環境必要になります。 ある程度大きなプロジェクトであればECSやGKE, GAEに載せてガッチリと運用すべきだと思いますが

みなさま、こんにちは。研究開発グループと製品開発グループ に兼務で所属しております、きしだです。aptpod Advent Calendar 2020 11日目を担当します。今回は機械学習に関わるエンジニア向けに、最近AWSがリリースしたAWS Lambdaの新機能を利用して、サクッと推論APIを作るネタをご紹介します。 aws.amazon.com 推論をすばやくAPI化する意義 その前に、推論箇所をAPIとしてすばやく用意できる必要性について簡単に触れたいと思います。 機械学習関係の案件では、お客様側も理解できるKPIを立てることが非常に重要視されています。例えば「モデルの正解率を〜にしたい」や「モデルの動く速さを〜にしたい」などですね。これらの具体的な数値はお客様と議論を重ね、お互いにしっくりくる数値に落とし込む必要があるのですが、これがとてもむずかしいのです。なぜでしょうか。 お客

この記事は「Eureka Advent Calendar 2020」13日目の記事です。 こんにちは、2匹の猫様に尽くす傍、エンジニアを営んでいるSREチーム エンジニアの@marnieです。 だいぶ肌寒くなってきましたが、幸い我が家には長毛種の猫がいるので、心も体も温まります。長毛種の猫素晴らしい。はぁすばら。 さて。このまま猫自慢だけで押し切りたい所ですが。 直近は半分趣味・半分業務的な機会もあり、CloudFrontとLambda@Edge周りを触っていましたので、CloudFrontとLambda@Edgeを利用して画像を動的に変換するCDNの構築や実運用のTrafficに乗せてみての所感などについて、つらつらと書いていけたらと思います。 CloudFront+Lambda@Edge? Lambda@EdgeはCloudFrontの機能の一つで、世界各地に散らばるCloudFron

はじめに これは セキュリティキャンプ Advent Calendar 2020 - Adventar の14日目の記事． どこまで書いて良いのかわからない且つ怒られが怖くびびっているんでやばそうな部分は書いてない． 目次 はじめに 目次 応募編 準備編 講義編 自分に不足していたもの 今後 応募編 今年はせめて応募はしようという感じで興味あるプロダクトセキュリティトラック(B)に応募した． 課題に関してはもう全く覚えていないのでヨシ！ なんか期限が伸びたらしいが，提出後に変更する余裕がなかったので何もしなかった． 準備編 なぜか受かったので，事前課題等あると思い身構えたがほとんどのものが1~2週前ぐらいに公開された． ここで集中講義の追加募集がかかった(これが後々きつくなる要因)． 卒業研究があってこれから忙しくなるという感じだったが，エクスプロイト自動化ゼミ(LⅢ)には興味があった．

Next.js by Vercel - The React Framework 画像は Next.js サイコー！っていう顔です。 Webフロントエンドエンジニアであれば、「Reactのフレームワーク」と聞いて真っ先に思いつくであろうNext.js。僕は小規模の趣味開発から中規模の業務まで、4年程度Next.jsを使い続けてきました。触りはじめの当時はバージョン4で、”SSR（Server-side Rendering）を提供するReact製フレームワーク”だったものが、執筆時時点の最新バージョン（10.0.1）ではガラッと異なるフレームワークへと進化しています。 この4年間は実務で利用するだけでなく、新しいものや廃止された機能、RFC止まりになった機能など、Next.jsに関する情報を追いかけており、ある程度の知見をためつつも、Next.js並びに開発元のVercelが目指す方向性を何と

「AWS & Game Advent Calendar 2020」 14日目の記事です。 Kinesis Data Analytics利用していますか？ Kinesis Data AnalyticsはAWSが提供するKinesisサービスの1つとなりますが、ストリームデータに対して条件をつけて分析をすることができます。データ分析というと大量のデータに対して集計をかけることや仮説検証のためにアドホックなクエリを実行する話もよく出てくると思いますが、ユーザが行動したタイミングに可能な限り近いタイミングでユーザの行動を把握し対応することができると、ユーザに対して高い効果で影響が与えられるものです。 このようなニアリアルタイムな分析では大量データの分析とは異なる技術スタックが求められ、ストリーミングデータ処理を扱える基盤を整備すると柔軟性のある構成をとることができます。ここではKinesis Da

本記事は「PostgreSQL Advent Calendar 2020」の 14日目です。 はじめに マテリアライズド・ビューを定義すると、クエリの実行結果をデータベース内に保存することでビューに対するレスポンスタイムを向上させることができます。その一方で、実テーブルが更新されると保存されている結果が古くなってしまうため、その都度マテリアライズド・ビューを最新化する必要が出てきます。 現在のPostgreSQLでは、マテリアライズド・ビューを最新化する方法としてREFRESH MATERIALIZED VIEWコマンドが提供されています。このコマンドを実行するとクエリが再実行され、マテリアライズド・ビューが最新の状態に更新されます。 しかし、この方法ではすべてのデータが再計算されてしまうため、あまり効率的とは言えません。もしテーブルの更新がごく一部で、マテリアライズド・ビューの一部分のみ

はじめに AWS Lambda extensionsのプレビューが発表されました。それに伴い、AWS AppConfigから利用可能なextensionが提供されLambda関数から利用することができます。本稿ではAWS AppConfig Lambda extensionをLambda関数から利用する方法について紹介します。 AWS AppConfigとは AWS AppConfigはAWS Systems Managerの機能の1つで、アプリケーション設定を作成、管理し、デプロイを可能にするサービスです。アプリケーションはAWS AppConfigのAPIをコールすることで、アプリケーション自体の再デプロイを行うことなく、外部設定を動的にデプロイすることができるようになります。また、AWS AppConfigは検証機能を提供しており、全ての設定変更について、アプリケーションに投入する前

AWS Compute Blog Optimizing batch processing with custom checkpoints in AWS Lambda AWS Lambda can process batches of messages from sources like Amazon Kinesis Data Streams or Amazon DynamoDB Streams. In normal operation, the processing function moves from one batch to the next to consume messages from the stream. However, when an error occurs in one of the items in the batch, this can result in re

AWS Lambda のお客様は、Amazon Kinesis と Amazon DynamoDB ストリームにおいて、正しく処理されたレコードの自動的なチェックができるようになりました。この処理には、新たなパラメータ (FunctionResponseType) を使用します。このパラメータを “Report Batch Item Failure” に設定することで、バッチ処理が失敗した場合には、最近成功したメッセージが再試行された後にのみ、レコードが作成されるようになります。この設定により、処理の重複が減らせ、処理の失敗に対応するための選択肢を広げることができます。 お客様は、Amazon Kinesis と Amazon DynamoDB ストリームで既に利用可能となっている、他の失敗処理機能と合わせて、今回リリースのチェックポイント設定機能をご使用になれます。処理の失敗が生じた場合

AWS Compute Blog Using AWS Lambda for streaming analytics AWS Lambda now supports streaming analytics calculations for Amazon Kinesis and Amazon DynamoDB. This allows developers to calculate aggregates in near-real time and pass state across multiple Lambda invocations. This feature provides an alternative way to build analytics in addition to services like Amazon Kinesis Data Analytics. In this b

AWS Lambda をご使用のお客様は、Amazon Kinesis もしくは Amazon DynamoDB ストリーム向けの、分析ワークロードを構築できるようになりました。この機能の使用には追加の料金は必要なく、加算、平均、計数、および他のシンプルな分析関数を、シャードごとに最大 15 分間の、互いに連続してオーバーラップのない時間ウィンドウ (タンブリングウィンドウ) で実行されるように構築することが可能です。お客様は、単一の Lambda 関数の中にビジネスと分析のためのロジックを集約できるので、アーキテクチャの複雑さを低減できます。 Amazon Kinesis Data Analytics や Kinesis Data Analytics for Apache Flink などの既存サービスに加え、短時間の分析を Kinesis と DynamoDB データストリームのために

AWS Lambda をご利用のお客様は、任意のインフラストラクチャでホスティングされている、Apache Kafka クラスターからのメッセージによりトリガーされる、アプリケーションを構築できるようになりました。既存の Apache Kafka クラスターは、そのまま継続使用いただけます。加えて、Lambda を使用する Kafka のコンシューマアプリケーションを、簡単に構築することも可能で、その際、サーバーのプロビジョニングや管理の必要はありません。 今回、Lambda では、イベントソースとして Amazon Managed Streaming for Kafka (Amazon MSK) がサポートされるようになりました。Amazon MSK のサポートに加えて、今後、お客様はアプリケーションを構築し、ご自分で管理している Apache Kafka クラスターからトリガーさせ

(注: この投稿は、機能についての明確化を図るために 2021 年 2 月 23 日に更新されました) AWS Lambda が Amazon Managed Streaming for Apache Kafka (Amazon MSK) をイベントソースとしてサポートするようになったため、ストリーミングデータを使用してサーバーレスアプリケーションを構築するための選択肢が増えました。顧客は、インフラストラクチャ管理を気にすることなく、Lambda 関数を使用して Apache Kafka の消費者向けアプリケーションを構築できます。Amazon MSK は、Apache Kafka をストリーミングデータの処理に使用するアプリケーションを簡単に構築および実行できようにする完全マネージド型のサービスです。 Lambda を使用すれば、Amazon Kinesis Data Streams ま

はじめに ほとんど情報が引っ掛からなかったので、ここに記しておきます。 皆さんもOpenID Connectを使ってGoogleのログイン情報を元に自サービスの認証を行うというようなことはやっているもしくは使用した経験はあるのはないでしょうか。 しかし、Refresh Tokenはサービス側もしくはユーザー自身が削除しない限りはGoogleが保持し続けてしまいます。 ここでは、ユーザーが連携を解除した際に後始末をきちんとしようねという啓蒙のために後始末の仕方について書きます。サービス終了時にはクライアント自体を失効して対応しましょう。 Refresh Tokenを失効させない限りは使えてしまうので、ここはしっかりしておきましょう。 合わせて余計なscopeを付与しないようにとかもあるのですが、話題がそれるので記載しません。 あと聞いた話でエビデンスはない話をして恐縮なのですが、１アカウント

はじめに こんにちは ! KDDI アジャイル開発センターの小板橋です。 この記事は、KDDI Engineer Advent Calendar 2020の15日目の記事となります。 GraphQLの記事はよく見かけますが、GraphQLにおけるSubscription処理についてはあまり目にすることがありません。そこで本記事は、Subscriptionに着目したもので、実装時の助けになれれば幸いです。 GraphQLについては、以前事細かく書いたので、そちらをご覧ください。GraphQL入門 仕組み realtime API pub/subのような仕組みのAPIをrealtime APIというらしいです。 参考: GraphQL Subscription このrealtime APIなのですが、大きく分けて3つのタイプに分類されます。 1.ポーリング クライアントは、定期的にリクエストを

この記事はBeeX Advent Calendar 2020の12/15の記事です。 SORACOM NapterはオンデマンドでデバイスへのテンポラリかつセキュアなSSH接続を開けるサービスで、コロナ禍で現場に行くのが難しくなった中、自分の中でますます活躍の場が増えてるサービスです。 soracom.jp SORACOM Napterの通常の使い方 更に欲しくなってきたモノ 作成したスクリプト 前提条件 スクリプト 使い方 オプション 所感 SORACOM Napterの通常の使い方 この記事見ている人なら知らない人はいないと思いますが、通常の使い方を復習すると、 SIM選んで、オンデマンドリモートアクセスを選択して、 空けるポートや、許可するグローバルIP、空けておく時間を設定して、 これでSSHするためのポートが設定したグローバルIP向けに開きます。 とてもシンプルかつ便利なサービス

概要 最近インフラに興味が湧いてきたので、terrafromを使って遊んでいました。 すると「CDK for Terraform」なるものを発見👀 AWS-CDKを使ってTypeScriptやPythonなどでTerraformを扱えるとのことなので、さっそく試して見ました！ ※注意: まだ開発中であり、アルファテスト段階にあるソフトウェアが含まれています。本番環境には使用しないでください🙇‍♂️ hashicorp/terraform-cdk Write Terraform with Typescript and Python CDK for Terraform: Enabling Python & TypeScript Support コマンド # CLIのインストール $ npm install -g cdktf-cli # 作成（プロジェクト配下で） $ cdktf init

はじめに2020 年の 9 月に全世界待望 (?) の API Gateway のベータ版がリリースされました。このサービスにより、Google Cloud のサーバーレス系サービスをバックエンドにした API をより簡単に作成・管理することができるようになりました。 ところで、元々 Google Cloud には Apigee や Cloud Endpoints といった API 系サービスがありました。今回の API Gateway はそれらとどのように違うのでしょうか？ 本記事では新しく Google Cloud の仲間に加わった API Gateway の立ち位置を整理し、実際に API Gateway を試してみたいと思います。 Apigee と Cloud Endpoints おさらいApigeeApigee はエンタープライズ向けの API 管理プラットフォームです。以下のよ

はじめに おはようございます、加藤です。この記事は AWS LambdaとServerless Advent Calendar 2020 の13日目の記事です。LambdaとSeverlessということで大好きなAWS CDKを使えばLambdaへのデプロイ前処理まで管理できるよ!という内容をお伝えします。 本記事は今までLambdaを使ってWebアプリケーションやバッチ処理などを作成した経験のあり、少なくとも CDK Workshop はやったことがある、同等以上にCDKを使った経験がある方を想定しています。 記事を書く際に検証したサンプルコードをこちらのリポジトリで公開しています、合わせてご確認ください。 https://github.com/intercept6/sample-cdk-lambda-bundling Lambdaのバンドル Lambda関数をデプロイするにはスクリプト

日本マイクロソフトは2020年12月15日、デジタルスキルの習得支援プログラム「グローバルスキルイニシアチブジャパン」を開始すると発表した。新型コロナ禍の影響で失職した人や、新たにデジタルスキル取得を目指す人、学生などを対象として、オンラインでITスキルなどを学ぶ日本語のコースを無償提供する。 オンラインラーニングプラットフォーム「LinkedIn ラーニング」に日本語のコースを整備した。ソフトウエア開発者、ウェブ開発者、IT開発者のほか、グラフィックデザイナーやソーシャルメディアマーケターといった職種に就くためのコースを、2021年3月まで無償提供する。 日本マイクロソフトの榊原彰執行役員最高技術責任者は同プログラムの狙いとして、「どの企業でもデジタル人材が不足していると言われているうえ、コロナ禍でその傾向に拍車がかかっている。一方でコロナ禍により職を失った人もいる。キャリアチェンジをす

米団体「ボーイスカウトアメリカ連盟」（BSA）に対して性的虐待の損害賠償を求める訴訟が相次ぎ、BSAは18日、連邦破産法11条（日本の民事再生法に相当）の」適用を申請した。

今回は、fragmentを活用するためにパターンCを採用しており、厳密には、以下のように方針を定めています。 SSR時のクエリ発行: ページコンポーネント単位 CSR時のクエリ発行: CSRが必要なコンポーネント単位 この際、取得したqueryの結果をどのようにfragmentへ変換するかというのがポイントです。 そこで、graphql-anywhereの filter メソッドを用いることで、クエリ結果をfragmentへ変換します。 以下は、簡略化されたクーポンページの実装例です。 type DetailPageProps = { // GraphQLクエリの結果 data: Query } const DetailPage: FunctionComponent<DetailPageProps> = ({ data }) => { // couponはGraphQLのCouponスキー

この記事はpyspaアドベントカレンダー2020の15日目です。 ブロックチェーンによって出来ることを吹聴する無責任な記事は枚挙にいとまがないが、出来ることではなく出来ない事に関して論じる方がその技術の輪郭を適切に表現できると考えたので手の勢いのまま書いてみる。 シビル攻撃(Sybil Attack) 匿名P2Pを作る際によく登場するのがこの攻撃手法である。内容は端的に言うと「大量の悪意ある参加者をP2Pシステムに加えまくる」という物である。計算力の原価は半導体技術の発達と共に大幅に下がり続けており仮想マシンやらコンテナやらプロセスやらを沢山立ち上げるコスト的ハードルは低い。違法なデータのやり取りが行われている匿名P2Pに対して警察が捜査を仕掛けるような道理さえあれば現実的なコストで匿名性を攻撃できる。 BitcoinのようなPoW型のシステムがブレークスルーを果たしたのはまさにこの攻撃手

この話のゴールは、 AWS Amplify の Fargate 対応を使って「 PHP のフレームワークである Laravel をデプロイする」ことです。 Laravel からデータベース(RDSなど)と連携をする部分は、今回はやっていません。 単純に初期画面が表示されるところまで、です。 結論を先に書くと、下記の通り。 AWS Amplify の Fargate 対応を使って「 PHP のフレームワークである Laravel をデプロイする」ことができた。ただし、 docker-compose.yml の書き方がローカル開発時と少し異なる。デプロイツールとしては使えそうだが、開発環境としては利用しづらそう。 流れは、下記となります。 下準備コンテナ関係のファイルを配置デプロイ確認 下準備まずは、ファイル類をダウンロードしつつ Amplify の初期化を行なってください。 $ git cl

イベントを保存しておいて、活用するとき（例えばカート商品一覧画面を表示する時など）にイベントから現在の状態を再現して使うことになります。 容易に想像できる通り、データの書き込みについては更新操作と比較して軽い追記操作というアトミックな処理で完結します。その代わり、データの読み込み時に大量のデータを読み込んで現在の状態を再現するという重い処理が必要となります。実際にはイベントソーシング単体だとあまり実用的ではないため、次のコマンドクエリ責務分離パターンと組み合わせて使われることが多いようです。 コマンドクエリ責務分離パターン（CQRS） これもMSの説明がとても分かりやすかったです。 https://docs.microsoft.com/ja-jp/azure/architecture/patterns/cqrs ここでいうコマンドというのは書き込みリクエスト、クエリというのは読み込みリクエ

Ateam Group Manager ＆ Specialist Advent Calendar 2020の16日目は株式会社エイチーム引越し侍のインフラエンジニア、@dd511805が担当します。 毎年クリスマスにはサーバーに障害が発生しても自己修復する機能が備わりますようにとお願いをしています。残念ながらそんな都合のよい願いは聞き届けられることなく、それはkから始まって間に8文字のアルファベットがあってsで終わるプロダクトで実現せよという天の声が聞こえるようになりました。 インフラレベルの障害であればそれでいいのですが、アプリケーションのリリースを伴う不具合ではホストにあるログやDBにあるトランザクションデータを確認したい場合が出てきます。 大抵の場合、プロダクション環境へのリソースへのアクセスは制限されていますが、機能を開発したエンジニアに一時的にアクセスを許可したいというケースも出

Sign up for freeGet started in minutes with our cloud products TerraformInfrastructure as code provisioning​​​​‌‍​‍​‍‌‍‌​‍‌‍‍‌‌‍‌‌‍‍‌‌‍‍​‍​‍​‍‍​‍​‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍​‍​‍​​‍​‍‌‍‍​‌​‍‌‍‌‌‌‍‌‍​‍​‍​‍‍​‍​‍‌‍‍​‌‌​‌‌​‌​​‌​​‍‍​‍​‍‌‍‍​‌‍​‌‌​‌‍‍​‌‍‍‌‌‍​‌‍‌​‍‌​​​‍‍‌‍​‌‌‍‌​‌‍‌‌‍‍‌‌‍‍​‍‍‌‍‌​‌‍​‌‌‌​‌‍‌‍​‌‍‌‌​​‍‍‌‍​‌‍‌‍‌​‍‌‍‌‌‌‍‌​‌‍‍‌‌‌​‌

この記事はZOZOテクノロジーズ #4 Advent Calendar 2020の16日目の記事です。 昨日は @matsumana07384さんの HTMLのInput要素のinputmodeのスマートフォンのキーボードがどのように表示されるを整理してみた でした。 はじめに はじめまして。ZOZOテクノロジーズでSRE部に所属している@akitokです。 皆さん負荷試験していますか？ システムの信頼性・安定性を担保するために、非常に重要なフェーズといえる負荷試験。 システムへのアクセスが増大し、目標スループットが高くなっていくにあたり、 そもそも目標スループットを再現した負荷をかけること自体が難しくなってきます。 この記事では、その難しさ・辛さに焦点をあて、分散負荷試験という選択肢を紹介します。 負荷試験の辛さ 負荷試験をしていて、こんな経験はありませんか？ 一定程度高い負荷をかけ始め

安全なGraphQL API開発が出来るって本当？ FastAPI+GraphQL+テストで安全なAPI開発PythonテストGraphQL型定義FastAPI はじめに この記事はZOZOテクノロジーズ アドベントカレンダー#2 16日目の記事です！ TL;DR REST上でGraphQLを使用するメリットを説明 ORMを使用してPostgresを操作 GraphQLで用いられるスキーマ、ミューテーション、クエリについて説明 Grapheneを使用してGraphQLをFastAPI上で使えるようにする Grapheneとpytestを使用してGraphQL APIをテストする なぜREST上でGraphQLを使用するか RESTは、WebAPIを構築するためのデファクトスタンダードです。CRUD操作ごとに複数のエンドポイント（GET、POST、PUT、DELETE）を設計します。これらの

はじめに こんにちは、サーバーサイドエンジニアの@hokitaです。 この記事は Enigmo Advent Calendar 2020 の 16 日目の記事です。 弊社が運営するBUYMAは現状モノレポで管理されており、１０年以上も運営しているサービスなのでソースも肥大化していて、メンテナンスが難しくなってきました。 そこで現在、本体から少しずつマイクロサービスに切り離していこうとしています。 その取組の中で配送処理の一部をマイクロサービス化する作業に携わることができました。今回はBUYMA本体と配送サービスとの通信にイベント駆動アーキテクチャを導入した話をしていきます。 イベント駆動アーキテクチャ マイクロサービスでサービスを切り分ける場合、それぞれ責務が分かれるように分割するかと思います。 しかしサービス間の通信手段によっては各サービスが密になる恐れがあります。 そこでイベント駆動ア

これは GraphQL Advent Calendar 2020 16 日目の記事です（しかも 12 日目の記事と結構内容が被ってしまって切ない…） このエントリでは、GraphQL の @defer と @stream というディレクティブについて書いていく。色々書いていたら割と長くなってしまったが、内容は下記のとおり。 このディレクティブの登場背景ディレクティブの Specgraphql-js を用いた利用サンプル@defer / @stream とは何か@defer と @stream は共にデータの取得方法を制御するためのディレクティブだ。名前が示すとおり、クエリ全体から特定の箇所の読み込みを遅延させたり、ストリーミングさせることができる。2020 年末現在、GraphQL spec としては Stage 2（草案段階）であり、参照実装である graphql-js にも実装が存在し

ライセンス・キーは本来管理を厳重にする必要があるため、公式では AWS Secrets Manager を利用する手順となっていますが、ここでは動作検証が目的なのでそのまま環境変数にいれてます。 なお、アカウント ID の調べ方やキーの発行方法については、不明な方はここらあたりが参考になると思いますのでご参照ください！ アカウントID | New Relicのドキュメント New Relic ライセンスキー | New Relicのドキュメント 被験者 観測する対象の Lambda 関数ですが、適当なものが手元になかったので、Blueprint から作った素のhello-world-pythonを使いました（観測してもあまり面白くなさそうと思いつつ）。 Runtime : Python 3.7 Handler : lambda_function.lambda_handler Runtime

こんにちは、New Relicの田中です。 先日AWSから発表されたLambda Extensions (プレビュー版)、早速こちらの記事で解説されています。 【新機能】Lambda Extensions(プレビュー版)がリリースされました！ New Relicのサーバーレスモニタリング for Lambdaも対応済みですので、早速試してみました。 なにがうれしいのか？ ユーザー目線では、セットアップが楽になる点が挙げられます。内部の仕組みを考えると、いままでラムダ関数本体の中で設定していた可観測性のための仕組みを、AWSが提供するラムダ関数本体と切り離した枠組み（Runtime）の中で提供できることになります。 (図はNew Relicのドキュメントより引用） Runtimeをライフサイクルの視点でとらえると、関数本体が実行される前にRuntimeの初期化が完了しており、関数本体が終了し

Sensyn Robotics の開発部マネージャー伴です。 皆さんAWS CDK(Cloud Development Kit)はご存知でしょうか。 そうです。あのCloudFormationやSAMのテンプレート書き地獄に一筋の光が ... 個々のリソースだけでなくインフラ構成のベストプラクティスがクラス化されており、そのクラスをカスタマイズして使うことが出来て、よくあるパターンのインフラ構成であればわざわざ1から依存関係を整理してリソース定義を書かなくても良くなるとても素敵なツールです。 TypeScript, JavaScript, Python, Java, C#でインフラ構成を定義出来て、cliからデプロイ可能になります。 CIにもシンプルに組み込めそうです。 そして先日そのCDKでプロバイダーとしてterraformが使える terraform-cdk なるものが発表され注目し

何を書いた記事か 過去にDynamoDB Streams + Kinesis Data Firehose + Lambdaを用いたリアルタイムETLを検証した際のメモをこちらに転載します。 特にKinesis Data Firehoseの裏で動かすLambdaの実装に癖があったので、誰かの参考になれば幸いです。 前提 Webサービスなど展開していて、Database層にDynamoDBを採択している場合、そのデータを分析するための分析基盤構築手法として、Glueを用いたETLが一般的な選択肢になりうるのかなと思います。 最近DynamoDBのTableをS3にExportできる機能もGAになったので、フルダンプ＋日時バッチのデータ分析としてはそのような手法も使えるかもしれません。 しかし、DynamoDB上にあるデータをなるべくリアルタイムに分析基盤に連携したい、最低限のETL処理も挟みた

コンテナ標準化の現状と Kubernetes の立ち位置について というブログではコンテナ標準の現状についてまとめてみました。 また、手を動かして学ぶコンテナ標準 - Container Image と Container Registry 編 というブログでは Container Image と Container Registry について手を動かして学んでみました。 このブログでは、runc, containerd などの Container Runtime について、実際に手を動かして学んでみたいと思います。 なお、前回のブログ 同様、基本的にこのブログ内のコマンドは Linux で実行するものとします（自分は MacOS で Vagrant で Ubuntu VM を立てて実験してます）。 runc を動かしてみる runc は Low-Level Container Runti

本記事は「AWS その2 Advent Calendar 2020」の17日目の記事です。 内容 今年2020年の3月より、Athenaのクエリの状態移行がEvengBridgeに対応しました。 つまり、これを使えば従来のように「forループでGetQueryExecutionを実行してAthenaの実行完了を待つ...！！」というポーリングが不要となります。革命ですね。 また、もしLambda経由でAthenaのクエリを実行などをする場合は、Lambdaの起動時間が圧倒的に節約されます。 設定方法 とりあえずLambda関数を用意する EvengBridgeでルールを作成するときに、Lambda関数を選択する項目があるため、先に関数を用意しておきましょう おおよその最低限の処理 def lambda_handler(event, context): currentState=event_

この記事はモバイルファクトリー Advent Calendar 2020 17日目の記事です。 こんにちは、エンジニアのshioiyanです。 モバイルファクトリーには部活動制度があり、いくつもの部活動が存在しているのですが、自分はそのうちのゲームジャム部に所属しています。 今年2月から弊社はリモートワークになりましたが、ゲームジャム部はビデオ通話を使って活動を継続しています。 近頃、外出自粛している人が増えた中でも、ビデオ通話で話しながら楽しく遊べるサービスを作ろう！ということで部活を通じて、Web上でリアルタイムにそれぞれの画面が同期するお絵かきチャットの開発をしました。 仕様 今回作るリアルタイムお絵かきチャットの仕様はざっくり以下のようになります。 ユーザは部屋を選んで入室ができる 部屋にはマウスやタップ操作で絵を描くことのできるキャンバスがある 絵を描くと同じ部屋のメンバーのキャ

This virtual event starter kit was used to run Next.js Conf 2020, which had almost 40,000 live attendees. It includes the following features: Multiple stages - with the ability to add multiple sessions on each stage Each stage can be configured as - An embedded YouTube stream OR A live interactive audio-video experience powered by 100ms Sponsor expo, including individual virtual booths Career Fair

調べた事実を列挙してみる。 ・デフォルトの設定では、設定・操作・閲覧情報がユーザーID、デバイスIDと共にアスツール社のサーバーへ送信されている ・検索窓に入力した文字は、検索ボタンを押さなくても、その内容が逐一アスツール社のサーバーへ送信されている ・検索内容がアダルト関連ワードかどうかがアスツール社のサーバーに送信され判定されている ・サービス利用データの提供設定をオフにしても、閲覧情報がアスツール社のサーバーに送信されている ・プライベートモードにしても、閲覧情報がアスツール社のサーバーに送信されている ・https通信であろうとも閲覧したURLは完全な形でアスツール社のサーバーに送信されている 様々な設定を調べたが、どのようにしても外部への閲覧情報送信を止めることはできなかった。 あなたが何を調べ、何を買おうとしているのか、何で遊び、どこへ行こうとしているのか。それらはあなたの知ら

はじめに この記事は terraform Advent Calendar 2020 の17日目です。 IaCツールの1つであるTerraformのディレクトリ構成をどうするかについては、Terraformを利用しているエンジニアであれば一度は考えたことがあるのではないでしょうか。 そして、これについては先人の皆様によって様々な提案がなされてきました。 Terraformなにもわからないけどディレクトリ構成の実例を晒して人類に貢献したい Terraformのディレクトリ構成の模索 Terraformのディレクトリパターン集 Terraformにおけるディレクトリ構造のベストプラクティス etc... さて、私はCDPであったりデータ分析環境のためのS3やIAM設計に携わっています。 そんな中、以前にnoteに投稿した記事である「データ分析環境のためのaws S3設計」において、 bucket

Terraform Advent Calendar 2019 本記事は Terraform Advent Calendar 2019 8日目の記事です。 qiita.com プロローグ 普段Terraformを書いていると、インフラのコンポーネントとしてのLambdaもTerraformの世界で管理したい気持ちになります。とはいえTerraformで全てを管理しようとするとデプロイパッケージの作成とかライブラリのインストールとか結構辛いのでこの１年間色々試行錯誤をしてきました。 apexという良い感じのTerraformと調和したLambda用デプロイツールもありましたが、先日No longer maintainedの文字がREADME上に確認されたためプロダクション投入もできず困ってしまいました。 github.com Chapter 1 : AWS Lambda Layerを利用した開

本記事は「AWS LambdaとServerless Advent Calendar 2020」の17日目の記事です。 やりたいこと Amazon Redshiftにある10億レコードを越えるデータを1レコードずつ、特定の列を判定したりという、シンプルな処理だが全レコードを見ていく必要のある処理をしたい 従来やってた方法 RedshiftからSQLでELTしてUNLOAD UNLOAD結果をEC2へS3からダウンロード JavaやPythonなどのプログラムでバッチ処理実行 結果をS3に格納 この方法でも良かったのですが、大規模データをEC2で高速に並行で処理する、、、前に少し考えてみると、あれLambdaが相性良いのでは？と思い試してみました。 具体的な方法 MAXFILESIZEを指定してUNLOAD UNLOAD先をLambdaのイベントトリガで発火 Lambdaのおおよそのコード

Amplify Documentation - AWS Amplify Gen 2 DocumentationAWS Amplify Docs - Develop and deploy cloud-powered web and mobile apps. AWS Amplify Documentation で、 Amplify で開発するときって CLI で行なうのでどうしても CLI カテゴリを中心に読んでいたのですが(それでも読みきれない量になってきた)、色々と詰まってきたときに実は Libraries カテゴリを読むと欲しい情報が詰まっていた、、ということが最近よくありました。 というわけで、ドキュメントのカテゴリ CLI と Libraries と UI Components の中で、「同じ機能」を横断的に説明しているものが紐づくようなリストを作っておきたいと思います。 ついでに、

自分はソシャゲ歴も長くないので、プレイしていたけどサ終となったのは初音ミクぐらふぃコレクションぐらいでしょうか。それもガッツリやっていたわけではないのであまり思い入れのあるそれかと言われると……。とあるネヴロや暗殺教室を描いた漫画家さんによると、ストーリーは始めるよりも畳む方が重要で、そして難しいそうです。自分は終了する頃のストーリーを読んでいたわけではありませんが、先の記事やTwitterでフォローしてる人の反応的に綺麗にまとめたんだろうということが窺われます。 ＊SWITCHインタビュー達人達「松井優征×佐藤オオキ」2015/3/7放送 NHK Eテレ 関連記事はこれ この記事は2 この記事は、筆者が初音ミクProject DIVA MEGA39’sのモジュールとPVを見ながら、ｱｯｶﾜｲｲﾈって言うだけの記事です。DIVAそのものについての解説を求める人は、前述したマナ板さんの記事を

はじめに 本稿は、ソフトウェア開発を進める際に直面する様々な技術的な意思決定やライブラリ・フレームワーク・XaaS等を選択し正しく活用していくのかについての考え方をサポートすることを目的としています。「すべてにおいてこのようなワークフローを通じて検討すべきである」という主張ではありません。読者の抱える問題領域に応じて、必要な箇所を取捨選択するための１種の考え方を提供するものです。 そもそもアーキテクチャ・技術選定に時間をかけるべきか まず第一に伝えておきたいことは、技術選定やアーキテクチャ設計に常に慎重であるべきではないということです。ソフトウェアの規模やライフサイクルに応じて、そもそも時間をさく必要がないということも多くあります。書き捨てのシェルスクリプトにも読みやすいコードを求めて書くことは非常に重要ですが、だからといって組織だって議論・検討するようなものでもないのです。一方で、５年も

本投稿はJamstackその２ Advent Calendar 2020の15日目です。その1と比べてその2は過疎化しているので今からでも間に合いますよ！ はじめに Jamstackとは Jamstackは新しい何かなのか？ 結局、Jamstackとは何なのか 結論 余談 はじめに 勢いで登録したもののいまさら見直してみると、 Next.js / Nuxt.js / Gatsby / Gridsome / Vercel / Netlify / Amplify / CDN / サーバーレス / ヘッドレスCMS 等々、関連する話なら何でもOK ということで実際にNext.jsとかGatsby、CMS周りの話が多い様子。では自分は何について書こうかと考えたときに最近こんなツイートをしたことを思い出しました。 Jamstackって言わんとすることはわかるんだけどどうにもなんか腹に落ちきらないんだ

皆さん、こんにちは！Unityメンターのじろけんです。 本記事はLifeisTech!TokaiAdventCalenderの12/16です。 今回はUnityではないですが、僕が昨年参加した「セキュリティキャンプ全国大会2019」の参加記録を当時を思い出しながら綴っていきたいと思います。 セキュリティキャンプって何？ セキュリティキャンプはIPA(情報処理推進機構）が主催しています。公式サイトによると以下のような説明になるようです。 「セキュリティ・キャンプ」は、学生に対して情報セキュリティに関する高度な技術教育を実施し、次代を担う情報セキュリティ人材を発掘・育成する事業です。2004年に開始され、現在は全国大会を首都圏で毎年1回、2013年に開始された地方大会を毎年各地で10回程度開催しています。 全国大会、地方大会とも、参加するには応募課題を提出し、書類審査に通過する必要があります。

これは ビットバンク株式会社 Advent Calendar 2020 の 17 日目の記事です。 はじめに 皆さん setenforce 1してますか？ AWS エンジニアの koarakko です。 普段は DevOps や 統制周りの業務を担当しています。 今回は踏み台サーバでの SELinux 活用事例を交えながら実際にポリシー調査から実装までの方法を紹介したいと思います。 SELinux を本番利用している環境は少なく、貴重な経験ができたと自負しています。 この記事を読むことで SELinux の本番利用の一助になれば幸いです。 当社の踏み台の活用背景 踏み台サーバは本番アプリサーバにログインする場合に経由サーバとして利用しています。 OS は RHEL 8 で2台構成です。 当社では踏み台サーバを２年程度使っていますが、この間に踏み台サーバの置き換えもしています。 以前は am

HUITアドベントカレンダー2020 17日目の記事です。 seccamp'20が終わった 修了しました　お疲れ様でした！#seccamp— ayumin (@shoumoji) 2020年12月6日 とても濃い1か月半だった。 何をやったか 正規表現のReDoS対策を行うLinterを書いた。 正規表現エンジンのアルゴリズムを実装し、オートマトン理論によってReDoSの検出アルゴリズムを作るアルゴリズム班と、 Linterや実際のOSSプロジェクトにそれを適用し、OSSへの貢献を行うLinter班があり、 自分は後者の方に属して開発を行った。 開発言語はTypescriptだが、Linterに直接関係ないコードは言語指定がなかったので、自分はシェルスクリプトでGitHubのスクレイピングを行った。 もう一人の方はPythonで行っていた。 正規表現エンジンは難しい そもそもアルゴリズム知

Auth0、AWS東京リージョンで提供開始〜日本国内のAWSデータセンターからサービス利用が可能に〜 2つのDX（デジタルトランスフォーメーションと開発者体験）向上のための認証ソリューションを提供するAuth0株式会社（本社：東京都渋谷区、代表：ユーへニオ・ペース）は、Auth0をパブリッククラウド環境にてご利用のお客様へ、2020年12月15日よりアマゾン ウェブ サービス（以下、AWS）東京リージョン上で構築した環境にて提供開始いたしました。これにより、パブリッククラウド 環境をご利用のお客様は、これまでの米国、欧州、豪州に加え、日本国内のAWSデータセンターからサービスの利用が可能になります。 本発表について、Auth0 共同創業者CEOのユーへニオ・ペースは以下の様に述べています。 「日本企業においては企業規模に関わらずクラウドの利活用が重要であり、弊社としても高まる日本企業からの

はじめに サーバーレスアーキテクチャでシステムの開発をする際に、自分の場合、大体は以下のような具体的なサービス構成図から設計に入ってしまうことが多くありました。 ただ、上記の内容って、実装レベルに近いモノであって、これまでの経験から何となく作成している感じだったんですよね。 そもそも、サーバーレスアーキテクチャについて、サービスの選択やアーキテクチャパターンの話はよく見かけるのだけれど、どのように設計していくのか、という点はあまり見かけません。 サーバーレスを活用することで、ビジネスロジックにより集中できる サーバーレスを活用することで、ビジネスのアジリティが向上する という話がある一方で、実装レベルの検討から入ってしまう状況は良くないし、実際に大きめのサーバーレスシステムを開発するとなると、いきなりアーキテクチャを具体化していくのは難しくなってきます。 そこで、今回は、自分の考えを整理す

はじめに 2020年10月30日に920MHz帯の使用方法について法改正がありました。 この記事では、背景と何がどのように改正されたのか、分かりやすく解説したいと思います。 なお、詳細については最後にリストした文献を参照して下さい。 背景 日本国内のスマートメータや構造物監視などのユースケースにおいて、センサーやアクチュエータなどの機器（以降エンドデバイス）と無線を使って通信する場合に920MHz帯が主に使われています。1 海外でも同じ様なユースケースで使われているセンサーがたくさんあるので、それら既存のエンドデバイスを日本でも使いたいというニーズが以前からありましたが、日本だけのルールがあるために使うことができませんでした。 既存のエンドデバイスが使えないので、それらを新たに開発することになります。すると、何か新しいシステムを作ろうとした時に構築費用が安くならず、また検証が短期間で行えず

こんにちは 某SIerでソリューションアーキテクトをしております、たくまです。 主にクラウドの導入についてお客様を支援させて頂いており、2020年にAWSさんよりAPN Ambassador選出頂きました。 日本のAPN AmbassadorによるJapan APN Ambassador Advent Calendar 2020の15日目の記事となります。Ambassadorって何？！という方はこちらの記事を参考にして下さい。 APN Ambassadorってなんだ？ re:Invent 2020期間中という事もあり、大好きなLambdaについてもアップデートがあり色々触ってみましたのでそちらの内容を記事にしたいと思います。 尚、投稿内容は私個人の意見であり、所属企業・部門見解を代表するものではありません。 本記事は2020/12/15時点の情報を元に記載しており、最新の情報は公式ドキュメ

こちらはSORACOM Advent Calendar 2020の15日目の記事です。 TL;DR SORACOM APIを叩いてコスト詳細をGrafanaで見えるようにした ユーザコンソールの「ご利用料金詳細」の「CSV形式でダウンロード」からexcelでピボットテーブルを都度作るの飽きたので 料金明細csvをGrafanaでみえるようにしただけではある (これだと上のグラフで全体のコスト感の時間変化、下で単位時間あたりにkddiなるsimのs1.fast dlが急に増えたのがわかる!みたいな。データ量少ないけど...) やりたいこと simごとbill item(s1.fastとかbeamとか基本使用料とか)の内訳を見たい ダッシュボードで時系列としてぱぱっと見たい 実装 (またこの人SORACOM API叩いてnode_exporterのtext collectorに食わせてるな..

株式会社ソラコム（本社：東京都世田谷区、代表取締役社長　玉川憲、https://soracom.jp/、以下、ソラコム）は、パートナープログラムである「SORACOM パートナースペース（以下、SPS...