ソフトウェア開発、ITインフラ運用、そしてその境界線上にあるトピックをカバーし、特にDevOpsを実現するための自動化、テスト、セキュリティ、組織文化にフォーカスした「DevOpsDays」。ここでソフトウェアエンジニアのチェシャ猫氏が「Infrastructure as Code の静的テスト戦略」をテーマに登壇。続いて、AWS上で予測可能性を担保するための仕組みについて紹介します。前回はこちらから。 予測可能性の3要素 チェシャ猫氏：では、AWSにおいて予測可能性をどう担保するかを、もうちょっと具体的なところに寄せて考えてみましょう。予測可能性と言っていますが、もうちょっと分解して、どういう要素から成り立っているかを少し考えてみたいと思います。 私が立てたテーゼによれば、予測可能性は以下の3要素から作られています。1つ目は再現性、Reproducibility。同じ操作を誰がやっても、
はじめに この記事はBASEアドベントカレンダー8日目の記事です。 LocalStack/minioを導入して開発者体験が捗った話 こんにちは、BASE 株式会社 BASE BANK Division でソフトウェアエンジニアをしています。 @glassmonkeyこと永野です。 最近ではAWS上にVPCから環境を作っては、壊したりしています。 今回の記事では、AWSのサービスを使ったアプリケーション開発における、開発者自身のPCにおける開発、いわゆるローカル環境での開発者体験をあげた話をします。 YELL BANKについて 私が担当しているサービスであるYELL BANKは、BASEでショップを運営しているオーナー様に「気軽な資金調達」を提供するプロダクトになります。 yellbank-lp.thebase.com 現在のYELL BANKのアーキテクチャは以下のように複数のシステムコン
Rust の新しい HTTP サーバーのクレート Axum をフルに活用してサーバーサイドアプリケーション開発をしてみる - Don't Repeat Yourself
この記事は Rust Advent Calendar 25日目の記事です。Merry Christmas! 今年の Web バックエンド開発関連で一番大きかったなと思っているイベントに、Axum のリリースがあります。2021年の夏頃に tokio チームからリリースされた Web アプリケーション用のライブラリです。 基本的なデザインは actix-web 等とそこまで変わらないものの、マクロレスなのが大きな特徴かなと思います。tokio 上に直接載るアプリケーションになり、独自のランタイムをもたないため、tokio のバージョン管理に悩まされずに済むのも大きなメリットかも知れません。私はあまり重要ではないと思っていますが、明示的に #![forbid(unsafe_code)] をしているのでライブラリ内部に unsafe がないのも特徴かもしれません。 github.com 現在のん
Introducing new features for the aws-sdk-rails gem | Amazon Web Services
AWS Developer Tools Blog Introducing new features for the aws-sdk-rails gem The Ruby SDK team is happy to announce that we’ve added new features and consolidated existing gems into the aws-sdk-rails gem to make developing Rails applications using AWS easier than ever. Features supported Amazon Simple Queue Service (SQS) queue adapter for ActiveJob (new) ActiveSupport::Notification instrumentation
イノベーション物語や企業変革を推進する人材には、利他的な目的を掲げ、できない理由よりもできる可能性に着目し、圧倒的熱量と行動力を伝染させながら人を巻き込む力がある。本著では、これらの人材を「ダイナモ」（dynamo：直接には「発電機」の意）と呼んでいる。 ダイナモは、一言で言えば「元気なヤツ」。著者が会ってきた変革リーダーやイノベーション物語の先頭に立つ人は、ほぼ例外なくダイナモ人材である。彼らの話は面白く、自然とひきつけられる。明るい未来に向かい、できると信じて疑わず、本気度を基に一人称で語り、行動を伴う。聞いている側に直接関係のない話でも、ついつい「お供します！」と言いたくなるような伝染力が、ダイナモにはあるのだ。目的に突き動かされ、分析よりも主観（思い）を大切にし、証明（確かめる）よりも実験（やってみる）を好む。決められたことを決められた通りに実行することは、必ずしも得意ではなかった
論文DynamoDB 2022に関するいくつかのメモ
PingCAPはエンタープライズ向けのソフトウェアサービスプロバイダーとして2015年に設立され、オープンソースでクラウドネイティブなワンストップのデータベースソリューションを提供することにコミットしています。PingCAPの代表的なプロジェクトであるTiDBは、オープンソースの分散型ハイブリッド・トランザクション/分析処理（HTAP）データベースで、水平方向の拡張性、強力な一貫性、MySQLとの互換性を備えた高い可用性を特徴としています。 ※このブログは2022年8月12日に公開された英語ブログ「Some Notes on the DynamoDB 2022 Paper」の拙訳です。 著者: Ed Huang (PingCAP共同創設者兼CTO) 編集者: Fendy Feng, Tom Dewan DynamoDBが論文を発表してから長い時間が経ちました。数日前、私はその新しく出版され
【新機能】Amazon DynamoDB Table を S3 に Export して Amazon Athena でクエリを実行する | DevelopersIO
テーブルのデータを S3 へエクスポート DynamoDB にエキサイティングな機能が追加されました。Data Export 機能です。この新機能を使えば、No Code で DynamoDB Table のデータを S3 に出力できます。 New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required | AWS News Blog ユースケースは？ そもそも DynamoDB は NoSQL データベースです。大量のデータを保存するワークロードに向いている一方、集計、走査、検索については効率の面で限界があります。では「DynamoDBに保存されたデータを集計して分析したい」という要件にどう応えるかというと、分析したいデータはとりあえずS3に入れておいてETL
You now can use a SQL-compatible query language to query, insert, update, and delete table data in Amazon DynamoDB
You now can use PartiQL (a SQL-compatible query language)—in addition to already-available DynamoDB operations—to query, insert, update, and delete table data in Amazon DynamoDB. PartiQL makes it easier to interact with DynamoDB and run queries in the AWS Management Console. Because PartiQL is supported for all DynamoDB data-plane operations, it can help improve the productivity of developers by e
Ten years ago, Amazon Web Services (AWS) launched Amazon DynamoDB, a fast, flexible NoSQL database service that offers single-digit millisecond performance at any scale. In an online post on Jan. 18, 2012, Werner Vogels, chief technical officer at Amazon.com, wrote: “Today is a very exciting day as we release Amazon DynamoDB, a fast, highly reliable and cost-effective NoSQL database service design
AWSアカウント間のDynamoDBテーブルコピーをData PipelineからStep Functions + AWS Backupに変更しました - Uzabase for Engineers
NewsPicks SREチームのEdwin Wilsonです。 NewsPicksでは開発環境のテストデータのプロビジョニングを行うツールとしてDatarefreshというものがあります。 このツールは本番環境のデータストアから開発環境のデータストアに対してデータを同期するアプリケーションです。 対象のデータストアは以下となります。 Amazon RDS Amazon DynamoDB Amazon S3 Amazon ElastiCache 個人情報はRDSにのみに存在しており、マスク処理を行った後、同期しています。 DynamoDB ,S3, ElastiCacheには個人情報を存在しないため、開発に必要なデータをそのまま同期しています。 Datarefreshの実行は開発者がいつでもChatopsで行えます。 ChatopsでDatarefreshの実行の仕方 Chatopsで呼び
「Nodi」はプロシージャルモデリング（Procedural Modeling）と呼ばれる手法を用いたWebブラウザー上で操作する3D CGツールである。現在はβ版で完全無償公開ながら、商用ソフト並の機能を備えている。にも関わらず、開発しているのはプログラマーの中村将達氏たった一人。聞けば個人的に開発しているプロジェクトだという。 中村氏はもともと社会学を専攻していた大学生でプログラムをしたこともなかったという。それがどうしてプログラムを習得し、プログラマーとなり、やがて3D CGツールを自分で作るに至ったのか。中村氏に、Nodiの機能や開発の経緯について話を聞いた。（撮影：川島彩水） プロシージャルモデリングとは？ プロシージャルモデリング方式のツールとしては、3D CGツール「Revit」や「Maya」のプラグインとしても知られる「Dynamo」や、サーフェスモデラー「Rhinocer
Stable Diffusion （Diffusers）でLoRA～理論と実践～ | Shikoan's ML Blog
Stable DiffusionでのLoRAをdiffusersで試してみます。3Dモデルに対して、Unityで透過スクショを撮りLoRAで学習させるというよくあるやり方ですが、LoRAにおけるData Augmentationの有効性など興味深い点が確認できました。 はじめに 前々から気になっていたStable DiffusionのLoRAを使ってみました。3DモデルからスクショをとってLoRAで学習させるという「何番煎じだお前」って手法ですが、なかなかおもしろい結果になりました。 公式ドキュメント：https://huggingface.co/docs/diffusers/training/lora LoRAとは LoRAってよく使われる割には原著論文がそこまで解説されない気はします笑 （自分はNLPの専門家ではないので、この論文はさーっとしか読んでいませんが、 ）原著論文はこちらで、
トルコでのサッカー試合で「プーチン」連呼 対ウクライナ戦で
ドイツでウクライナ支援を目的に開催された、独ボルシア・ドルトムントとウクライナのディナモ・キーウとの慈善試合（2022年4月26日撮影、資料写真）。(c)Sascha Schuermann / AFP 【7月28日 AFP】欧州チャンピオンズリーグ（UEFA Champions League）予選で、トルコ・イスタンブールで同国のフェネルバフチェ（Fenerbahce）とウクライナのディナモ・キーウ（Dynamo Kyiv）が27日に対戦した際、先制点を取られたフェネルバフチェのサポーターが「ウラジーミル・プーチン（Vladimir Putin）」とロシア大統領の名前を連呼する不規則な言動があった。 ロシア軍の侵攻を受けているウクライナのバシル・ボドナル（Vasyl Bodnar）駐トルコ大使は28日、「フェネルバフチェのファンから、われわれの国を爆撃しているロシアの殺人者であり侵略者を支
Security-JAWS 第17回レポート #secjaws #secjaws17 #jawsug | DevelopersIO
Security JAWS 第17回のレポートです。AWSを使うときに最初にやる初心者向けの話もあり、ガッツリ深い話もありな回でした！ こんにちは、臼田です。 Security JAWS 第17回が開催されましたのでレポート致します。 Security-JAWS 【第17回】 勉強会 2020年5月29日(金) - Security-JAWS | Doorkeeper レポート Session0: アマゾン ウェブ サービス ジャパン株式会社 沼口 繁さん「本日のライブ配信環境ざっくりと」 JAWSといえばオフラインだった 最初はセミナールームで 第2形態としてセミナールームを使ってAmazon Chimeを利用して配信 第3形態では人数制限を超えるためにTwitchを使った 2019年1月からはAWSJのエキスパートのオンライン配信をやっていた 第4形態OBS Studio + Twit
こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
はじめに 用語の定義 取り組みの背景 マイクロサービス化の目的 モノリスのつらさ ふたたびマイクロサービス化の目的 マイクロサービスとは 採用技術について 技術スタック サービス構成 現状の課題 技術面 最後に はじめに こんにちは、マイクロサービス基盤チーム所属のzigeninです。 この記事では、マイクロサービス化の取り組みについて紹介します。 技術的な取り組みやチームに興味を持っていただければと思います。 用語の定義 はじめに本文で使用する単語を定義させていただきます。 コアドメイン：アンドパッドの事業に直結するドメイン 施工管理が該当します 施工管理は建設現場のマネジメントです。 ソフトウェア開発に例えるとプロジェクトマネジメントに近く、ツールとしてはJIRAやGitHub Projectをイメージしていただけると当たらずといえども遠からずです。 汎用ドメイン：コアドメインを支援す
AST vs. Bytecode: Interpreters in the Age of Meta-Compilation
233 AST vs. Bytecode: Interpreters in the Age of Meta-Compilation OCTAVE LAROSE, University of Kent, UK SOPHIE KALEBA, University of Kent, UK HUMPHREY BURCHELL, University of Kent, UK STEFAN MARR, University of Kent, UK Thanks to partial evaluation and meta-tracing, it became practical to build language implementations that reach state-of-the-art peak performance by implementing only an interprete
P2B Haus というクラフトビールレストランを吉祥寺につくってからの1年をまとめようと思います。(craft beer Advent Calendar に参加しています) ビールがすきすぎてビール屋さんを作ったのですが、当初の予想に反して(笑)、大変な1年だったので、色々綴っておこうと思います。 そこそこ生々しい話と、生ビールの話があります🍺 2019/12・プレオープン!! 友人限定でオープン ・オープンに向けて、棚作ったりなんだり、色々やることあったのを友人にたくさん手伝ってもらいなんとかオープンにこぎつける ・めちゃくちゃ棚作った ・バイトちゃんが1名、1日だけ出て音信不通に。飲食バイトを思い知るw ・ブルワーさんにビールサーバーの洗浄やメンテナンスについてたくさん教えてもらい、無知を思い知る。でもこれがあったからこそ、いま「おいしいビール」を提供できている。本当に感謝しかない
こんにちは、WEARバックエンドブロックの天春（@AmagA001）です。バックエンドの運用・開発に携わっています。WEARはサービス開始から10年ほどの古いVBScriptを使った環境からRuby on Rails環境にシステムリプレイスを行なっています。本記事では、リプレイスの中でも既存環境が複雑で問題や課題が多くあったPUSH通知システムのリプレイスについてご紹介します。 目次 目次 PUSH通知システムとは リプレイス前のPUSH通知システム リプレイス前のPUSH通知システムの問題点 通知送信バッチのスケールアウトが出来ない 障害対応・運用が難しい状況 複数の開発言語による運用・改修コストが高い ステージング環境で通知確認ができない リプレイスの背景 リプレイス後のPUSH通知システム 非同期システム・EKS導入 既存システムの問題解決 バッチのスケールアウトが出来ない 障害対応
映像作家のイアン・ヒューバート氏がインディーズ映画でもここまでのビジュアルエフェクトを作り出せる、というメイキングや解説ムービーを公開しています。小さなスタジオで撮影されたグリーンバックの撮影映像から、壮大な世界観のSF映像が作り出せるという比較ムービーや、実際に3DCGソフトのBlenderを使ってあっという間に映像を完成させるまでを見ることが可能です。 VFX Breakdown - Dynamo Dream Teaser - YouTube 以下は上がグリーンバッグで撮影している様子で、下がVFX後の完成映像を切り取ったもの。2回に分けて撮影された2人の人物が、窓から見える部屋の中で1つの映像として合成されています。 VFX処理中は以下の上の画像のような感じ。 建物の扉から出て…… エレベーターに乗り込みます。撮影セットの右側に男性がいますが、完成映像では全く男性は写りません。 エレ
ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] | BLOG - DeNA Engineering
2023.12.15 技術記事 ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] by yuto.ota #ydb #hamamo #aws #infrastructure はじめに こんにちは，IT 本部 IT 基盤部第一グループの大田です． IT 基盤部では，DeNA のグループ子会社等も含めて横断的に複数のサービスのインフラ運用を行っています． 今回は，横浜DeNAベイスターズ（以下，YDB）の HaMaMo! というサービスについて，IT 基盤部が関わっているインフラ部分の構成について一部ご紹介します． HaMaMo! とは HaMaMo!（ハマスタモバイルオーダー）は、 ハマスタオリジナルフードを、スマホでオーダーして、完成通知を受信後に、 受け取りに行くだけの便利なオーダ
![ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/7b4ff31d50480362d641df055d98e3b11303ccf9/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2023%2F12%2Fydb-mobile-order-infra-arch%2Fcover.png)
週刊Railsウォッチ（20201221前編）aws-sdk-rails gemの機能をチェック、RubyWorld Conference 2020のDHHインタビューほか｜TechRacho by BPS株式会社
2020.12.21 週刊Railsウォッチ（20201221前編）aws-sdk-rails gemの機能をチェック、RubyWorld Conference 2020のDHHインタビューほか こんにちは、hachi8833です。約400年ぶりという木星と土星の超大接近は12/21（月）なので今夜ですね。と思ったらもう西の空に沈んでしまったようです。 参考: 【特集】2020年12月 木星と土星の超大接近 - アストロアーツ 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙇 ⚓Rails: 先週の改修（Rails公式ニュースより） 今
Building and operating a pretty big storage system called S3
Building and operating a pretty big storage system called S3July 27, 2023 • 6277 words Today, I am publishing a guest post from Andy Warfield, VP and distinguished engineer over at S3. I asked him to write this based on the Keynote address he gave at USENIX FAST ‘23 that covers three distinct perspectives on scale that come along with building and operating a storage system the size of S3. In toda
テックカンパニーをテックカンパニーたらしめているものはなにか？技術か、人か、それともチームなのか。 連載「Technology Company Internals」では、テックカンパニーの内側で働くエンジニアに、技術に精通したエキスパートが対面で話を聞き、テックカンパニーとは何か？を探るだけでなく、テックカンパニーを目指す企業の指針となることを目指します。 コロナ禍は飲食業界のDXを促進する 白石: 本日はよろしくお願いします。自己紹介からお願いします。 鄧: 鄧 皓亢（デン ハオカン）と申します。CTOを務めています。普段の仕事は、一言でいうと「なんでも屋」ですね。アーキテクト的な役割を担うこともあれば、お客様に価値を少しでも早くお届けするためにソリューションをチームに提案したり、場合によっては自分でもコードを書いたりします。 北川: 北川 真理（キタガワ マコト）です。フロントエンドエ
A Second Conversation with Werner Vogels – Communications of the ACM
CACM Web Account Membership in ACM includes a subscription to Communications of the ACM (CACM), the computing industry's most trusted source for staying connected to the world of advanced computing. Sign In Sign Up When I joined Amazon in 1998, the company had a single U.S.-based website selling only books and running a monolithic C application on five servers, a handful of Berkeley DBs for key/va
大規模言語モデルの学習コードまとめ｜npaka
大規模言語モデルの学習コードをまとめました。 1. Alpacaの学習コード「LLaMA 」を標準の「HuggingFace Transformers」の学習コードをでファインチューニングを行います。 「Transformers」はまだ「LLaMA」を公式サポートしてないため、特定のフォーク(68d640f7c368bcaaaecfc678f11908ebbd3d6176)を使用します。 以下は、FSDP full_shard モードで 4つの A100 80G GPU を搭載したマシン上のデータセットで「LLaMA-7B」をファインチューニングするコマンドです。 torchrun --nproc_per_node=4 --master_port=<your_random_port> train.py \ --model_name_or_path <your_path_to_hf_conv
Google Colab で LoRA を試したのでまとめました。 1. LoRA「LoRA」(Low-rank Adaptation)は、数枚の被写体画像と対応するテキストを元にファインチューニングを行うことで、Text-to-Imageモデルに新たな被写体を学習させる手法です。 特徴は、次のとおりです。 ・Dreamboothより高速 ・VRAM 8GBでも動作 ・学習データだけ抽出して他モデルとマージできる ・学習結果のサイズが小さい (Unet のみで3MB、Unet+Clipで6MB) ・UnetとCLIPの両方をファインチューニング可能。 2. ファインチューニングの実行Colabでのファインチューニングの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」に「GPU」を選択。 (2) Googleドライブのマウント。 #
[AWS CDK超入門] DynamoDB + Lambda + API GatewayでAPIを作ってみた | DevelopersIO
AWS CDK とは AWS Cloud Development Kit (AWS CDK)は AWS のリソースを Typescript や Python 等のコードで定義するフレームワークです。コードで定義したリソースは CloudFormation テンプレートに変換され、デプロイされます。 CDK の対応言語は以下の５つです。(2020 年 5 月 現在) Typescript JavaScript Python Java C# AWS CDK のメリットとデメリット CDK を使うメリットとして主に上げられるのは以下です。 CloudFormation で書くよりもはるかに少量のコードの記述で済む 使い慣れたプログラミング言語が使える if 文やループなどのプログラミングロジックが使える ライブラリとして切り出し、共有できる テストが書ける デメリットとしては以下が挙げられます。
![[AWS CDK超入門] DynamoDB + Lambda + API GatewayでAPIを作ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92a069de3c7b583973daaf530883535d2e2b3e5a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F08%2Faws-cloud-development-kit.png)
AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS 認定 ソリューションアーキテクト – アソシエイト」とは 「AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Ar
現時点ではまだ実際には触っていないため、あくまでも「こんなのあったよ～」くらいの温度感の記事だと思ってください どうもこんにちは、ちょっと前にこんな記事がバズったのを覚えている人も多いと思います もちろん1つのVPSの中にMySQLとNginxとRedisとRailsを突っ込んで動かせば月1000円で夢の全載せサーバーになるのですが管理がめんどくさいですし、AppサーバーとRDBサーバーとキャッシュサーバーをそれぞれ分離してそれぞれを独立管理するような感じで運用したいって人が多いのではないかと思われます そうなってくるとRDBサーバーの部分が比較的料金が高い場合が多い……と言うのが大体の趣旨でその内容については多くの人が「まあそうだよなー」と頷いたのではないでしょうか TiDB serverless良いかも さっそく本題ですが、そんな時に「TiDB」が採用できるかもしれません 厳密に言うと
薔薇をPythonで描けますか？ “オブジェクト指向”でデザインする新潮流「Grasshopper」（1/4 ページ） 日本ではソフトウェアエンジニアであったがドイツに渡ってミュージシャンとして生計を立てている著者は、CADソフトウェアを使った業務もこなしている。そこで出会ったソフトウェアはデザインの新しい潮流を感じさせるものだった。このツール、「Grasshopper」（グラスホッパー）をドイツで活用している建築設計事務所へのインタビューを交えながら、その革新的な利用方法をお届けする。 1mmの描画の誤りが、全てを台無しにしてしまうこともある。描く、という仕事は大変な仕事だ。 建築設計におけるパース画、土木設計における橋梁や排水管設計図、機械設計のブループリント、アニメーション制作における高層ビル群などの背景画や、ロボット／戦艦などメカ細部の描画、漫画制作における女性のドレスや下着などへ
An oral history of Bank Python November 2021 The strange world of Python, as used by big investment banks High finance is a foreign country; they do things differently there Today will I take you through the keyhole to look at a group of software systems not well known to the public, which I call "Bank Python". Bank Python implementations are effectively proprietary forks of the entire Python ecos
結論 ServerlessFrameworkを使い倒す フロントエンドはS3 hosting + CloudFrontで。SSRもLambda@Edgeでできます データベースはRDSは使わずにDynamoDBで APIは基本的にGraphQL。必要に応じてRESTも簡単に追加できるよ。 補足(2022/04/12) 最近個人開発しているこちらのWebサービスはこのアーキテクチャに沿って作られています。 このアーキテクチャでどんなものができるのよ、という視点で見ていただくと面白いかもしれません。 ↓ 背景 アーキテクチャに絶対の正解はない アーキテクチャには絶対の正解はありません。 なぜなら、プロダクトやフェーズによって求められる要件が異なり、それに適したアーキテクチャを考える必要があるからです。 例えば、先日障害で証券取引が1日休場になった東証の高速取引システムは、安定性や信頼の要件に全
モチベーション メディアドゥでは、デジタルコンテンツをより安全かつ楽しみながら利用できる環境の実現のために、アクセス権管理やユーザアクティビティをブロックチェーンで管理することのできる基盤の開発を進めております。 最近では、そのブロックチェーン基盤にAmazon Managed Blockchainサービスを正式に採用し、サービス活用企業の１社として、サービスサイトにおいて会社ロゴの掲載も行っていただきました。 mediado.jp ブロックチェーンの特徴はいくつかのユースケースにおいて有用ですが、デジタルコンテンツ市場に基盤としてブロックチェーンを活用する上では、 少なくともピーク時2,000TPS（瞬間的にはその倍以上のスパイク）以上となるリクエストボリュームに対して十分に耐えられる設計が必要となります。 ここでは、我々がどのようにしてブロックチェーン基盤を実用可能なレベルまでパフォー
About Me My name is Marc Brooker. I've been writing code, reading code, and living vicariously through computers for as long as I can remember. I like to build things that work. I also dabble in machining, welding, cooking and skiing. I'm currently an engineer at Amazon Web Services (AWS) in Seattle, where I work on databases, serverless, and serverless databases. Before that, I worked on EC2 and
この記事はうるる Advent Calendar 2019 17日目の記事です。 はじめに この記事では、私が働いている会社、株式会社うるるで運営しているサービス幼稚園・保育園向け写真販売サービス えんフォトにおいて、写真アップロードの速度を爆速にするためにAWSのServerlessアーキテクチャを導入したお話をします。 サービスの内容や、導入に至った経緯などもお話ししたいところですが 話がとても長くなってしまいそうなので、アーキテクチャ導入にあたって考えたことや、細かい処理の説明にのみフォーカスし、記事を書きたいと思います。 ※社内のエンジニア向けにLTした際のスライドも活用していますのでご了承ください。 対象の読者 AWS(特にサーバーレス)について興味がある人/これから学びたいと思っている人 画像のアップロード速度に困っている人 画像を扱うサービスの開発を担当している人 注意点 か
ウクライナ代理母が出産の双子、ロシアから「救出」 米団体
米国人の両親に引き渡された後、バスに乗せられる双子の赤ちゃん。ロシア・サンクトペテルブルクにて。プロジェクト・ダイナモ提供（2022年11月23日撮影、提供）。(c)Project DYNAMO / AFP 【11月24日 AFP】ウクライナ東部出身の代理母がロシアで出産した米国籍の双子の赤ちゃんがこのほど、米国人の両親に引き渡された。引き渡しに関わった米民間団体が23日、明らかにした。 「プロジェクト・ダイナモ（Project Dynamo）」によると双子は男女で、22日に「救出」された。 プロジェクト・ダイナモは2021年、米軍のアフガニスタン撤退の際に米国人やアフガン人の国外退避を支援するため、退役軍人らにより立ち上げられた団体。 同団体の広報担当者はAFPに対し、双子を連れ去ったのではなく、ロシア国内のエストニアにつながりのある「知人」の元に避難させたと説明した。 代理母は、ロシア
「AppSync VS APIGateway 両者の違いをスタートアップCTOが本気で考えてみた！」低コストなモダナイズ開発の実践 | Ragate
こんにちは！ 最近は、AppSync／GraphQL での開発案件が非常に増えてきました。 GraphQL は、RestAPI のようなリソース志向の API設計に対し、データアクセス志向な API 設計を可能にします。つまり、フロントエンドの画面の振る舞いを起点にした API 設計/開発を行うことができます。 また、2018年にAws API GatewayがWebSocket APIに対応しました。 それまでは AppSync のメリットはサブスクリプション通信可能であることが挙げられていましたが、API Gateway が Web Socket に対応したことで、両者に明確に機能面で優位性は無いように思えます。 そうなると AppSync と API Gateway どちらを採用すれば良いのか迷いどころだと思いますが、わたしたちの AppSync 開発の知見をベースに本記事で解説しよ
Microsoft announces new Project OneFuzz framework, an open source developer tool to find and fix bugs at scale | Microsoft Security Blog
Microsoft is dedicated to working with the community and our customers to continuously improve and tune our platform and products to help defend against the dynamic and sophisticated threat landscape. Earlier this year, we announced that we would replace the existing software testing experience known as Microsoft Security and Risk Detection with an automated, open-source tool as the industry moved
こんにちは、Lambdaから別アカウントのリソースにアクセスする際にはAssumeRoleを行い一時的な権限を取得する必要があります。こちらの実装時にハマりましたので実装した手順をまとめたいと思います。 実装前にこちらのサイトを参考にEC2から他リソースのS3にアクセスする内容を試しました。とても分かりやすかったのでおすすめです。 別アカウントのS3バケットを利用する手順 手順 実装する内容は、図のようにアカウントAのLambdaからアカウントBのリソース(DynamoDBとS3)の読み込みを行うことです。 実装時にはこちらのリンクを参考に設定事項を確認しました。 別の AWS アカウントからロールを引き受けるように Lambda 関数を設定するにはどうすれば良いですか? アカウントBの設定 まずはアカウントBに必要な設定を行います。ここでは以下の3つを作成します。 アカウントAでリソース
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「再現性」「純粋性」「モジュール性」が構成要素 AWS上で予測可能性を担保するための4段階の仕組み
LocalStack/MinIO を導入して開発者体験が捗った話 - BASEプロダクトチームブログ
なぜ日本企業から活力が失われたのか もう優秀な人材はいらない
Amazon’s DynamoDB — 10 years later
開発はたった一人——ブラウザで動く3DCGツール「nodi 」が持つ可能性｜fabcross
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
ANDPADのマイクロサービス基盤チームの取り組み - ANDPAD Tech Blog
クラフトビールレストランを作って1年が経とうとしている今。｜Sotaro Karasawa
WEARにおけるPUSH通知システムのリプレイス - ZOZO TECH BLOG
VFXでここまで世界を作り出せるという比較映像＆実際のBlenderを使った圧巻のメイキングムービーが公開中
Go, Clojure, マイクロサービス…コロナを技術で乗り越えろ！飲食スタートアップの挑戦
Google Colab ではじめる LoRA｜npaka
個人開発者（Rails）が安くDBを使うにはTiDB serverlessがアリな気がする
薔薇をPythonで描けますか？ “オブジェクト指向”でデザインする新潮流「Grasshopper」
An oral history of Bank Python
個人開発・スタートアップで採用すべき最強のアーキテクチャを考えた
ブロックチェーンサービス徹底高速化 - Tech Do | メディアドゥの技術ブログ
The DynamoDB paper - Marc's Blog
【Serverless】写真のアップロード速度を爆速にした話 - Qiita
Lambdaから別アカウントのリソースにアクセスしてみる | DevelopersIO