ヨドバシカメラが運営する国内の代表的なECサイトの1つである「ヨドバシ.com」は、同社が内製するプライベートクラウドによって支えられています。 そのプライベートクラウドはどのように作られ、どのような機能を備えているのかについて、クリエーションラインが主催し10月14日に開催されたオンラインイベント「Actionable Insights Day 2022」でその内幕がはじめて語られました。 この記事では、その内容をダイジェストで紹介します。 はじめて語られるヨドバシ.com を支えるプライベートクラウドの全容 株式会社ヨドバシリテイルデザイン サービスデプロイメント事業部 事業部長 戸田宏司氏。 ヨドバシリテイルデザインの戸田と申します。よろしくお願いいたします。「はじめて語られるヨドバシ.comを支えるプライベートクラウドの全容」というタイトルでお話をさせていただきます。 弊社は「いつ
こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」（~約2万件） プランの情報「朝食付き・ロングステイ△△プラン」（0~1500件/施設） 客室の情報（~100件/
GitHub - techschool/simplebank: Backend master class: build a simple bank service in Go
This repository contains the codes of the Backend Master Class course by TECH SCHOOL. You can also find it on Udemy at this link. And don't hesitate to join Tech School's Discord group to chat directly with me and other students. In this course, you will learn step-by-step how to design, develop and deploy a backend web service from scratch. I believe the best way to learn programming is to build
Kubernetes-nativeなアーキテクチャ導入の手引き 先進的なクラウド環境を最強テストベッドで体験｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Kubernetes-nativeなアーキテクチャ導入の手引き 先進的なクラウド環境を最強テストベッドで体験 Kubernetes-nativeなエコシステムを実現する最強テストベッド環境です。さまざまなミドルウェアを運用したマイクロサービスをフルgRPCなサービス間通信で実現するだけでなく、CI/CDと開発環境も用意しています。 こんにちは。株式会社サイバーエージェントのAI事業本部でインフラエンジニアをしている青山真也（@amsy810）と漆田瑞樹（@zuiurs）です。今回は、Kubernetesが好きな2人が考える最強のKubernetes-nativeなお試し環境を構築してみました。記事公開時点で、総コミット数が900に迫るリポジトリになっています。 現在、Kubernetesとそれを取り巻くエコシステムは急速に発達しており、便利なツールやミドルウェアが日々生まれています。これは
次世代の監視技術 - Telemetry技術のご紹介 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの三島です。 本記事では、次世代の監視技術として期待されるTelemetry技術についてご紹介します。 この記事について 本記事では下記の3点を共有します。 従来の監視技術が抱える課題とTelemetryの可能性 Telemetryの技術概要と、各社の実装状況 NTT Comのネットワーク上で検証し得られた知見と、期待されるユースケース 従来の監視技術が抱える課題 ネットワーク運用においては、障害検知やパフォーマンス分析のため監視技術が重要となります。 従来のネットワークでは、SNMP（Simple Network Management Protocol）と呼ばれる技術が広く利用されています。 SNMPの仕組みを図1に示します。SNMPはUDPベースなネットワーク監視技術です。データモデルはMIB（Management Information Base）と
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo! JAPANアプリの通知系バックエンドシステムを主に担当しているエンジニアの福盛です。 Yahoo! JAPANアプリの通知系バックエンドシステムについては、以下の記事でも紹介しています。もし興味があればこちらも参照ください。 チームのスキル向上にもつながるシステム刷新 〜 Yahoo! JAPANアプリ「お知らせ」機能の開発事例 Scalaで使うMessage Queue 〜 Yahoo! JAPANアプリのお知らせ送信でのApache Pulsarの活用 今回は開発とトラブルシュートの効率を大幅に向上する、アプリケーションログの埋め込みと活用方法について紹介いたします。 本記事では「JavaおよびScalaで構築さ
社内ソリューションアーキテクトのお仕事
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーで社内ソリューションアーキテクト（以下、社内SA）をしている小川です。 ヤフーには、大小さまざまなサービスが存在しています。今回は、それらのサービスをサポートしている、社内SAのお仕事をご紹介します。 ヤフーのプライベートクラウド環境 前提としてヤフーのサービスは、まずサービスレイヤーというのが上にあって、その下に共通のプラットフォーム、その下にインフラといったような水平分業の形になっています。 ※ ヤフーのレイヤーイメージ その中でも、プラットフォームレイヤーにはさまざまなクラウドサービスが存在しており、それらクラウドサービスを、AWSやGCPといったパブリッククラウドを利用するのではなく、独自のプライベートク
プロトコルはMQTTかHTTP、各社デバイスパートナを持っており、そのデバイス上で使えるSDKを提供している感じ。エッジでは機械学習 各サービスの資料 軽くググったら出てきた資料たち AWS が提供する IoT ソリューションと ITS における活用 「AWS IoTのベストプラクティス」それホント！？ オートモーティブIoT GCP Azure SORACOM SORACOMはこの分野でかなり頑張ってる感じ。GAFAのIoTプラットフォームの劣化版を作らず、彼らに乗っかって早くPoCを回してやりたいことをやってしまおうというアイデア。以下の資料は、技術だけじゃなくて、IoTプロジェクトの進め方、ベストプラクティスに言及していて面白い。GCP, Azure, AWSともにアーキテクチャの図が横通しで見られる。 「作りこまない IoT 」を実現するためのクラウドネイティブな IoT システム
[アップデート] Lambda イベントソースに FIFO キューが指定できるようになりました | DevelopersIO
関数の内容については、大栗の記事同様に以下のとおり設定しました。 from __future__ import print_function def lambda_handler(event, context): for record in event['Records']: print ("test") payload=record["body"] print(str(payload)) 次にイベントトリガーを設定します。「トリガーを追加」をクリックします。 トリガーに「SQS」を選択し、事前に作成しておいた FIFO キューを指定します。（記憶がうろ覚えですが、以前はここの選択対象に FIFO キューは表示されなかったと思います）。バッチサイズは 5 で検証してみました。 これで FIFO キューをトリガーとした Lambda 関数がセットできました。次にキューにメッセージを投入して、
![[アップデート] Lambda イベントソースに FIFO キューが指定できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25fe5c76b0259f67cfbb0286bc1fd48c715f810f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-lambda.png)
今回は、今話題の ChatGPT を使って、簡単な IoT システムを作れるか試してみました。 想定 今回は「IoT、電子工作、プログラミングが初めてな人が ChatGPT でどこまで作れるか？」という想定のもとで検証してみたいと思います。 作るもの 「Raspberry Pi で 温湿度センサーから温度と湿度を取得してクラウドに送信するシステム」を ChatGPT を使いながら作ります。 それではやっていきましょう。 用意するものを聞いてみる 今回は Raspberry Pi は既存のものを使いますが、「準備するものは何か？」という質問から始めました。 詳細な製品名までは回答にありませんでしたが、必要となる機材を全てリストアップしてくれました。さらに温湿度センサーとして「DHT11」や「DHT22」といった定番のものを教えてくれました。 尚、今回は Raspberry Pi 本体や周辺機
ロボットエンジニアのためのMQTT (Message Queue Telemetry Transport) 入門 - MyEnigma
MQTT Essentials - A Lightweight IoT Protocol 目次 目次 はじめに MQTTとは? MQTTの特徴 Pub/Sub型の通信により1 対多の非同期通信が可能 通信データ量が小さい 消費電力や計算スペックが小さい データの順序と欠落がないことが保証される。 Durable SubscriptionとRetain メッセージの伝送保証（QoS） クライアント障害時などに、Will(遺言)を送信することが可能 MQTTを使う時に注意すべきこと 一度に送れる最大データサイズとトピック名の最大サイズ データフォーマットを規定しない(No Interoperability) トピックを検索する機構がない 常にTCPのコネクションをkeepし続ける必要がある セキュリティに関しては別途検討が必要 MQTTを使った実用例 MQTT通信のサンプルコード コマンドライ
@grafbase lets you go from idea to serverless GraphQL backend in seconds. • Local dev with zero config • Instant deploys • Persistence built in • Globally fast without cold starts As a developer, you are faced with many decisions before your backend is ready for use. What API framework do you use? What database? Where do you deploy your API? Where do you deploy your database? Authorization? What a
Motoko, a programming language for building directly on the internet - Stack Overflow
At Dfinity, we’re building the Internet Computer, a decentralized cloud computing platform that we conceive as a seamless software universe in which developers can deploy applications and services directly on the Internet. To realize this vision, we decided on WebAssembly as the lingua franca of the platform’s execution environment, so that developers can program it in any language that compiles t
この記事は さくらインターネット Advent Calendar 2019 4日目の記事です。 さくらインターネット研究所に所属している大久保です。お久しぶりです。 自分、研究は全くやってなくて、 ひたすら弊社のIaaSである「さくらのクラウド」の運用、開発、コーディング、お客様サポート、構築、ラックマウント、配線、障害対応、その他あらゆる全てをやっています。よろしくおねがいします 😇 せっかくAdvent Calendar空いてたので、最近作ってるサービスの紹介をさせていただこうと思います。 HTTPSの終端って大変だし面倒じゃないですか。 今回のネタは、お客様からご要望いただいて1年前から開発スタートしたサービスなんですね。当時、L4のロードバランサは提供していましたが、要件として、 インターネット向け大規模コンテンツ配信に使える高性能なもので、 DDoS対策ができて、 SSLの終端
その後、ポイントカードを導入いたします。 ちょっと自慢になってしまいますが、ポイントカード、後のゴールドポイントカードは、現在ではどこでも当たり前の仕組みですが、導入したのは全ての業界の中で実はヨドバシカメラが最初となっております。 1998年にECサイトを開設し、その後、サイトのマルチリージョン化や、配達サービスとつないで東京23区内には無料で当日お届けするサービスも2010年からやっております。これはエリアを拡大して主な大都市でも展開するようになっております。 13年には、ECサイトで注文いただいた商品を近くの店舗で受け取っていただくサービスも開始し、2015年には電子書籍サービスも開始いたしました。 面白い取り組みといたしまして「ヨドバシフリーWi-Fi」があります。店舗の中にフリーWi-Fiのサービスを設けて、店内で商品を撮影してSNSへ自由に投稿してください。他店との比較もその場
[レポート]PUBG’s architecture (with focus on back end infra) on AWS #AmazonGameTech #AmznGameTechJP | DevelopersIO
PUBG’s architecture (with focus on back end infra) on AWS 2019年11月20日（水）にアマゾン目黒オフィスでアマゾンウェブサービス社の自社イベント「Amazon Game Developers Conference」が開催されました。 Amazon Game Developers Conference 本記事は、セッション「PUBG’s architecture (with focus on back end infra) on AWS」をレポートします。 スピーカー PUBG Corporation DevOps Engineer Kim JungHun 氏 セッション概要 PUBG Corporationは、世界で50万本以上販売されている PLAYERUNKNOWN'S BATTLEGROUNDS の開発および運営をしていま
![[レポート]PUBG’s architecture (with focus on back end infra) on AWS #AmazonGameTech #AmznGameTechJP | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3abd18c1510f93170e471a202936aa7de1225cfc/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F11%2F5faee5ae4b279bf5ab73a218090a1f69.png)
[アップデート] Lambda 関数が再帰ループを検出して停止するようになりました | DevelopersIO
サポートリージョン アジアパシフィック (香港、ジャカルタ、大阪、ムンバイ、ソウル、シンガポール、シドニー、東京) アフリカ (ケープタウン) カナダ (中部) ヨーロッパ(フランクフルト、アイルランド、ロンドン、ミラノ、パリ、ストックホルム) 南米 (サンパウロ) 米国東部 (オハイオ、北部バージニア) 米国西部 (オレゴン、北部カリフォルニア) 検証 以下 Lambda 関数の再帰ループ検出についての AWS ブログを参考に、再帰ループする Lambda 関数と SQS キューを作成します。 GitHub のサンプルコードは以下を利用します。 AWS SAM CLI を使って環境を構築します。 私は開発環境として Cloud9 を利用しました。 Cloud9 環境の作成 Name：sam-environment Description：sam-environment Cloud9 環境
![[アップデート] Lambda 関数が再帰ループを検出して停止するようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4ea229c5864909168e5ad0a78416f2ea552c21f1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-lambda.png)
こんにちは。インフラエンジニアの永井(shnagai)です。 AWS re:Invent今年も大豊作ですごいですね。まだ全部は追えてないんですが、良さそうなものがあればサービスに取り入れていこうと思いわくわくしています。 この記事はコネヒト Advent Calendar 2020 - Qiita 3日目の記事です。 今回は、試してみてる方は結構いそうなので、ざっとLambdaのコンテナサポートを触ってみた感じの所感を中心に書いていきます。 うれしいポイント 今想像してる一番うれしいポイントは、lambdaがサポートしてる数多のAWSインテグレーションをトリガに好きな処理が動かせるところ（lambdaRuntimeAPIの存在を知りそう甘くないことを理解した） ローカルの開発がやりやすくなるなー SAMとか使って出来るけど。個人的にはlambdaの管理は煩雑 dockerで検証出来た方が楽
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告 ディスプレイ広告エンジニアの川崎です。 ユーザーに最適な広告を配信するプラットフォームの開発をしています。 この記事では、広告配信にTensorFlow Servingを導入して生産性改善した事例をご紹介します。 Yahoo!広告 ディスプレイ広告とは？ Yahoo!広告では、Yahoo! JAPANのさまざまなサービスや提携パートナーサイトに広告を掲載できます。Yahoo!広告は、検索広告とディスプレイ広告に大別されます。本記事で扱うディスプレイ広告は、例えば以下の図ようにYahoo! JAPAN トップページなどに掲載される広告です。 広告配信の仕組み 広告配信システムの概略図を以下に示します。
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフー広告 ディスプレイ広告の植木です。代理店様や広告主様に向けた広告効果のレポート機能のバックエンド開発を担当しています。 先日、 Yahoo! JAPAN Tech Conference 2019 in Shibuyaにて「YDNレポートジョブ渋滞に機械学習でたちむかってみた」というタイトルで、処理待ち時間を改善する取り組みの経緯について発表してきましたのでその内容をご紹介します。 取組みに至った経緯 レポート作成は数秒で終わるものもあれば、数時間に及ぶものまであるため、作成処理と作成リクエスト受付WebAPIとを分離し、Message Queueを用いた非同期の仕組みを採用しています。 特定の広告アカウント（広告
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。寺田晃太朗 (@kotarotrd) です。 2018年4月に新卒でヤフーに入社し、データエンジニアとして働いています。 2019年10月に Apache NiFi Committer になりました。 私は昨年のAdvent Calendarで、注目するデータソリューション技術として「量子アニーリングがチョットワカルようになる記事」を書きました。 今年のAdvent Calendarの記事では、例えばそんなデータサイエンスを最大限に活用するために、データプラットフォームとしてデータ連携をどのように効率化できるかというテーマについて記事を書きます。 この記事では、Yahoo! JAPANのデータフロープラットフォームの役
These last two sometimes are referred to as "8 bit" or "10 bit" respectively, especially when talking about videos. That means 8/10 bits per single color channel. TransparencySome image formats support an additional channel together with the red, green, and blue components: the alpha channel. The alpha channel determines how transparent a single pixel is, and it can have different bit-depths, it i
こんにちは、技術開発室の滝澤です。 技術開発室の基盤システム担当チームで電子メールプロトコル勉強会を開催したので、その概要について紹介します。 この記事ではプロトコルの内容についてではなく、どのようなことを行ったかを紹介します。どのRFCを調べてもらったかについてはおまけに掲載しましたので、もしメールプロトコルについて学習したい人や組織の参考になれば幸いです。 背景 先月（2022年11月）に技術開発室の基盤システム担当のメンバーで自社のメールサーバーの構築・移設を完了させました。 メンバー構成としてはベテラン1人（わたし）と中堅1人と新人2人です。メールサーバーに関しては、わたし以外のメンバーは運用のみ経験があるか、構築・運用経験が全くないようなメンバーでした。そのため、この移設プロジェクト開始時の最大の課題は、メンバーへの電子メール（以降、単にメールと呼ぶ）に関する技術移転と技術習得で
実践 Pub/Sub Messaging - Cloud Pub/Sub を活用するための開発基盤を作った話 | Wantedly Engineer Blog
はじめにこんにちは、Wantedly の Infrastructure Team でエンジニアをしている南（@south37）です。 先日、Wantedly では「システム全体の信頼性向上」と「開発生産性の向上」を両立するために Event-Driven Architecture を採用しているというブログを書かせて頂きました。 開発生産性と信頼性の両立を目指すための Event-Driven Architecture - より良いマイクロサービスアーキテクチャを求めて | Wantedly Engineer Blog こんにちは、Wantedly の Infrastructure Team でエンジニアをしている南（ south37 ）です。 Wantedly では、マイクロサービスアーキテクチャを採用しています。 マイクロサービスで開発を進める上で、重要な関心ごとの1つが「多数のマイク
Why Elixir Is the Best Language for Building a Bootstrapped, B2B SaaS in 2024 | SleepEasy Website Monitor
Why Elixir Is the Best Language for Building a Bootstrapped, B2B SaaS in 2024 [This article is the companion to my presentation for CodeBEAM America 2024, Elixir is the One-Person Stack for Building a Software Startup. You can download the slides as a PDF or view them in Google Slides.] I’d like to share why I chose Elixir as the programming language (and really, as we’ll discuss, the full stack)
SQS には ApproximateAgeOfOldestMessage という、queue に存在する最も古いメッセージの、queue に入ってからの経過時間に関するメトリクスがあります。例えば queue の処理が遅延していることを検知したい場合、ApproximateNumberOfMessagesVisible よりも良い指標となる場合があります。ただ、このメトリクスの定義の詳細についてはドキュメントに載っておらず、ドキュメントに書かれている内容も正確さを欠くので実験を通して現在の挙動についてまとめてみました。 実験結果等を踏まえた ApproximateAgeOfOldestMessage の定義 結論から述べると、次のような定義と言えます。 メトリクスの対象メッセージは queue に存在するすべてのメッセージであり、invisible なものも含む メトリクスの値は queu
goqite is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler)
goqite (pronounced Go-queue-ite) is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler). $ go get github.com/maragudk/goqite See goqite on Github Examples Queue package main import ( "context" "database/sql" "fmt" "log" "time" _ "github.com/mattn/go-sqlite3" "github.com/maragudk/goqite" ) func main() { // Bring your own database connection, since you pr
Actions Runner Controller Deep Dive！- コード解説 後編 - - APC 技術ブログ
こんにちは！ACS事業部の谷合です。 皆大好きGitHub Actionsにおける、GitHub社公式のSelf-hosted runnerであるActions Runner Controller(以降ARC)の紹介をシリーズでお送りしております。 前回までに以下の記事を書いておりました。 Actions Runner Controller Deep Dive！- アーキテクチャ編 - - APC 技術ブログ Actions Runner Controller Deep Dive！- 動作解説編 - - APC 技術ブログ Actions Runner Controller Deep Dive！- コード解説 前編 - - APC 技術ブログ 前回に引き続き、Actions Runner Controllerのコード解説をしていきます。 はじめに この記事のこと コード解説 AutoSca
Message Queueを社内プラットフォームとして提供してみた 〜 Apache Pulsar活用事例 〜
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。2019年入社（新卒）エンジニアの加藤快です。 ヤフーのインフラの1つであるMessage Queueを運用・開発しているチームに配属となりました。 私のチームで提供しているMessage Queueには日々膨大なトラフィックが流れており、さまざまなヤフーのサービスの基盤を支えています。また、このシステムにはOSSであるApache Pulsarが用いられており、OSSへの貢献も積極的に行っています。 今回は、ヤフー社内でのMessage Queue利用事例やOSSとの関わり方についてお話ししていきます。 Message Queueとは Message Queue（以下、MQ）とは、言葉の通り「システム間で流れるデータ
Welcome to our series of case studies about companies using Elixir in production. See all cases we have published so far. Founded in 2015 by Jason Citron and Stan Vishnevskiy, Discord is a permanent, invite-only space for your communities and friends, where people can hop between voice, video, and text, depending on how they want to talk, letting them have conversations in a very natural or authen
AWS Lambda now supports partial batch response for SQS as an event source
AWS Lambda now supports partial batch response for SQS as an event source. With this feature, when messages on an SQS queue fail to process, Lambda marks a batch of records in a message queue as partially successful and allows reprocessing of only the failed records. By processing information at a record-level instead of batch-level, AWS Lambda has removed the need of repetitive data transfer, inc
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部クラウドプラットフォーム本部の水嶋と申します。私は現在、社内向けにキューイング・Pub-Sub・ストリーミングなどのメッセージングプラットフォームを提供するチームに所属しています。 このチームでは、メッセージングプラットフォームとしてOSS Apache Pulsar（以降、Pulsar）を利用しています。チームは数年間Pulsarを開発・運用しており、この経験からノウハウが蓄積されています。これらを公開し、皆さんにぜひPulsarについて興味を持っていただければと考えています。そこで、Pulsarの使い方、運用方法、ヤフーでの事例などをシリーズ記事として投稿していくことにいたしました。本稿に限らず、今
Examples · Diagrams
Here are some more examples. Grouped Workers on AWS from diagrams import Diagram from diagrams.aws.compute import EC2 from diagrams.aws.database import RDS from diagrams.aws.network import ELB with Diagram("Grouped Workers", show=False, direction="TB"): ELB("lb") >> [EC2("worker1"), EC2("worker2"), EC2("worker3"), EC2("worker4"), EC2("worker5")] >> RDS("events") Clustered Web Services from diagram
TLDR; just Postgres for everything. We have invited complexity through the door. But it will not leave as easily. There is Radical Simplicity though. One way to simplify your stack and reduce the moving parts, speed up development, lower the risk and deliver more features in your startup is “Use Postgres for everything”. Postgres can replace—up to millions of users—many backend technologies, Kafka
[アップデート] AWS LambdaがAmazon SQSをイベントソースとしたバッチ処理で部分応答をサポートしました | DevelopersIO
Amazon SQSをイベントソースとしたLambda関数のバッチ処理において、一部の失敗したメッセージのIDを返すことで成功したメッセージは削除され失敗したメッセージはキューに残せるようになりました。 こんにちは。サービスグループの武田です。 AWS LambdaはPythonやJavaScriptで書かれた処理をクラウド上で実行できるAWSのFaaSです。さまざまなサービスと統合されていますが、そのひとつとしてAmazon SQSがあります。イベントソースマッピングという機能を使用することで、SQSへのメッセージ送信をトリガーとしてLambda関数を実行できます。SQSをイベントソースとしたLambda関数のトリガーは、バッチ処理として複数のメッセージをまとめて処理させることができます。さて複数のメッセージをまとめて処理する場合に起こる問題として、一部は成功するが一部は失敗してしまった
Scalaで使うMessage Queue 〜 Yahoo! JAPANアプリのお知らせ送信でのApache Pulsarの活用
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo! JAPANエンジニアの福盛です。Yahoo! JAPANアプリの通知系バックエンドシステムを主に担当しています。 今回は、Apache Pulsarを使ったMessage Queue（以下、MQ）システムが実際のアプリケーションバックエンドでどのように活用されているかの例をご紹介したいと思います。 Apache PulsarについてはYahoo! JAPAN Tech Blogの記事「メッセージングPF「Apache Pulsar」の使い方（入門編）」でも紹介されています。こちらもぜひご参照ください。 通知システムでのApache Pulsarの活用 Yahoo! JAPANアプリ通知システムの全体像 Yahoo!
Amazon SNS FIFO のご紹介 – 先入れ先出しでの Pub/Sub メッセージング | Amazon Web Services
Amazon Web Services ブログ Amazon SNS FIFO のご紹介 – 先入れ先出しでの Pub/Sub メッセージング 分散ソフトウェアアーキテクチャを設計する場合、サービスの情報交換方法を定義することが重要になります。たとえば、非同期通信では、コンポーネントを疎結合化してスケーリングを簡素化することで、変更の影響が軽減され、新機能のリリースが簡単になります。 サービス間の非同期通信で最も一般的な形式は、メッセージキューと pub/sub メッセージングの 2 つです。 メッセージキューでは、コンシューマーによる処理および削除まで、メッセージはキューに格納されます。AWS では、Amazon Simple Queue Service (SQS) が、管理コストなしで完全マネージド型メッセージキューイングのサービスを提供しています。 pub/sub メッセージング
Migrating From Python to Kotlin for Our Backend Services
Blog Migrating From Python to Kotlin for Our Backend Services When DoorDash approached the limits of what our Django-based monolithic codebase could support, we needed to design a new stack that would provide a strong foundation for our logistics services. This new platform would need to support our future growth and enable our team to build using better patterns going forward. Under our legacy sy
CVE-2021-22555: Turning \x00\x00 into 10000$ Andy Nguyen (theflow@) - Information Security Engineer CVE-2021-22555 is a 15 years old heap out-of-bounds write vulnerability in Linux Netfilter that is powerful enough to bypass all modern security mitigations and achieve kernel code execution. It was used to break the kubernetes pod isolation of the kCTF cluster and won 10000$ for charity (where Goog
LINE Developer MeetupはLINEが定期的に開催する技術者向けミートアップです。開発担当の松田氏が、社内のいろいろなサービスから利用される公式アカウントマネージャーについて、その裏方の開発のおもしろさと課題について共有しました。 LINE公式アカウントに関連するシステムを支える変更データ同期 松田一樹氏（以下、松田）：『Large scale CMS を支える変更データ同期』ということで、LINE開発4センターの松田が発表いたします。今日はよろしくお願いします。さっそくですが、内容に入らせてください。今日はLINE公式アカウントに関連するシステムを支える変更データ同期について紹介します。 LINE公式アカウントと書くと長いので、以降あいまいさがない場合には、OA（Official Account）と書かせてください。LINE社内には、OAとひもづいて提供されるサービスがい
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ヨドバシの中の人が初めて語る、ヨドバシ.comを支える内製プライベートクラウドの中身
検索が爆速になるデータベース設計を公開します
開発とトラブルシュートに役立つ！クラウド時代のアプリケーションログ埋め込みと活用法
AWS・GCP・AzureのIoTプラットフォームを調べている - Qiita
【試したらできた】ChatGPT ではじめる IoT と電子工作 | DevelopersIO
Grafbase: Instant serverless GraphQL backends
さくらのクラウド「エンハンスドLB」を作った話(前編) - Qiita
ヨドバシの“中の人”が初めて語る 「ヨドバシ.com」を支える内製プライベートクラウドの中身
Lambdaのコンテナサポートに関する考察 - コネヒト開発者ブログ
ヤフーの広告配信で機械学習の改善サイクルを高速化した話 〜 TensorFlow Serving導入
ジョブ渋滞に機械学習でたちむかってみた 〜 広告レポート改善事例 #機械学習
ヤフー社内のデータ連携を爆速で構築する方法 #ApacheNiFi
FFmpeg - Ultimate Guide | IMG.LY Blog
電子メール技術移転：メールプロトコル勉強会をチームで開催してみた
Amazon SQS の ApproximateAgeOfOldestMessage とは何なのか？
Real time communication at scale with Elixir at Discord
メッセージングPF「Apache Pulsar」の使い方（入門編）
Just Use Postgres for Everything | Amazing CTO
CVE-2021-22555: Turning \x00\x00 into 10000$
LINE Official Account Managerの開発担当者が教える開発の“裏側”