Building Netflix’s Distributed Tracing Infrastructure
“@Netflixhelps Why doesn’t Tiger King play on my phone?” — a Netflix member via Twitter This is an example of a question our on-call engineers need to answer to help resolve a member issue — which is difficult when troubleshooting distributed systems. Investigating a video streaming failure consists of inspecting all aspects of a member account. In our previous blog post we introduced Edgar, our t
2019年7月24日、ヤフー株式会社が主催するサーバーサイドエンジニア向けの勉強会「Bonfire Backend #3」が開催されました。第3回となる今回のテーマは「モバイル決済の裏側」。急速に成長するモバイル決済分野でサービスを展開する企業が一堂に会し、自社サービスの仕組みや技術スタックなど、知られざる裏側を語ります。プレゼンテーション「100億を支える技術 」に登壇したのは、PayPay株式会社の正木一平氏。「100億円あげちゃうキャンペーン」をはじめとした各種キャンペーンを支えるキャッシュバックエンジンの仕組みを解説します。 PayPayの100億円キャンペーンを支える技術 正木一平氏（以下、正木）：PayPay株式会社の正木一平と申します。今日は弊社から2人登壇させていただきます。まずは自分からPayPay全体の簡単な紹介と、自分が担当しているキャンペーン・キャッシュバックエンジ
ベクトル検索（近似最近傍探索）でいい感じの MoreLikeThis を実現する | by mocobeta | Medium
この記事は，「情報検索・検索エンジン Advent Calendar 2019」23日目のエントリーです。モノは生煮えですが，背景含めて頑張って説明したいと思うので，ご容赦ください…。 目次 Apache Lucene とはLucene にベクトル検索を実装してみたベクトル検索版 MoreLikeThisUnsolved issues（積み残し）雰囲気だけ知りたいという方は，「ベクトル検索版 MoreLikeThis」 のところだけ眺めると良いかもしれません。 Apache Lucene とは Apache Lucene は，ピュア Java で書かれた，高速・スケーラブルな検索エンジンライブラリです。OSS 検索エンジンとして人気の高い Elasticsearch や Solr のコアエンジンとして使われているため [1]，検索システムに携わっている方なら，名前は聞いたことがあるかもしれ
Rust初心者がRustで全文検索サーバを作ってみたの続きです。 この記事では、Rust製の日本語形態素解析器の開発を引き継いだ経緯と、その使い方を簡単に紹介します。 開発を引き継ぐことになった経緯 冒頭でも書きましたが、Rust初心者がRustで全文検索サーバを作っています。全文検索サーバを作り始めると、日本人なのでどうしても日本語のドキュメントをインデックスして検索したくなります。日本語を上手く検索インデックスに登録するには日本語形態素解析器を利用するのが一般的です。 日本語形態素解析器、どれを使おうかな？とユーザの立場でいたのが、いつの間にか開発を引き継ぐことになりました。 日本語形態素解析器といえば、大御所のMeCabがあります。歴史も長く、Python、Ruby、JavaからMeCabを利用するためのバインディングも用意されています。 OSSの検索エンジンの世界ではLucene/
【書評】データレイク構築・運用のノウハウを網羅的に学び始められる！ 『AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門』 | DevelopersIO
先日2020年07月09日、書籍『AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門』が発売されました！個人的に興味関心の強いテーマを取り上げた内容がてんこ盛りの書籍でしたので、簡単ではありますが書籍の内容について紹介させて頂きたいと思います。 「AWSではじめるデータレイク」がついに https://t.co/FvuHWrYlwH 上で予約可能になりました！7月9日発売予定です。どうかよろしくお願いいたします。 - https://t.co/do0ZeLrlrn #aws #datalake — Akira Shimosako (@simosako) June 23, 2020 テッキーメディア - BOOTH 【電子書籍版】AWSではじめるデータレイク - テッキーメディア - BOOTH AWSではじめるデータレイク - テッキーメディア - BOOTH 目
2019年11月後半アップデート＆AWS re:Invent 2019 サービス別トピック総まとめ #reinvent | DevelopersIO
今年2019年の『AWS re:Invent』も先日全ての日程を終了し、数多くの新機能新サービスが発表されました。その詳細については当ブログでもポータルサイトを展開し、 また、例年通り参加レポートや技術検証ブログ等を書きまくっております。 AWS re:Invent 2019 ｜ シリーズ ｜ Developers.IO ですが、今年は(今年も？)『AWS re:Invent 2019』本編開始前にも数多くの新機能、または幾つかの新サービスも発表されていました。その数がこれまた非常に多く、『本編開始前にこれだけ出てくるってことはこの後(re:Invent 2019は)どうなるんだ...？』と思った方も多かったのではないでしょうか。 本編開始前の内容についてはAWSJ公式ブログでまとめられたエントリが計5本あり、また本編に関しても計5日分の日毎まとめとして、AWSJ公式ブログでその内容がまと
SREはインフラ担当だけでなくチーム全体で取り組んでいくもの | はてなで働く cohalz にアンケート [#9] - Hatena Developer Blog
こんにちは、Hatena Developer Blog編集部です。「はてなで働くエンジニアにアンケート」シリーズ、今回ははてなブログチームのSRE、id:cohalzに話を聞きました。 id:cohalzにアンケート はてなidとその由来を教えてください いつどんなきっかけで入社しましたか？ 現在の仕事を教えてください チーム内の立ち位置を教えてください 1日の仕事の流れを教えてください 最近うまくいったことは何ですか？ 最近うまくいってないことは何ですか？ 普段大切にしていることは何ですか？ はてなはどんな会社ですか? id:cohalzにアンケート はてなidとその由来を教えてください 読みは「こはる」と呼ばれることを想定しています。 読みとしては日本語としてありふれた名前にしつつも、idとしては被らないものにしたいという意図を持っています。 idはco + hal + zの3つの要素
![SREはインフラ担当だけでなくチーム全体で取り組んでいくもの | はてなで働く cohalz にアンケート [#9] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/b1540f83138e6a085307ec37757319aa491a2baf/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhatenatech%2F20201027%2F20201027191102.jpg)
BlueTeam CheatSheet * Log4Shell* | Last updated: 2021-12-20 2238 UTC
20211210-TLP-WHITE_LOG4J.md Security Advisories / Bulletins / vendors Responses linked to Log4Shell (CVE-2021-44228) Errors, typos, something to say ? If you want to add a link, comment or send it to me Feel free to report any mistake directly below in the comment or in DM on Twitter @SwitHak Other great resources Royce Williams list sorted by vendors responses Royce List Very detailed list NCSC-N
Now when aws executes it does so from within an op run context. When it’s time to locate the access secrets aws does what it always does, but there is no (plain text) ~/.aws/credentials RC file for it to use. It does, however, find some magical $AWS_ACCESS_KEY_ID and $AWS_SECRET_ACCESS_KEY beans environment variables. These variables use the secret reference syntax to specify that their values nee
こんにちは、WEARバックエンドエンジニアの三浦です。WEARのバックエンドの開発、保守運用に携わっています。個人ではおよそ2年ぶりのテックブログ執筆となります。 さて、今回はWEAR上のコンテンツを運用チームが自由にカスタマイズできるようモジュール化した話をご紹介します。 目次 目次 モジュール概要 導入背景 モジュールの設計 要件と課題 リプレイスとの競合 負荷対策 管理ツール API まとめ さいごに モジュール概要 まず最初にWEARのモジュール化はどのようなものか説明します。 今回導入したモジュール化は、WEARのアプリ上の一部コンテンツをUIモジュールとして扱えるようにすることです。1つ目の画像に表示されているシアーシャツや雨の日コーデといったテーマ別のコンテンツ1つ1つがモジュールとなっており、テーマに合わせて絞られたコーディネート画像が表示されます。モジュール右上のすべてを
本記事は Grouping Similar Articles with Search Engine More-Like-This Queries and Graph Algorithms の翻訳記事です。以前の記事である More Like This Query を活用した類似記事集約 入門 から、より踏み込んだ内容になっています。 はじめにストックマークでは、毎日数千のメディアから数万件のニュース記事を収集しています。そのときに、異なるメディアから類似した内容の記事がクロールされることもあります。その一方で、これらの内容の重複した記事をそのままユーザに表示してしまうと、ユーザの情報収集体験を損ねてしまう可能性があります。そのため、ストックマークのプロダクトであるAnewsので記事推薦や、Astrategyでの事業活動比較などのニュース分析サービスにおいて、より良いユーザー体験を提供するた
分散密ベクトル探索エンジンValdとSentence-BERTを使った類似文書検索を試す - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近、社内で情報検索論文輪読会を立ち上げました。 情報検索論文読み会のスケジュール そこでNGT-ONNGについての論文*1を紹介したところ1時間の予定のところを盛り上がりすぎて2時間超えてしまいました。 大盛り上がりのついでに、今回は情報検索論文輪読会で紹介した近似最近傍探索ライブラリNGTを内部で利用するValdを使って、類似文書検索がどのように出来るのか、現状の問題を解決できるのかを試したのでその結果を報告します。 Overview 弊社が抱える類似文書検索の課題 Sentence-BERT Valdを使った近似最近傍探索 NGT Vald Vald×Sententce-BERTで類似文書
Update: it looks this post has gotten way more attention than I anticipated. I’ve seen / received feedback that the title is misleading and some people get dissapointed. I see why, so at the risk of spoiling the surprise, let me clarify what this is about before starting. As we migrate teams over to Kubernetes, I’m observing that every time someone has an issue, like “latency went up after migrati
情報検索の国際学会 ICTIR2023 / SIGIR2023 に現地参加して来ました - Taste of Tech Topics
こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 さて、先日7/23-7/27にICTIR2023およびSIGIR2023という情報検索関連の国際会議が台北で開催されました。年に一度開かれる国際会議で、毎年この分野の研究を色々と聞くことができ、個人的にとても楽しみにしているイベントです。 ここ数年はCOVID-19の事情もありオンラインで参加していたのですが、今年は思い切って現地参加して来ましたので、その様子を共有したいと思います。 sigir.org 概要 会場は台北のTICC（Taipei International Conventional Center）という場所でした。台北101のすぐ近くにある広くてキレイな
[新機能]Security HubがAWS基礎セキュリティのベストプラクティスについてコンプライアンスチェックできるようになったので詳細を解説しつつチューニングの考察してみた | DevelopersIO
[新機能]Security HubがAWS基礎セキュリティのベストプラクティスについてコンプライアンスチェックできるようになったので詳細を解説しつつチューニングの考察してみた Security Hubで新しく追加されたコンプライアンスチェックであるAWS Foundational Security Best Practices v1.0.0について解説し、チューニング方法も紹介しています！ こんにちは、臼田です。 みなさん、自分たちのAWS環境のセキュリティチェックしていますか？(挨拶 今回はSecurity Hubの新しいセキュリティ基準(Standard)として追加されたAWS Foundational Security Best Practices v1.0.0について解説し、チューニング方法を考えていきます。 新機能の説明 新機能自体を説明する前に背景から行きます。 Securit
![[新機能]Security HubがAWS基礎セキュリティのベストプラクティスについてコンプライアンスチェックできるようになったので詳細を解説しつつチューニングの考察してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/dbe3f406587b5b6a944b210452de92d974859a3f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-security-hub.png)
ElasticsearchのANNを利用して100万件のベクトル検索を高速化！ - Taste of Tech Topics
この記事は Elastic Stack (Elasticsearch) Advent Calendar 2023 18日目の記事です。 こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 さて、最近はLLMの発展に伴ってRAG（Retrieval-Augumented Generation）が盛んに活用されています。 その中で、キーワードベースの検索だけでなくベクトル検索を併用するケースが多く見られ、実際にElasticsearchが利用されているケースも多く目にします。そのため、Elasticsearchのベクトル検索に興味を持っている方も多いと思います。今回の記事では、Elasticsearchのベクトル検索の速度な
詳解 FireLens – Amazon ECS タスクで高度なログルーティングを実現する機能を深く知る | Amazon Web Services
Amazon Web Services ブログ 詳解 FireLens – Amazon ECS タスクで高度なログルーティングを実現する機能を深く知る この記事は Under the hood: FireLens for Amazon ECS Task (記事公開日: 2019 年 11 月 18 日) を翻訳したものです。 2019 年 11 月、Amazon ECS は FireLens によるカスタムログルーティングのサポートを発表しました。FireLens によって、人気の高いオープンソースのロギングプロジェクトである Fluentd や Fluent Bit を簡単に使用することができ、さまざまな AWS サービスやパートナーの宛先にログを送信することができます。 この記事では、私たちがなぜ、どのようにして FireLens を作ったのか、詳しく説明します。また、私が Fire
第560回の「microk8sでお手軽Kubernetes環境構築」では、「シングルノードのみに対応したKubernetes環境構築ツール」としてmicrok8sを紹介しました。その後、このmicrok8sは大幅な進化を遂げて「特定のプロダクション用途でも使える」までになっています。今回はそのmicrok8sに最近追加された、高可用性クラスター機能について紹介しましょう。 密に開発されクラスターにも対応したmicrok8s 第560回の記事が公開されたのはmicrok8sのv1.13がリリースされ、Canonicalとしてもmicrok8sの利用をアピールしだした時期でした。当時はシングルノードにしか対応していないことに加えて、ARM64のサポートを拡充していったことからもわかるように、開発者によるKubernetesの学習用や組み込み用のシンプルなアプリケーションの実行用を主なユースケ
利用状況から見るMackerelで人気のメトリックプラグイン トップ10 - Mackerel お知らせ #mackerelio
MackerelチームCREの吉田(id:syou6162)です。Mackerelの特徴の一つに豊富なプラグインの存在がありますが、たくさんあるがゆえに「どれを使うといいんだろう?」と迷われる方もいらっしゃるかと思います。また、「プラグインを導入後、ミドルウェアのメトリックが可視化できるようになった。しかし、どのメトリックを監視すればよいのだろうか?」と悩んでおられる方もいらっしゃるかと思います。 今日はそういった方に向けて Mackerelで利用数の多いメトリックプラグイン、トップ10 ホストメトリックの監視に使われている代表的なメトリックプラグインのメトリック を紹介しようと思います。 なお、Mackerelのプラグインは以下の3種類が存在していますが、今回はメトリックプラグインの利用状況についてのエントリとなります。 メトリックプラグイン ホストに紐付く統計量をカスタムメトリックとし
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEの技術組織が取り組んでいる・今後取り組む未解決課題を深堀りするインタビューシリーズ「Unresolved Tech Issue」、今回のテーマは「モダンに実装された新機軸のHRサービスにおける急成長と安定稼働の両立」です。 2021年3月にリリースされたばかりの「LINEスキマニは、隙間時間とスキルを価値に変えるギグワーク（単発雇用）マッチングサービスです。新規サービスらしく、ReactやKotlin、Elasticsearch、Kubernetesなどモダンな技術を用いて構築・実装されています。 すばやく新機能開発などを実施して、サービスを可能な限り急成長させること。そして、システムを安定稼働させ、今後のサービス発展
Amazon Bedrock（Claude2）でPythonのソースコード／テストコードの生成を確認してみた - Taste of Tech Topics
こんにちは、最近久々にソロキャンプをしてきました菅野です。 AWS上で、 様々なAIモデルを利用できるようになるサービス、Amazon Bedrockがリリースされました、と書き続けてそろそろひと月が経過しております。 楽しみながら様々なモデルを利用していたらあっという間に時間がたってしまいました。 今回は、BedrockのClaudeV2モデルを用いてPythonコードとテストコードを生成してみようと思います。 Bedrockの説明は、以下を参照してください。 acro-engineer.hatenablog.com 「Fizz Buzz」の生成 プログラミングの初歩も初歩、定番の課題といえばFizz Buzzです。 1-100までの数字のうち、3の倍数の時にはFizzを、5の倍数の時はBuzzを、３の倍数且つ、5の倍数の時はFizzBuzzと、それ以外の時はその数字を表示するプログラム
DynamoDB Stream を利用してDynamoDBとElasticsearchのデータ連携をやってみた | DevelopersIO
こんにちは！コンサルティング部のキムです。 以前から外国で仕事をしたいなーと思ってましたが、言語が違うことの難しさを感じてます。もっと頑張っていきたいと思います！:) ここ数年、DynamoDBに興味があったのですが、DynamoDB Streamは全く触ったことがありませんでした。AppSyncでよく使われるパターンでもあるので、良い機会だと思ってDynamoDB Stream → ElasticSearch のデータ連携の構成をやってみました。 ElasticsearchのIndexingは1秒ほど掛かるためリアルタイムで連携されるのではありませんが、普通のユーズケースには大丈夫と思います。DynamoDBがメインDBになった場合でも、検索機能の限界の為、GSIやLSI等で頑張らなくて済む良いパターンだと思います。 それでは、始めます！ 目次 DynamoDB Streamとは Dyn
PHPを使ってEvent Streaming + CQRSをざっくり理解してみよう(Laravel) - ytake blog
これはさりげなく スターフェスティバル Advent Calendar 2020の20日目です。 PHPカンファレンス2020 2019年は登壇などを控えて一休みの期間としていたので一年振りくらいの と登壇となりました。 発表の内容としてはここ3、4年注力しているデータ処理まわりから、 PHPにおけるWebアプリケーションなどでも活用することができる題材を取り上げてお話させていただきました。 要するに事業に関わっている開発は年々要件も複雑になっていき、 問題解決するためにはいろんな手法があるけど、きちんと分析して 開発しやすいよう、フレームワークにべったり依存してつくるのではなく、 数年先を見越してつくったり、改善する方法の一つにCQRSもありますよ、という話です。 お話したように、全てのアプリケーションでペイできるものではありませんし、 ある程度大きな規模だったりある程度複雑な機能だった
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 今回は弊社で運用しているメンバーズメディアと言う医療系記事サービスの著者名検索を改善したお話をします。目新しいことはやってませんが、ちょっぴり特殊な対応なので共有します。 人名とニックネームが混じった検索とは 課題 解決方法 部分一致的な検索をする ひらがな/カタカナや小文字/大文字を寄せる 苗字+名前の間のスペースを全体で削除する スコアの調整 まとめ さらなる改善を行う場合 We're hiring! 人名とニックネームが混じった検索とは メンバーズメディアというサービスでは専門家が医師向けの記事を執筆しています。著者の中には人気の方もおり、ユーザーが著者の名前で検索されることもあります。 著者には人名(苗字+名前)の方もいればニックネームで登録
はじめに こんにちは。検索基盤部の倉澤です。 検索機能におけるtypo（誤字脱字や綴り間違いなど）は難しい問題1とされています。typoの扱い方によってはユーザーに悪い検索体験を提供してしまう恐れがあります。例えば、typoを含む検索クエリを入力された時にユーザーが意図している検索結果を得ることができないといった問題があります。 例に漏れず、ZOZOTOWNでもtypoを含む検索クエリが入力された場合に検索結果が表示されないといった問題が発生しています。以下、「レディース」と入力するつもりが「レデース」と入力してしまった場合の検索結果です。 今回は日本語におけるtypoの一般的な解決策を調査・検証し、その結果・課題点を紹介します。手法の検証が容易であることを優先し、以下の2つの方法について検証しました。 Elasticsearchを用いてtypoを含む検索クエリでも検索結果を得る方法 ユー
Legalscape (リーガルスケープ) アドベントカレンダー 2021 の 12/16 (木) のエントリです。 本日のエントリは、突貫工事的に一週間程度1で構築したデータウェアハウスについてお送りいたします。 データウェアハウス構築前夜 2021 年 6 月に予定をしている Legalscape 正式版リリースが刻々と迫り、みなが慌ただしく仕事をしている 5 月下旬、ビジネス上の様々な理由からユーザのアクティビティログを保持して分析・集計するデータ基盤、すなわちデータウェアハウスが必要になりました。 Legalscape ではそれまで、プロダクト上でのユーザの行動に伴って発生するアクティビティログはすべて (書籍の全文検索に用いているものと同じ) Elasticsearch クラスタにインデックスしていました。アクティビティログを利用する際は、このインデックスに対して Kibana
部屋のCO2濃度を、Raspberry Pi / AWS IoT / Kibanaで可視化/通知する - Qiita
動機 部屋に長くこもっているとだんだん眠くなって集中力が落ちてくるのは酸素が薄くなっている(≒二酸化炭素濃度が上がっている)からなのでは？と思い調べたらやはりそういう研究結果があるらしい。 参考: https://www.excite.co.jp/news/article/Rocketnews24_259718/ 室内では1000ppmを超えない方が良いらしいけど自宅の家電で測れないので換気のタイミングがわからない。 => Raspberry PiにCO2センサーくっつけてデータをクラウドに送ったら色々出来るだろうし、AWS IoTとAWS IoT Greengrassのハンズオンがてらやってみよう。 目標 以下のような構成で、Raspberry Pi上のCO2センサーデータ取得し、Kibanaでデータを可視化します。 さらにCO2濃度が閾値を超えたらSlackに通知するようにします。 A
Astrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate... SaaS型AIサービスの内側の世界
ストックマークでは、法人ユーザー向けの「Astrategy」というウェブサービスを開発、提供しています。 本エントリでは、Astrategyで使われている技術やシステム構成をご紹介したいと思います。 AstrategyとはAstrategyとは、AIがウェブニュースを解析してあらゆる市場の動向やトレンド、有力企業の経済活動を可視化し、ユーザーが市場調査や市場分析レポート作成を行うことができるウェブサービスです。 国内外約3万メディアから配信された約5000万件のビジネスニュースから、企業情報、言及されているニューストピック、業界や地域属性を抽出して分析に利用します。 抽出には汎用言語モデルBERTを用いており、その処理はCloud TPU上で動く重たい処理であるため、事前に全てのニュースデータに対して抽出処理をかけた状態で検索サーバーに登録しています。 ユーザーがAstrategyにアクセ
更新され続けるEngineering Handbookのために - LIVESENSE ENGINEER BLOG
こんにちは。アルバイト事業部エンジニアのmnmandahalfです。 私たちは積極的にエンジニアの仲間を募集していますが、もっと私たちの組織・文化・利用技術について知ってもらおうと思いLivesense Engineering Handbookというものを作りました。 *1 Livesense Engineering Handbookについて livesense-inc.gitbook.io こちらはGitBookにホスティングされている、エンジニア採用における広報を目的に作られた資料です。主にスカウトやSNS、カジュアル面談を通じて出会った採用候補者の方や、新入社員の方向けの資料となっています。 カジュアル面談にいらした方よりも少し広めの層にリーチする目的で、リブセンスでエンジニアとして働くことの概要がわかるような形で書かれています。 この資料は常に鋭意執筆中であり、「自律共創」のコンセ
Let's build a Full-Text Search engine - Artem Krylysov
Full-Text Search is one of those tools people use every day without realizing it. If you ever googled "golang coverage report" or tried to find "indoor wireless camera" on an e-commerce website, you used some kind of full-text search. Full-Text Search (FTS) is a technique for searching text in a collection of documents. A document can refer to a web page, a newspaper article, an email message, or
[レポート]PUBG’s architecture (with focus on back end infra) on AWS #AmazonGameTech #AmznGameTechJP | DevelopersIO
PUBG’s architecture (with focus on back end infra) on AWS 2019年11月20日（水）にアマゾン目黒オフィスでアマゾンウェブサービス社の自社イベント「Amazon Game Developers Conference」が開催されました。 Amazon Game Developers Conference 本記事は、セッション「PUBG’s architecture (with focus on back end infra) on AWS」をレポートします。 スピーカー PUBG Corporation DevOps Engineer Kim JungHun 氏 セッション概要 PUBG Corporationは、世界で50万本以上販売されている PLAYERUNKNOWN'S BATTLEGROUNDS の開発および運営をしていま
![[レポート]PUBG’s architecture (with focus on back end infra) on AWS #AmazonGameTech #AmznGameTechJP | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3abd18c1510f93170e471a202936aa7de1225cfc/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F11%2F5faee5ae4b279bf5ab73a218090a1f69.png)
Source:imgflip.comAs I write this on the 25th of April, I am still reeling from the announcement of IBM’s acquisition of Hashicorp. When I first heard the rumours yesterday, I was concerned about the future of possibly my favourite Infrastructure-as-code (IaC) tool. It has long been obvious that Hashicorp has been struggling to make money, making a $274 million loss in 2023. This undoubtedly led t
Sansan Data Hub・Bill Oneアーキテクト対談：事業を支えるシステムの設計方針を公開【前編】 - Sansan Tech Blog
社内に蓄積された顧客データを整理・統合し、マーケティングに最適なデータに進化させる顧客データ統合サービス「Sansan Data Hub」。そして、あらゆる請求書をオンラインで受け取り、請求書受領から月次決算を加速するインボイス管理サービス「Bill One」。いずれも急成長を遂げており、Sansan株式会社の事業の柱になっているサービスです。 これらのサービスは、データの処理効率やシステムの信頼性などを向上させるために、さまざまなアーキテクチャの工夫が行われています。今回は「Sansan Data Hub」と「Bill One」それぞれの開発の中核を担う千田智己と加藤耕太にインタビューし、前後編の2回に分けて記事化。前編では、両サービスのアーキテクチャ設計の工夫や思想について語ってもらいました。 【Sansan Data Hub】アーキテクチャ解説 ――「Sansan Data Hub」
Elasticsearch 7.6 と Kibana 7.6 に Security を有効化してDockerで起動する（コピペ） - Qiita
Elasticsearch 7.6 と Kibana 7.6 に Security を有効化してDockerで起動する（コピペ）MacElasticsearchDockerKibanaLightsail やりたいこと ログの集計・可視化をElasticsearchとKibanaを使って行いたいと思い、色々調べてみたところ、どうやらAmazon Lightsailで動かすのが安そうということで、環境構築について検討した。 Elastic Cloudだと手軽に始められる反面、インスタンスコストが割高で、最小構成だとリサイズに失敗したりしてほとんど何もできなかった。 Lightsailの場合、4GB RAMのインスタンスが$20/月なので、2GBをElasticsearchに、1GBをKibanaに、という構成ができそう。 そして、比較的最近、無償ライセンスのBasicプランでもX-Pack S
Dockerはコンテナ化のための最も一般的なツールの1つであり、Dockerコンテナの内部で何か問題が起きていないかを監視するために、オープンソースコミュニティによっていくつかのツールが開発されています。 このガイドでは、そのうちの1つのツールであるcAdvisorに焦点を当てています。：cAdvisor なぜDockerコンテナを監視する必要があるのか？ 監視により、ソフトウェアの状態に関する重要な情報を収集できるため、開発チームは製品を改善する方法を見つけることができます。 各コンテナは自己完結型のシステムであるため、監視はさらに不可欠です。 コンテナの監視には、各コンテナの使用状況の測定値を記録して監視システムに報告することが含まれます。 このようにして、バグの検出とアプリケーションの改善を確実にし、総合的なパフォーマンスと堅牢性を向上させます。 コンテナの監視にcAdvisorを使
AWSで生成AIアプリの開発が可能な『PartyRock』でポエムアプリを作ってみた - Taste of Tech Topics
こんにちは、先日千葉に遊びにいったらアクアライン通行止めで東京湾迂回する羽目になった菅野です。 ChatGPTにて手軽にアプリケーションを自動で生成できるGPTsが世の中では大きな反響を呼んでいます。 プログラミングレスでChatGPTを利用するアプリを生成できるので、プログラマー以外の人がどんどん生成AIを利用するような流れが出来つつありますね。 さて、そのような流れにのってAmazonBedrockを利用してアプリを生成、共有するサービス、PartyRockがAWSからリリースされました。 早速利用してみましょう。 https://partyrock.aws/partyrock.aws PartyRockの始め方 アカウントの作成 PartyRockはAWSが提供するサービスではありますが、AWSアカウントとは別のアカウントを作成する必要があります。 PartyRockのサイトにアクセ
セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか：セキュリティログ分析基盤活用入門（2）（1/2 ページ） セキュリティ業務における「ログ」と、その分析基盤の活用について解説する連載。今回は、ログ分析基盤の設計ポイントを、アーキテクチャの観点から紹介します。 セキュリティ業務における「ログ」と、その分析基盤の活用について解説する本連載「セキュリティログ分析基盤活用入門」。前回は、ログを活用するセキュリティ業務やログの果たす役割を紹介しました。 リクルートは、インシデントハンドリング、フォレンジックや脆弱（ぜいじゃく）性検査、マルウェア解析といった、多くの企業ではセキュリティ専業ベンダーにアウトソーシングする専門性の高いセキュリティ業務を内製化しています。2015年以降は「Recruit-CSIRT（Computer Security Incident Response
Amazon ES、Amazon Athena、および Amazon QuickSight を使用して AWS WAF ログを分析する | Amazon Web Services
Amazon Web Services ブログ Amazon ES、Amazon Athena、および Amazon QuickSight を使用して AWS WAF ログを分析する これで AWS WAF に、サービスによって検査されたすべてのウェブリクエストをログに記録する機能が追加されました。AWS WAF は同じリージョンの Amazon S3 バケットにこれらのログを保存できますが、ほとんどのお客様は、アプリケーションをデプロイする場合はいつでも、複数のリージョンにわたって AWS WAF をデプロイします。ウェブアプリケーションのセキュリティを分析するとき、組織はデプロイされたすべての AWS WAF リージョンにわたって全体像を把握する能力を必要とします。 この記事では、AWS WAF ログを中央データレイクリポジトリに集約するための簡単なアプローチを紹介します。これにより、
執行役員 VP of Engineering 兼技術部長の @hsbt です。 私がマネージャを務める技術部 技術基盤チームのメンバー全員でペパボの鹿児島オフィスにて開発合宿を行ってきました。本エントリではペパボの技術基盤チームの開発合宿の成果を題材として、チームが今取り組んでいる開発項目についてご紹介します。 hsbt 私、@hsbt は GitHub Enterprise Server(以下、GHE)の SAML 対応の検証と、内部で利用しているメンバーの追加・削除の自動化スクリプトの cron job 化を行いました。 現在、ペパボの情報システムでは Directory Service として Miscrosoft の Active Directory (AD) を用いているものの、AD を社内システム横断の IdP として利用するまでに至っておらず、GHE や Slack などはコ
Privacy | Site Terms | © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. navigation Welcome to Amplify Social Network App(or SNS) Workshop! In this workshop, you will learn about AWS Amplify in hands-on way through the development of twitter-like social media applications. Audience Application developer who wants to develop at explosion speed Server-side engineers who want
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PayPayの各種キャンペーンを支えるキャッシュバックエンジンの仕組み
Rust初心者がRust製の日本語形態素解析器の開発を引き継いでみた - Qiita
Your CLI wish is our command 🪄💫 | 1Password
効率的な運用を実現するWEARコンテンツのモジュール化 - ZOZO TECH BLOG
検索エンジンのMore-Like-Thisクエリとグラフアルゴリズムによる類似記事集約
Kubernetes made my latency 10x higher
第641回 LXDとmicrok8sでシングルサーバーをKubernetesクラスターにする | gihyo.jp
モダンな技術で新機軸のHRサービスを構築。「LINEスキマニ」が目指す急成長と安定稼働の両立
人名とニックネームが混じった検索の改善 - エムスリーテックブログ
検索におけるtypoへのアプローチ方法と検証結果の紹介 - ZOZO TECH BLOG
一週間で構築できる！ お手軽データウェアハウス
The beginning of the end for Terraform?
【徹底解説】cAdvisorを使用してDockerコンテナの監視 - Qiita
セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか
技術基盤チームが鹿児島オフィスで開発合宿を行いました - Pepabo Tech Portal
Amplify Social Network App Workshop