「顧客志向」を中心とした開発戦略と取り組み 【ラクス イベントレポートまとめ】 - RAKUS Developers Blog | ラクス エンジニアブログ
8/7(水)にRAKUS TechConference（以下TechCon）が開催され、盛況のうちに閉会しました。本記事ではその様子を、TechConを開催する目的や背景、当日発表資料なども交えながらご紹介します！ TechConとは？ TechConの開催目的 今年のテーマは「顧客志向」 ラクスの開発組織にとって「顧客志向」とは なぜ「顧客志向」をテーマに選んだのか？ イベント概要 発表の紹介 「顧客志向」の開発組織 マルチプロダクトでのプロダクトマネージャーのリアル 拡大するマルチプロダクトSaaSの顧客理解にデザイン組織はどう取り組んでいるか 急成長する大規模プロダクト開発のマネジメント課題とアプローチ パフォーマンス向上とリソース管理のためのアプローチ 急成長するサービスを支えるためのインフラ戦略 楽楽精算のQA改革～楽楽精算でのQA専門組織の実践と成功事例 新たな顧客課題に挑む1
大規模サービスにおけるMongoDBのインデックス運用 - スタディサプリ Product Team Blog
QuipperではメインのデータベースとしてMongoDBを活用しており、データサイズは1TBを超えています。 これまでユーザーやデータが増えるたびにスケールアップを繰り返してきたので、AWSの最高性能のサーバを使う状況になっていました。 このような大規模なサービスにおけるMongoDBの運用について書いていきたいと思います。 今回はインデックス編です。 はじめに 当記事で登場するMongoDBの構成 クラスター管理: MongoDB Cloud Manager & AWS EC2 ReplicaSet Cluster: Primary, Secondary, Hidden Secondary EC2 instance type; i3en.24xlarge (Primary/Secondary) RAM: 768GB (Primary/Secondary) MongoDB Version
データで見るサイバーエージェントグループのSREと横断的なSRE推進の取り組み | CyberAgent Developers Blog
サイバーエージェントグループには、様々なSRE組織があり、日々サービスの信頼性向上に取り組んでいます。 6月27日〜28日にかけて開催した「CyberAgent Developer Conference 2023」では、当社のDeveloper Experts（SRE領域）を務める柘植が、サイバーエージェントグループのSRE組織やSREsの活動についてもご紹介しました。 柘植 翔太 2014年新卒入社。インフラエンジニア、SREとして、AMEBA、AWA、社内基盤など50以上のメディアサービス・システムへのSRE推進、リスク改善、サービス立ち上げを経験。現在は、横断SRE組織のマネージャーとして、SREのプラクティス開発やEnablement、人材育成へ注力している。 サービスリライアビティグループというメディア事業横断のSRE組織のマネージャーをしている柘植と申します。本日はデータで見る
LINEの「あけおめLINE」過負荷対策(1) ― リスクマネジメントの全体像と「発生可能性の低減」 | gihyo.jp
「SREの現場から」と題した本連載では、さまざまな企業におけるSREの実践事例を不定期に紹介していきます。 こんにちは、LINE株式会社の加藤（maru）です。SREチームに所属し、主にLINEスタンプや着せかえ、ホームタブ、ウォレットタブでEmbedded SREとして信頼性の改善に従事しています。 LINE株式会社は、コミュニケーションアプリ「LINE」を機軸として、コミュニケーション・コンテンツ・エンターテイメントなどモバイルに特化した各種サービスの開発・運営と広告事業に加え、Fintech事業、コマース事業などを展開しています。基軸となる「LINE」アプリは2023年現在、世界で約2億人が利用しており、LINEスタンプと呼ばれる画像を用いたコミュニケーションがユーザー同士で活発に行われている点が大きな特徴のひとつです。 これから数回にわたり、SREの私が主に担当しているLINEスタ
MongoDBのoplogについて理解を深めた話 - Sansan Tech Blog
こんにちは、Sansan Engineering Unit マスターデータグループの金子です。 私たちが開発しているシステムの中に、MongoDBを採用しているシステムがあります。私自身NoSQLを使用しているシステムの開発に携わるのは初めてなので、毎日いろいろな学びを得ています。 ある時、そのシステムで大量のデータをDBに書き込む処理を行うと、MongoDBのoplog関連のエラーが出てしまったことがありました。今回はその時の原因と対応について紹介し、MongoDBのoplogについて理解を深められた話をします。 環境 MongoDB 5.0 MongoDB Atlas 発生したエラー エラーの文言はこちらです。 PlanExecutor error during aggregation :: caused by :: Resume of change stream was not po
GoとGCSで100GBの巨大zipファイルを展開する | Re:Earth Engineering
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
STORES ECでのMongoDB(Mongoid)とSTIの使い方紹介 - STORES Product Blog
はじめに hey のECとかレジのバックエンドエンジニアをやっている @ucks です。 前回は、Mongoid の基本的な使い方と MongoDB を利用した開発のメリットを紹介しました。 今回はもう少し踏み込んで、STORES (以下、区別のため STORES EC と表記)、STORES レジで利用している仕組みを紹介します。 タイトルにもありますが、 STI をご存知でしょうか? Single Table Inheritance の略で、日本語にすると単一テーブル継承と言うらしいです。 筆者は、初めて聞いた時、青い車向けのピンクのパーツを開発している会社しか思い当たりませんでした。 簡単に説明すると1つのテーブルで複数のモデルを永続化する手法です。 STI には良い印象を持ってない人も多いかと思いますが、STORES EC とレジでは、Webアプリケーションフレームワークに Rub
Etsukata blog: Mongodb の Aggregation Framework で月ごとに集計をとる
はじめに mongodb ので Date Object を含むデータを集計する際に、月ごとで集計をとる方法について説明します。ここでは mongodb version 2.2 で導入された aggregation framework を用います。aggregation framework は非常に柔軟なフレームワークで、SQL に迫るほど強力な集計機能を備えています。map-reduce ほど表現力が豊かではありませんが、ほとんどの集計処理をより手軽に行えます。 早速 aggregation framework を用いて、月ごとに集計をとって見ましょう。 サンプル まず、mongodb を起動し、mongo shell からサンプルデータを入力しておきます。 > db.revenue.insert({ revenue : 10 , date : ISODate("2013-06-20")
SQL to Aggregation Mapping Chart - MongoDB Manual v8.0
The aggregation pipeline allows MongoDB to provide native aggregation capabilities that corresponds to many common data aggregation operations in SQL. The following table provides an overview of common SQL aggregation terms, functions, and concepts and the corresponding MongoDB aggregation operators:
MongoDBに触れる (3) 集計処理 (Aggregationフレームワーク) | ZDRIVE blog
今回も前回に引き続き、コンソールでの操作を行います。 NoSQLプロダクトには通常、SQLで言うところの WHERE句やGOURP BY句などの集計機能が備わっていません。 ですが、MongoDBはNoSQLでありながらRDMBSの機能も一部実装しており、集計機能に関しても実装されています。 MongoDBで集計処理を行う場合はさまざまな方法があるようですが、今回はAggregationフレームワークを使用します。 まずは集計を行うに当たり、適当なデータを入れておきます。 >db.member.insert( { "name" : "sato", "score" : 100, "birthplace" : "Tokyo"}) >db.member.insert( { "name" : "suzuki", "score" : 90, "birthplace" : "Tokyo"}) >db.
mongoDBの集計にはMapReduceよりaggregateが簡単で楽な件 - ちょびろぐ出張版
先日、僕の開発してるあにみた！が一周年を迎えました。 せっかくなのでデータを公開してみようと思いたったのが始まりです。 が、PHP上（正確にはFuelPHP）で集計するにはメモリーが足らないとサーバーから怒られてしまった。 集計したいこと＆やっていることをまとめたのが下記。 集計期間を1年 全ユーザー、作品対象 ソートをPHP上でやっている（mongoはjoin出来ないので） そら重いよね。。。 チェックインデータだけでも100万件以上あるし、それを作品ごとに全ループすれば当然その分の配列データをメモリー上に保持し続けるわけで… ちなみにmongoDBの操作にはFuelPHPに標準で搭載されている拡張を使っているのだけれども、細かいところに手が届いておらず、何かやりたい時にはmongoコマンドを叩かないといけない。 結局、自前のmongoexなるMongoマッパーを作成し使っています。 し
第10回 MongoDBでの集計処理 | gihyo.jp
MongoDBでの集計処理の概要 一般的なNoSQLプロダクトは、RDBのSQLでいうGroup By句やSum関数などの集計機能がありません。集計を実施するには、アプリケーション側で独自にコードを書くことになります。 しかし、MongoDBは、NoSQLのパフォーマンスを維持しながら、RDBライクな機能を実装することを開発方針として掲げており、集計機能に関してもいち早く実装してきました。MongoDBで集計処理を行う方法は3つあります。 1. Aggregationフレームワーク SQLでいうGroup By句やSum関数を提供します。Mongo Shellからクエリと同じように実施できます。一部の処理（$groupと$sort）はシャーディングに対応しており、各シャードで処理します。 2. MongoDBのMap/Reduce機能 Map関数/Reduce関数を独自に定義し、集計処理を
MongoDBで集計（Aggregate） - Qiita
Aggregation MongoDBでは集計のために Aggregation という仕組みが用意されているのですよ。すわ！便利。 例として、WebShopsコレクション（≒テーブル）に各Web店舗のアクセス数が日単位で記録されているものとし、ここ一週間のアクセスランキングを取得してみます。 PHPでのサンプルコードは下記のようになります。 // MongoDBへ接続 $mongo = new Mongo(); // MyDBデータベース $db = $mongo->selectDB('mydb'); // WebShopsコレクション（≒テーブル） $collShops = $db->selectCollection("webshops"); // ここ一週間でのWebアクセスが多い順に店舗を取得 $docs = $collShops->aggregate( array( // $mat
MongoDBでECサイトを実運用する3つのテクニック | Tokyo Otaku Mode Blog
こんにちは。Tokyo Otaku Mode CTOの関根です。 Tokyo Otaku Modeでは、2013年8月からotakumode.com上にカート機能を追加し、決済までをワンストップでできる海外向けECサイトをスタートしました。 どういうシステム構成でotakumode.comが運用されているかを聞かれた時、「Node.js + MongoDBです」と答えると、エンジニアの皆さんは一様にびっくりします。特に驚かれるのが、MongoDBをメインのDBに使用している点です。信頼性に定評があるわけでなく、またNoSQLに対するライトなイメージが一般的にあるため、ECサイトのプロダクションとして使うことに疑問を持たれている方が多いのでしょう。 しかし、十分実用に耐え、日々機能追加が入り成長し続けるスタートアップの環境で、実際に1年間運用してきたECサイトがここにあることも事実です。 そ
Capped Collections - Database Manual v8.0 - MongoDB Docs
Capped collections are fixed-size collections that insert and retrieve documents based on insertion order. Capped collections work similarly to circular buffers: once a collection fills its allocated space, it makes room for new documents by overwriting the oldest documents in the collection. Restrictions Capped collections cannot be sharded. You cannot create capped collections on serverless inst
Tailable Cursors - MongoDB Manual v8.0 - MongoDB Docs
By default, MongoDB automatically closes a cursor when the client exhausts all results in the cursor. However, for capped collections you can use a tailable cursor that remains open after the client exhausts the results in the initial cursor. Tailable cursors are conceptually equivalent to the tail Unix command with the -f option ("follow" mode). After clients insert additional documents into a ca
はてなブログ | 無料ブログを作成しよう
いちごジャムを煮る季節 商店街の八百屋でいちごが安くなっていて、「あ、もうそんな季節」と思った。個人的な〈いちごジャムを煮る季節〉の到来条件は、以下の三つが揃うことであり、今年も無事に「シーズン開幕」の判定となった。 ・１パック300円以下・小粒ぞろいのパックであること・密封…
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MongoDBをサービス無停止で継続的かつ安全にバージョンアップしている話_プレイドエンジニアブログ
红河噶仙装饰工程有限公司
Customer Case Studies
