subee - #golang で快適に Pub/Sub するためのフレームワーク | Wantedly Engineer Blog
People tribe / Backend squad の @izumin5210 です。来月以降もこのペースでブログを書いていけるといいですね。 この記事は Go3 Advent Calendar 2019 の25日目です。長い1ヶ月だった。 3行まとめPub/Sub により、マイクロサービスアーキテクチャで高い疎結合性とスケーラビリティを実現できるGo で Subscriber worker を効率よく実装するためのフレームワーク Subee をつくったGo でメッセージを Publish する際の細々とした処理を隠蔽・共通化するため Pubee をつくったはじめに5月に開催された Go Conference 2019 Spring にて "Subee: Pub/Sub Worker Framework Implementation" という発表がありました。Pub/Sub というパ
例年のように、昨年の活動を振り返る。 昨年は、それ以前の5年と異なり、働き方もエンジニアから研究者へ転向したことにより、自分を取り巻く環境は大きく変化した。 とはいえ、1年の研究活動を通じて、エンジニア時代と比較し、働き方は変わっても、自分が目指すものはあまり変わらないことも再確認した。 エンジニアであっても、研究者であっても、SREの分野において、相変わらず特定の環境に依存しない汎用的かつオリジナルの貢献を目指している。 エンジニアか研究者かというのは、自分にとっては、単に時間の使い方の差に過ぎない。 エンジニア時代は、企業の商用システムの開発・運用経験を通して、余暇時間でブログに知見をまとめたり、ソフトウェア化したりしていたが、研究者になってからは現場経験のウェイトをほぼゼロにして、学術論文の形で深く知見をまとめて、ソフトウェア化を進めている。 1月 昨年の12月に前職を退職したのち、
本記事について Lokiについてまったく知識のない状態の人にとって、1からキャッチアップしていくのは とても大変なことです。 特にLokiはマイクロサービスで構成されているため、何を知るべきなのかの全体像が見えにくいと思っています。 そのため、Lokiをまったく知らない状態から実際に運用検証を開始するために必要なインプットを体系的にまとめました。 具体的には下記の項目で整理します。 Lokiの機能 Lokiを構成するアーキテクチャ Lokiを構成するプロセス Lokiのモニタリング Lokiでのログのリテンション管理 Lokiのデプロイ Lokiでのデータキャッシュ Lokiのベストプラクティス ※前提として、Prometheusについての基本的な知識があれば本記事についてもすぐに理解できるかと思います。 1. Lokiの機能 Grafana Lokiとは？ Lokiは3大監視項目である、
BigQueryの導入理由から新機能Analytics Hubによるコスト削減まで。プレイドのCore Platformチームが活用法を解説する - Findy Tools
公開日 2024/08/26更新日 2024/08/26BigQueryの導入理由から新機能Analytics Hubによるコスト削減まで。プレイドのCore Platformチームが活用法を解説する はじめに株式会社プレイドのCore Platformチームに所属しているBrownです。このたびはプレイドでコアに使用しているBigQueryについて、なぜBigQueryをコアのアーキテクチャに置いているのかから、BigQueryの新しい機能であるAnalytics Hubを用いたストレージや管理コストの削減に関して記事を寄稿させていただきます。 本記事では、BigQueryを使う際に、近年よく耳にするようになった「データのサイロ化」をデータ分析の具体例として取り上げ、そのようなデータに対してどうやってBigQueryを活用するのかについて紹介します。 このブログの想定する読者の方 データ
モジュラーモノリスについて 目次 モジュラーモノリスとは メリット デメリット・課題 採用例・実装例 必要・向いているケース 不必要・向いていないケース そもそもマイクロサービス メリット デメリット・課題 マイクロサービスを選択する理由 マイクロサービスを採用すべきでない時 とりあえずまとめ そもそもモノリス デメリット・課題 モノリスの種類 参考 モジュラーモノリスとは モノリスからマイクロサービスへでは単一プロセスのモノリスのサブセットと紹介 独立して作業が可能なモジュールで構成され、デプロイ時に結合 モノリスアプリケーション内で、ドメインモデル等を単位としてモジュールに分解し、モノリスのように1つのデプロイパイプラインだけを持ちつつも、マイクロサービスのようにシステムのモジュール化・独立性を両立 マイクロサービスアーキテクチャの場合OrderサービスやPaymentサービス等が独立
Project Tsurugi(劔)とAsakusaについて - 急がば回れ、選ぶなら近道
Project Tsurugi(劔)とAsakusaについて ついでにAsakusa advent calendarの分も ■Tsurugiの特にNEDOプロ部分について 日経の記事はこちら https://tech.nikkeibp.co.jp/atcl/nxt/column/18/00001/03044/ 本紙はこちらからかな？ https://www.nikkei.com/article/DGXMZO51692890R01C19A1000000/ ・NEDOのサイト https://www.nedo.go.jp/content/100891996.pdf ・スライドはここ drive.google.com ・togetterはここ https://togetter.com/li/1430683 本来であれば、あまり外向きに書く話ではないのですが、仮にも公金が入っていて、日経の方にも「
話したネタ Worse Is Better - 過去を知り、未来に備える。技術選定の審美眼 2019 edition 集中と分散 Good Old Webとは何か？ 改訂第5版 PC UNIXユーザのためのPostgreSQL完全攻略ガイド（シーラカンス本） Linux, Apache, PostgreSQL, PHP 2層アーキテクチャから3層アーキテクチャへ EJB(Enterprise Java Beans)とは？ SOAP(Simple Object Access Protocol)とは？ なぜEJBやSOAPが生まれてきたのか？ 言語依存から言語非依存、ベンダ依存からベンダ非依存へという流れ SOA(Service-Oriented Architecture)とは？ Enterprise Service Bus XMLによる設定とマッピングが多い時代だった XMLエンジニアとYA
2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかった関連の内容や裏話などについてインタビューします。今回の対象セッションは「Ostracon：P2Pネットワークでのブロックチェーンの一貫性に挑む」です。 2017年のビットコインブームを皮切りに、ブロックチェーンは暗号資産や権利の証明のための、改ざん不可能なトランザクションを支える重要な技術として世間に認知されることとなりました。LINEではブロックチェーン基盤技術およびその応用サービスの研究・開発を行う専門組織として、LINE Blockchain Labを運営しています。 本セッションでは、LINE Blockchai
はじめに Launchableの共同創業者の1人で、Jenkinsの父としても知られる川口耕介さんとMSでアドボケイトをされている寺田佳央さんのご紹介で、西海岸サンタクララにヘッドクオーターを置くShipa.ioというスタートアップのカジュアル面談を受けてみました。日本でプロダクト開発をするエンジニアを募集したいとのことで、紹介の意味も込めて創業者の1人であるVivek Pandeyとカジュアル面談をしたときの内容や感想を書いてみます。 はじめに Shipa.ioについて Shipa.ioは日本でのエンジニア部隊を立ち上げたい どんな人を探している？ Shipaのチームメンバーは世界中にいる 英語話せないときついんじゃないの さいごに Shipa.ioについて Shipaはエンジニアの開発からデプロイまでを支援するプロダクトで、SREがポリシーを定めるところから開発者がデプロイをするまでを
現在ポータブルな単一で動くDBを趣味で作っています。 分散DBもやろうってなったとして、レプリケーション機能などを実装するとき 同期する内容は恐らくトランザクションログだけだと思うけど他に何があるのか、 通信プロトコルは何が最適なのか、 マスターが死んだことはどうやってわかるのか、 死んだときマスターはどうやって決めるのか、 そもそも分散DBはインスタンス同士でそれぞれの存在を漏れなく認識できているのか、 色々疑問が大量に湧きます。ここらへんの知識をご教示ください。 熊崎 宏樹:良いですね。日曜大工でRDBMSを作るのはもっと市民権を獲得しうる趣味だと確信しています。 分散システムを作る際に気をつける事を語ると毎度長くなってしまうのですが、データ指向アプリケーションデザイン、通称イノシシ本に書いてある事をベースラインに説明すると明快であると気づきました。 * レプリケーションされるのはトラ
アーキテクティングの必要性
最近の話最近何に関心を持ってる？と聞かれたら即答で 「アーキテクティング」 と答える。 少し前は「分散システムとの向き合い方」というテーマだったが、それが昇華されて「アーキテクティング」に変わっている。 アーキテクティングとは、 ”ソフトウェアの成功に必要なアーキテクチャを決める活動” のこと。 ※ 〇〇アーキテクチャの実践！とかではなく、要件定義や開発運用、品質特性や品質保証といった広義の設計と開発に関わる活動を指している 今の自分に最も不足している考えや技術で、これが高い水準でできる様になれば飛躍的にソフトウェアの成功確度を引き上げられる領域だと思っている。 個人としてもそうだが、組織でも高い水準でのアーキテクティング活動、長い目で見るとアーキテクティング文化が必要だと思っており、それをいかに組織で作っていくか、いかに自分自身を変えるかが最近のテーマ。 これは難しいことで、スケールする
あけましておめでとうございます。2019 年は大変お世話になりました。2020 年も張り切っていきましょう。 さて、2019 年には結構な回数の外部発表を行いました。これらの発表内容のうち一部は単独のブログ記事としてまとめてありますが、機を逸してしまって記事化されていないものも相当数あります。そこで本記事では、2019 年中に行った発表を一覧としてまとめてみました。 2019 年の活動実績 2019 年の登壇は全部で 19 件でした。うち（先着や抽選ではなく）CFP に応募して採択されたものは 4 件です。 チェシャ猫が普段活動している領域は、Twitter の Bio にも書いてある通り、大きく「Kubernetes」「Haskell」「形式手法」の三つのカテゴリに分かれています。このカテゴリで登壇内容を分類したところ、以下のようになりました。 CloudNative に関わるもの（12
刮目せよ!! 2023年秋、TS連携もファイルサイズもUIもイケるようになった最近のScala.js事情の紹介 - Lambdaカクテル
最近Scala.jsの話をすると結構な人がRTしてくれる。TypeScriptの他にAltJSには今どんなのがあるのかな、という話に引用RTでScala.js今アツいですよという話をしたら結構ウケた。世間的にはTypeScript alternativeに興味がある人も多いようだ。一方、ネットに残っているScala.js情報は数年前のものが多いようで、あまり積極的に日本語での情報発信がなされていない様子。そこで、ここ最近Scala.jsはどういう感じなのか、そしてどうすれば始められるのかという情報をまとめると需要があるかもしれないと思い、書くことにした。 Scala.jsは数年前まではオモチャみたいな感じだったんですが最近はTSのライブラリから自動で型が生える仕組みがあったりめちゃバンドル小さくなったりとめちゃくちゃ進化してます!! https://t.co/c06IZGWhYF— Win
私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT【イベントレポート】 - Findy Tools
公開日 2024/05/24更新日 2024/07/25私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT【イベントレポート】 近年データベースが急速に進化し、開発にも大きな影響を与えています。そこでファインディでは「私たちはなぜNewSQLを使うのか TiDBを選定・導入した5社が語る選定と活用」と題したイベントを開催。PingCAPの日下さん、LINEヤフーの佐伯さん、アイスタイルの鈴木さん、DMM .comのpospomeさん、コロプラの曽我さん、さくらインターネットの江草さんをお招きし、NewSQLの一つである TiDBについて語っていただきました。 ■パネリスト日下 太智さん / @ksk_tic PingCAP株式会社 プロダクトマネージャー / シニアソリューションアーキテクト SIerにて国内外問わずEC/小売/製造/サービス/メディア/出版など様々
はじめに こんにちは！yamakazu (@yamarkz) です。プロダクトブログへの登場は昨年ぶりになりました。 さて、6月は欧州サッカーのシーズンオフになりますが、対してインターナショナルマッチ(国際Aマッチ)が行われる月なので、代表ファンとしてはワイワイ！な月です。今年は冬のW杯も楽しみですね。 という趣味の小話は最初だけにして、今回はStailerで向き合っているカード決済の難しさと、その難しさに対応するために選択した設計戦略を紹介していこうと思います。 今10Xが賭けているE-Groceryという領域はまだまだニッチで、開発知見がほとんど出回っていないのが現状です。決済に関しては海外含めてGoogle検索でもほとんど確認できませんでした。(ex: instacart, Target) 本記事が、E-Groceryの様な複雑なドメインで決済処理を実装する際の参考になれれば嬉しいで
カイポケリニューアルでの SREチームの活動の一部の紹介：認証基盤選定と OpenTelemetry周辺ツール調査 - エス・エム・エス エンジニア テックブログ
こんにちは、SREをやっている@okazu_dmです。 経歴としては、サーバサイドエンジニアからセキュリティエンジニアを経て、エス・エム・エスではサービス横断で技術的な課題を解決しています。 基本的には組織に必要なことと自分ができることや、やりたいことが交わるポイントで仕事をしており、現在はSREとして働いています。 今回は、過去の記事 とは違い、既存SREチームとは別に、介護事業者向け経営支援サービス「カイポケ」のリニューアルプロジェクトにスコープを絞って新しく立ち上げたSREチームとしての活動を紹介します。 リリース前のプロダクトのSREなので、一般的なSREの定義とは乖離する内容もある点ご留意ください。 リニューアルプロジェクトの概要 昨年末に出したフロントエンドの技術選定に関する記事 での説明と内容的な差分はありませんが、SREの業務の説明の前にこちらでも改めて触れておきます。 イ
WASMバイナリを実行する自作OS, mavisの紹介
mavisとは mavisは私がフルスクラッチで開発している自作OSです。 これをビルドしてmake runするとshellが立ち上がり、"hello"コマンドを実行すると"Hello World!"が表示されます。 現状できることはたったこれだけですが、面白いのはその仕組みです。実は上の画像のshellとhello worldプログラムはどちらも WASMバイナリ です。そしてkernelは低レベルなメモリ管理機能とタスク管理機能を除くと、「WASMバイナリをタスクとして実行する」以外の機能を持ちません。つまりkernelがWASM Runtimeであり、それによって"ユーザーランド"を実現しているということです。 このOSは「仮想メモリ」を持ちません。なぜならWASMバイナリは位置独立だからです。WASMはスタックマシンベースの命令セットなので、スタックさえ用意すればどこでも、何度でも
公開論文から学ぶ Google のテクノロジー : パート 3：データベース技術編 | Google Cloud 公式ブログ
Google Cloud のサービスは、Google が長年にわたって構築してきたグローバルネットワーク、そして、世界各地のデータセンターによって提供されています。これは、Google 検索をはじめとするさまざまな Google のサービスを支えるインフラでもあり、その上では、Google 独自の技術を活用したさまざまなミドルウェアが稼働しています。 Google のエンジニアは、自分たちが開発した技術の詳細を論文として公開しており、これまでに公開された論文は、Google の研究チーム、Google Research の Web サイトにある Publication Database で検索できます。このブログシリーズでは、次の4つの分野に分けて、Google Cloud の技術に関連の深い論文を紹介していきます。 分散処理基盤（コンテナ技術）とデータセンター ネットワーク技術 データベ
【AWS】AWS認定『SysOps アドミニストレーター - アソシエイト』(SOA)も合格した話 - Rのつく財団入り口
アソシエイト3冠達成したよ AWS認定の運用向け資格、『SysOps アドミニストレーター - アソシエイト』に、東京の緊急事態宣言前夜の2020年3月末に一発合格してアソシエイト３冠を達成することができました。 祝ってくれた皆様ありがとうございます。といいつつもう７月、コロナあれこれでだいぶ後になってしまいましたが、合格エントリとしてこれから挑戦する方向けに情報を残しておこうと思います。 アソシエイト3冠達成したよ 挑戦への経緯 きっかけ 書いている人のスキルセット(笑) AWSの実務経験とよく使う興味のあるサービス やったこと 基本方針の確定 スタプラで学習記録を可視化する イベントに……あまり行ってない ネット上の合格エントリを参考にする 学習時間の確保に立ち向かう コロナの脅威に立ち向かう 計画変動に立ち向かう 学習の流れ WHIZLABSを導入 WHIZLABSの英語テキストをハ
マルチランタイム・マイクロサービスアーキテクチャ
状態(state)を話題にする場合、その多くはサービスの状態や、ステートレスが望ましい理由といったことが多いのですが、サービスを管理するプラットフォーム自体にも状態は必要です。信頼性の高いサービスオーケストレーションの実行、分散型のシングルトン、時間的スケジューリング(cronジョブ)、冪等性、ステートフルなエラーリカバリ、キャッシュなどを行なうには、状態が必要になります。ここで挙げたすべての機能が、内部的に状態を持つことに依存しているのです。状態管理の実際はこの記事の範囲ではありませんが、状態に依存する分散プリミティブやその抽象化は関心の範囲内にあります。 バインディング 分散システムのコンポーネントは相互の通信が必要なだけではなく、最新の外部システム、あるいはレガシな外部システムとのインテグレーションも必要です。そのためには、さまざまなプロトコルを変換し、ポーリングやイベント駆動、リク
Observability Conference 2022に登壇: データ分析基盤におけるオブザーバビリティの取り組み - Pepabo Tech Portal
こんにちは、データ基盤チームのまつもとです。先月開催されたObservability Conference 2022に登壇しましたので、お話した内容を簡単に紹介して登壇について振り返ります。 Observability Conference 2022 Observability Conferenceは、オブザーバビリティ（可観測性）に特化したテックカンファレンスです。オブザーバビリティとは何かについて簡単に説明しておくと、「いつ、どこで、なにが起きているかを観測が可能である」という性質のことをいいます。複雑かつ動的にスケールをする分散システムにおいては、オブザーバビリティを備えることでシステムの状態をより正確に把握できます。そのため、障害の検知や原因の特定を効率的に行えるようになるだけでなく、キャパシティ計画やパフォーマンス計画の推進にも役立ちます。 このカンファレンスでは、主にDevOp
「技術者を育てる」ことを目的とした、エンジニアを目指す学生のための日本最大のオンラインカンファレンス「技育祭」。ここで株式会社 LIFULL（ライフル）の相原氏が「趣味と仕事の違い、 現場で求められる アプリケーションの可観測性」をテーマに登壇。まずは、仕事と趣味のアプリケーションの違いと、可観測性の基本的な3つのシグナルのうち2つの「Logs」「Metrics」について紹介します。 自己紹介と目次 相原魁氏：今日は「趣味と仕事の違い、現場で求められるアプリケーションの可観測性」について、僕の自室からお送りしようと思います。株式会社LIFULLの相原です。よろしくお願いします。 （スライドを示して）今日の目次ですが、「だいたい趣味のアプリケーションってこういうことをやりがちだよね」みたいな話をした後に、では仕事だとどういうことが求められるのか。その上で、どういう実装をすると可観測性を満たせ
フューチャー夏休み自由研究連載12本目の記事です。 はじめにはじめまして。TIG DXユニットの富山です。2020年4月新卒入社です。 夏休み自由研究連載の11本目の記事で公開されたSlack×GASの日報テンプレBOTを実務に導入してみたの執筆者である仁木さんと同期です。 私が参画しているプロジェクトでは、データベースにDynamoDBを採用しています。私は、RDBMSしか使用した経験がなかったので、NoSQLであるDynamoDBの理解にとても苦しみました。そこで今回の夏休み自由研究では理解した内容をまとめてみたいと思います！ つまったポイントサマリ― これらが理解できるような記事を目指します。 DynamoDBとは公式ドキュメントによると、 Amazon DynamoDB は、規模に関係なく数ミリ秒台のパフォーマンスを実現する、key-value およびドキュメントデータベースです。
2020年11月のサーバーレス関連まとめです。こちらのイベントで取り上げる内容です。 serverless-newworld.connpass.com 2020年11月のリリース 11月30日からAWSの年次グローバルカンファレンスであるre:Inventが開催されることから細かいアップデートが多めですね。ていうか数が多すぎるのでS3とか割愛しましたｗ タイトルだけで内容がわかるようなものは特にコメントしていません。 Amazon Kinesis Data Streams は、最大 1 年間のデータストリームの保持が可能に データ保存期間がこれまでの最大7日から最大1年に デフォルトは24時間 Amazon MQ for RabbitMQ の発表 Amazon MQがRabbitMQをサポート RabbitMQは広く使われているOSSのメッセージブローカー 複数のプロトコルに対応、軽量とい
Cloud Nativeなシステムを構築するにあたって手助けとなる、アプリケーション開発と運用のアジリティ、可用性、拡張性を支えるさまざまなデータベースを学ぶ「Cloud Native Database Meetup #1」。ここで「NewSQLへの誘い」をテーマに小林氏が登壇。NewSQLが登場するまでの流れと、NewSQLのストレージエンジンと分散トランザクションについて紹介します。 自己紹介とセッションのアジェンダ 小林隆浩氏（以下、小林）：では、さっそく本セッションに入っていきますが、まずは私のほうでイントロダクションをこのままやります。 イントロダクションのテーマは、「NewSQLへの誘い」というかたちで進めていきます。私は小林と言い、データベースに関する連載や、書籍の翻訳なんかをしているエンジニアです。 いろいろなデータベースをつまみ食いするのが好きで、評価したり検証したり。あ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 突然ですが、みなさんへ質問です。「今この瞬間にシステム障害が起こったら、自信を持って対処できますか？」システム運用者であれば、誰しもが考えたことがある内容かと思います。障害の影響範囲がどの程度なのか、ユーザーアナウンスの必要の有無、そして自動復旧のメカニズムが正しく動いたか。そのあたりが気になるポイントなのではないでしょうか。単純な質問ではありますが、とても考えることが多い不安な質問です。 システムは動いて当たり前と思われがちですが、実際は動いている方が奇跡、壊れて当たり前、という点はエンジニアのみなさんなら共感していただけると思います。どうやったら障害にアプローチできるか、ヤフーで取り組んでいるカオスエンジニアリングについて紹介
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年3月号 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。 今回は、re:Invent2022の翌々月ということもあり、新機能・アップデートは控えめでした。 Amazon Redshift 新機能・アップデート 2023/02/28 Amazon Redshift announces general availability of ROLLUP, CUBE, and GROUPING SETS in GROUP BY clause Amazon Redshiftは、ROLLUP、CUBE、GROUPING SETSを含む新しいSQL機能をサポートし、多次元分析アプリケーションの構築を簡素化します。これらのサポートによってデータウェアハウスの移行を簡素化します。 GROUPING
「Kafka Summit 2020」開催！ストレージ階層化、ZooKeeperフリー、クラウドネイティブ ―次の10年に向けて進化を続けるKafkaのいま 8月24日、25日（米国時間）の2日間に渡り、Confluentが主催する「Kafka Summit 2020」がオンラインで開催されました。新型コロナウイルスの感染拡大により、2020年はほぼすべてのITカンファレンスがキャンセル、またはオンラインでの開催へと切り替えられてきましたが、これまで年に2回、サンフランシスコやロンドン、ニューヨークなどでリアルイベントが行われてきた「Kafka Summit」も同様に、初めてのバーチャルカンファレンスとして開催されました。もっとも今回の登録者数は143ヵ国から約3万5,000名にも上り、リアルイベントからオンラインへと変わったことで、Kafka Summitとしては過去最大級の参加者を集め
MariaDB MaxScale〜OSSのデータベース向け負荷分散ソフトウェア〜 | OSSのデージーネット
MariaDB MaxScaleとは、オープンソースのデータベース向けプロキシサーバです。特にMySQL互換のデータベースに特化しています。MariaDB MaxScaleはアプリケーションとデータベースの間で処理を中継するプロキシサーバで、データの整合性を保持したまま負荷分散を行うことができます。 MariaDB MaxScaleとは MariaDB MaxScale（以下：MaxScale）は、オープンソースのデータベース向けのプロキシサーバです。MariaDB社が開発しました。特にMySQL互換のデータベースに特化しており、対応するデータベースは、「MariaDB（MariaDB Galera Cluster）」や「MySQL」があります。MaxScaleでは、データベースクラスタへのアクセスを一元化し、クライアント側にクラスタを意識させることなく利用することができます。さらに、Ma
はじめに この記事はhey Advent Calendar16日目の記事です。 STORES 予約 開発チーム @arrow_make です。 昨年度まで進めていたマイクロサービス化を止めてモノリスで開発するに至った過程について書いていきます。 STORES 予約 におけるマイクロサービス化 STORES 予約 には主に、管理画面(予約サイト管理者向け)と予約者画面(予約をするエンドユーザー向け)の2種類の画面があり、バックエンドのRailsサーバーでは両方の画面に向けたAPIを提供しています。 その中で主にチーム内でapi/v2と呼んでいる予約者画面に向けて提供しているAPIに連なる機能群を、Railsから切り離して一つのサービスとして独立させることを目的として始まったものと認識しています。 私自身は、マイクロサービス化の走り出し時にはまだ在籍しておらず、入社後すぐにこのプロジェクトに途
『詳説 データベース』が発売になりました
発売のお知らせ 昨年から輪読会を行っていたDatabase Internalsの翻訳版『詳説 データベース』が、明日7/6に発売となりました。一部書店では既に店頭に並んでいるようです。 こちらはAmazonやその他ブックストアのサイトで紙版の本を入手可能です。 電子版については、出版元のオライリージャパンのEbook Storeで、PDFおよびEPUB形式（もちろん紙版も）の購入が7/6から可能となりました。 紹介にかえて -監訳者まえがきより- データベースに関わる方々にとって、これからのスタンダードになるであろう"Database Internals"の全訳をお届けできることを、大変うれしく思います。 「データベース」をタイトルに含む書籍は多く見られますが、それらの大半はコンピュータサイエンスを学ぶ人向けの教科書であったり、または特定のDBMSを使う人向けの実務書であったりします。 こ
Kubernetesパターン 第2版
TOPICS System/Network 発行年月日 2024年09月 PRINT LENGTH 392 ISBN 978-4-8144-0088-1 原書 Kubernetes Patterns, 2nd Edition FORMAT Print PDF EPUB マイクロサービスとコンテナの進化に伴い、開発者がソフトウェアを設計、構築、実行する方法は大きく変わりました。これらのアーキテクチャは、分散システムの新しい構成要素を提供し、多くの開発者やアーキテクトが慣れ親しんだものとは異なる一連のプラクティスを必要とします。本書は、Kubernetes上でクラウドネイティブアプリケーションを設計および実装するための再利用可能なパターンを解説します。 はじめに、コンテナベースのクラウドネイティブなアプリケーションを作るための基本原理とプラクティスを紹介し、コンテナとプラットフォーム間の様々な
自分が本格的に設計を意識するようになったのは、2015年の夏に現職であるFringe81株式会社で開催されていたサマーインターンに参加してからだ。 インターンではDDDとクリーン・アーキテクチャ*1を一から勉強してAPIサーバーに実装する、というカリキュラムであったが、いま思うと2週間という比較的長いインターンで僕が学べたことと言えば本当に微々たるものだった。つまるところ、それくらいには設計というものは奥が深い。常になんらか特定のデザイン・パターンなりアーキテクチャ・パターンを適用することでアプリケーション開発がうまくいくということはなく、それらの様々な知識から少しづつ応用されたものが最終的なアプリケーションの設計に対して真の洞察を与えてくれるものというのが、僕自身のいまの認識である。 設計はまさに Connecting the dots そのものだ。多くを知れば知るほど、アプリケーション
技育祭は「技術者を育てる」ことを目的としたエンジニアを目指す学生のための日本最大のオンラインカンファレンスです。ここで登壇したのは、CARTA HOLDINGS・執行役員CTOの鈴木健太氏。3回のCTO経験と10年以上に渡る事業開発経験を交えつつ、どのように事業のコアとしてのテクノロジーに携わり、価値を届け続けながら事業と共に成長していくかについて話しました。全4回。1回目は、鈴木氏のキャリア変遷と、就職する時に感じた不安について。 CARTA HOLDINGS・執行役員CTOの鈴木健太氏 鈴木健太氏：「CTOが語る、事業のまんなかでエンジニアリングするキャリアの作り方」ということで、鈴木健太が発表していきます。ぜひ、リラックスして聞いてください。よろしくお願いします。 まず、「概要より」ですね。CARTA HOLDINGSは、20を超える事業を200人弱のエンジニアと一緒に作っています。
著者 坪内 佑樹(*1), 鶴田 博文(*1), 古川 雅大(*2) 所属 (*1) さくらインターネット株式会社 さくらインターネット研究所、(*2) 株式会社はてな 研究会 第7回Webシステムアーキテクチャ研究会 2010年代のクラウド技術であるコンテナオーケストレーション、サーバーレス、マイクロサービス、さらにはエッジコンピューティングなどの普及により、分散システムとしての複雑度が高まっている。このまま複雑度が高まっていくと、人手によるルールベースの運用にいずれは限界が訪れるのではないかと考えている。そこで、最近は、このようなクラウドを中心とするSRE分野の課題に対して、機械学習やその他の数理的アプローチを適用するアプローチを模索している。特に、SREの中でも、システムに発生する異常への対応については、現場のエンジニアの経験に基づき直感に大きく依存している。 異常への対応を構成する
この記事は 食べログアドベントカレンダー2023 の25日目の記事です🎅🎄 はじめに こんにちは、食べログシステム本部長の京和です。今年も🐓を務めさせていただきます（5年目）。 さて、今年のアドベントカレンダーの記事を改めて眺めてみると、技術的なトピックだけでなく、プロダクト開発やQA・テスト、マネジメントに関する記事など、幅広いトピックがあるなあと感じました。2018年や2019年のアドベントカレンダーを見てみると、その差がよく分かりますね。組織の変化が感じられてとても嬉しく思います。 本記事では食べログエンジニア組織の2023年振り返りとしていくつかのトピックに分けてご紹介していきます。 1. 食べログ事業について まずは事業についてです。食べログは2023年Q2(7月-9月)の決算において、初めてコロナ禍前の売上を超えました。 「株式会社カカクコム 2024年3月期 第2四半期
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこで LINEのフェローであり、Data Science and Engineeringセンターに所属する並川淳氏が、「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というテーマで、LINEにおけるデータの扱い方について共有しました。 LINEにおけるデータ活用の取り組み 並川淳氏（以下、並川）：本日は「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というタイトルで、並川が発表いたします。私は、LINEではふだん機械学習に関わる開発全般を担当しています。ですが、今日は機械学習に限らず、LINEにおけるデータ活用の取り組みについて幅広く紹介させてもらえればと思っています。よ
はじめに 初めまして。マイクロアド21年新卒インフラ担当の森( id:bosq )と申します。 7月に新卒研修を終えてからは、基盤開発グループにて日々勉強しています。 配属後は新しいことのインプットが多いため、今回は学んだことの整理とアウトプットを兼ねて、マイクロアドのデータ基盤で利用しているHadoopについて紹介したいと思います。 はじめに 分散処理基盤 Hadoop / CDH とは Hadoop エコシステム データストレージ (HDFS) と リソース管理 (YARN) HDFS (Hadoop Distributed File System) YARN (Yet Another Resource Negotiator) ノードの役割 分散処理エンジン (MapReduce, Tez, Spark) MapReduce Apache Tez Apache Spark クエリエンジ
DDD Community JPのほうでCQRS/Event Sourcingについて少し盛り上がったので、どういう議論をしたかまとめるのと同時に補足も追加しました。ちなみに、Event Sourcingが主題ですが、CQRSも前提として関係します。その想定で読んでいただければと。 発端はこのツイート。 これはEvent Sourcingじゃないと無理ですね。状態に基づく限り、ストリーム処理は難しいです https://t.co/prB16GJC5q— かとじゅん (@j5ik2o) 2020年9月14日 僕が引用したツイートは松岡さんの質問箱に対するリアクションです。その質問箱に寄せられた質問は以下。 ストリームを開いてから閉じるまでのデータが変化する毎にUIで表示したい場合、DDDではどのように設計したら良いでしょうか？ DDDのリポジトリは1つのリクエストに対して1つのリクエストを返
Amazonの分散システム開発のノウハウが凝縮された「Amazon Builder’s Library」の中身を見てみた #reinvent | DevelopersIO
本日、Wernerのキーノートにて、開発者向けドキュメントラブラリーであるところの「Amzon Builder's Library」のリリースが発表されました。 Welcome to the Amazon Builders’ Library 弊社西澤の速報記事もでております。Amazon Builder's Libraryの概要はこちらを参照ください。 [速報] The Amazon Builders’ Libraryが発表されました #reinvent ｜ Developers.IO 現在、13個のライブラリが登録されていますが、この中から自分が気になったライブラリーを何個か紹介しようと思います。想像していた以上に内容が濃い！ （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 ﾒｯﾁｬｺｲﾃﾞ ﾜｯｼｮｲ |_|＿| し'´Ｊ Challenges with distri
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2019年振り返り - エンジニアから研究者へ - ゆううきブログ
最短で理解して運用するGrafana Loki - Enjoy Architecting
Modular Monolith(モジュラーモノリス)についてまとめる
29. 技術選定の審美眼(2) w/ twada | fukabori.fm
P2Pネットワークでのブロックチェーンの一貫性をいかに実現するか、Ostraconが目指すもの
西海岸のスタートアップとカジュアル面談をやってみた話 - inductor's blog
現在ポータブルな単一で動くDBを趣味で作っています。 分散DBもやろうってなったとして、レプリケーション機能などを実装するとき 同期する内容は恐らくトランザクションログだけだと思うけど他に何があるのか、 通信プロトコルは何が最適なのか、 マスターが死んだことはどうやってわかるのか、 死んだときマスターはどうやって決めるのか、 そもそも分散DBはインスタンス同士でそれぞれの存在を漏れなく認識できているのか、 色々疑問が大量に湧きます。ここらへんの知識をご教示ください。 | Mond - 知の交流コミュニティ
2019 年のスライド一挙公開、あるいは 2020 年の方針 - チェシャ猫の消滅定理
E-Groceryにおけるカード決済処理の難しさと設計戦略 - 10X Product Blog
メンテナンス担当者が変わるからこそ必要な“可観測性” 基本的なシグナル「Logs」「Metrics」の特徴と適切な使いかた
【入門】私を苦しめたDynamoDB | フューチャー技術ブログ
Monthly AWS Serverless Update 202011 - Sweet Escape
Spannerの登場で急拡大したNewSQL 分散トランザクションの課題をどう解決したか
ヤフーが実践するプロダクション環境でのカオスエンジニアリング
「Kafka Summit 2020」開催！ストレージ階層化、ZooKeeperフリー、クラウドネイティブ ―次の10年に向けて進化を続けるKafkaのいま | gihyo.jp
マイクロサービス化を進めていたが、切り戻してモノリスで開発しているお話 - STORES Product Blog
個人的なアプリケーション設計のバイブル3選 - Runner in the High
「プログラミングがちょっとできたところでやっていけるのか？」 エンジニアリングの世界に飛び込む時に、僕が感じていた不安
マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ
食べログエンジニア組織2023年振り返り - Tabelog Tech Blog
大量のユーザーデータを横断的に使うために LINEのデータサイエンティストが気をつけているいくつかのこと
CDH (Hadoop) 入門 - MicroAd Developers Blog
具体的な実装コードからEvent Sourcingを理解する - かとじゅんの技術日誌