自己紹介 はじめまして！株式会社リクルートにデータスペシャリストとして新卒入社しました橋本大輝と申します。 自分は入社当初はデータサイエンティストって結局具体的には何をする仕事なんだろう、エンジニアリングにも興味あるけどどこまで手を伸ばせるのかな、という不安感を持っていたのですが、新人研修を通して社内で触れることができる技術の幅と自由度を知りその不安が大きく解消されました。 ここではそんなデータスペシャリスト入社者に向けた新人研修の概要について、個人的に面白かった/ためになったところに重点を置きながら紹介していきたいと思います。 全体の流れ スケジュール データサイエンス×ソフトウェアエンジニアリング ソフトウェアエンジニアリング データサイエンス まとめ 最後に スケジュール 技術に関する研修は全てリモートで実施され、大まかに下図のようなスケジュールで行われました。 図1: 研修のスケジ
Linux Foundation Launches Open Source Valkey Community
5 MIN READ Linux Foundation Launches Open Source Valkey Community The Linux Foundation | 28 March 2024 Community maintainers, contributors, and users will continue collaborative development of an open source, in-memory data store under the new Valkey name. SAN FRANCISCO – MARCH 28, 2024 – Today, the Linux Foundation announced its intent to form Valkey, an open source alternative to the Redis in-me
AWSアカウント間のS3, DynamoDBデータ移行計画の記録（データ完全性検証方法の検討） | DevelopersIO
こむろ＠事業開発部です。 前回 の続きです。 そろそろ諸々の記憶が薄れ始めている頃なので早めに全部書ききっておきたいところです。 前回までのまとめ データの取得と転送方法についての検討は終わりました。 Amazon S3 の転送方法の検討と想定される時間の計測 → 完了 Amazon ElastiCache for Redis の転送方法の検討と想定される時間の計測 → 完了 Amazon DynamoDB の転送方法の検討と想定される時間の計測 → 完了 転送対象の絞り込み → 完了 重要データ、ログイン情報の3テーブルにフォーカスを絞る 認証情報は除外 データ完全性検証の方法検討 → 未着手 全体のスケジュール作成 → 未完成 転送作業の実施 → 未着手 今回のテーマ データ完全性検証の方法を検討します。 データ完全性検証について。ここでは、「移行元のデータ」と「移行先のデータ」が完全
GitHub ActionsのワークフローをオートスケールするSelf-hosted runnerに移行した話 - Mobile Factory Tech Blog
こんにちはエンジニアのEadaedaです。 皆さんのチームではGitHub Actionsを使っていますか？ブロックチェーンチームではテストやリンター、デプロイといったワークフローをGitHub Actionsで行っています。 今まで、デプロイ以外のワークフローはGitHub-hosted runnerで実行、デプロイはSelf-hosted runnerで実行していましたが、運用していくうちに特定の環境内にあるサーバーで実行されるように仕組みを見直す必要がでてきました。このため全てのワークフローをSelf-hosted runnerに移行する対応を行いました。この記事では移行の際に見つけた便利なものや困ったことを紹介します。 Self-hosted runner GitHub Actionsでは、基本的にGitHubが用意したVMでワークフローが実行されます。このVMをGitHub-ho
Next.js 13 vs Remix: An In-depth case studyLast updated on 29 Sep 2023 by Prateek Surana • - min read When it comes to building web applications, React has been at the forefront for a while now, and its adoption continues to grow. Among the most common approaches to building web applications with React, Next.js stands out as one of the most preferred options. Next.js has also been in the limel
はじめに 本記事はAWS SAAの勉強中に、「とりあえず主要なサービスの概要ぐらい知っておいたほうがいいよな...」と思い立ち、自分用にまとめたものです。 2/3ほど記事を作成した後に見つけてしまった(悶絶) クラスメソッド先生の 【2020年】AWS全サービスまとめ がこの上なく、コンパクトで的確にまとまっていた ので、こちらを見たほうがいいと思います(本末転倒) 各サービスの雰囲気を掴むぐらいの温度感で見ていただければ(逃げ道) 対象のサービス 本記事で取り扱うサービスは2020年5月時点のAWSマネジメントコンソールの ここをクリックした際に表示されるサービス群が対象です。 結構な頻度でレイアウトが変更されたり、サービスが追加されるので 「おい！！！このサービスが書いてねーぞ！！！」 とかは許してほしいのだ(ハム太郎) コンピューティング アプリケーションを動作させるためのマシンリソ
Creating Microservices with Python Introduction to Microservices Benefits of Microservice Drawbacks of Microservice Why Microservice in Python Introduction to FastAPI Why FastAPI Installing FastAPI Creating Simple REST API using FastAPI Using PostgreSQL Database with FastAPI Microservice Data Management Patterns Database Per Service Shared Database API Composition Creating a Python Microservice in
Future Redis releases will continue to offer free and permissive use of the source code under dual RSALv2 and SSPLv1 licenses; these releases will combine advanced data types and processing engines previously only available in Redis Stack. Beginning today, all future versions of Redis will be released with source-available licenses. Starting with Redis 7.4, Redis will be dual-licensed under the Re
カンムでバンドルカードのバックエンドやインフラを担当している summerwind です。 バンドルカードではスマホ上で Visa のプリペイドカードを発行して決済に使える機能を提供しており、クレジットカード情報を扱っていることから、インフラの観点では高いセキュリティを維持することが重要になっています。バンドルカードのシステムは API や国際カードブランドと接続している決済システムなどの複数のコンポーネントで構成されていますが、システムが構築された時期によって構成や設定の方針などが異なるため、より高いセキュリティを達成するためにシステム構成の変更や整理、設定の見直しを日々進めています。 構成や設定の見直しを進めていく中で、全体的な方針や目指している姿を言語化しておいた方が周囲のエンジニアにも理解が得られやすいのではないかと感じたため、インフラに対する考え方や方針を言語化した「インフラマニ
Microsoftの「マイクロサービス開発」を支援する分散アプリケーションランタイム「Dapr」がバージョン1.0に到達
Microsoftによるオープンソースソフトウェア「Distributed Application Runtime(Dapr)」がバージョン1.0に到達しました。Daprはマイクロサービス開発を支援するランタイムで、アルファ版が公開された2019年10月からおよそ1年半後の「製品向け」リリースとなりました。 Announcing Dapr v1.0 | Dapr Blog https://blog.dapr.io/posts/2021/02/17/announcing-dapr-v1.0/ The community effort that delivered Dapr v1.0 - Open Source Blog https://cloudblogs.microsoft.com/opensource/2021/02/17/the-community-effort-that-delive
Deno で掲示板サイトを作ろう！ with upstash & supabase その 2 (ミドルウェアと掲示板の作成) - 虎の穴開発室ブログ
皆さん、こんにちは。 自宅では、トラドラオニタイジン極がご本尊みたいになっています。おっくんです。 今回は、「Deno で掲示板サイトを作ろう！ with upstash & supabase」企画の2回目として、掲示板の登録と参照の実装を進めていきます。 今回の実装で、次のように、掲示板の登録ができるようになります。 前回記事はこちら toranoana-lab.hatenablog.com 訂正 始めに、第1回で取り扱った環境変数の取り扱いについて、一部訂正をさせていただきます。 第1回に紹介した、以下のdotenvの実装がありました。 [anonymous-board/util/config.ts] import { config } from "dotenv/mod.ts"; export const envConfig = await config({ safe: true })
「golang.tokyo」は、プログラミング言語のGoの導入企業のメンバーが集まり、Goの普及を推進するコミュニティです。ここで、フューチャー株式会社の渋川氏が登壇。GoでWebサービスを作る時の悩みから、認証リバースプロキシを作成した話を紹介します。 自己紹介 渋川よしき氏：フューチャー株式会社の渋川が発表します。まず「お前誰よ？」ですが、2017年からフューチャーで働いています。いろいろ本を書いています。『Real World HTTP』のほか、昔のものですが『つまみぐい勉強法』『Goならわかるシステムプログラミング』もあります。最近はよくJavaScriptというか、TypeScriptとGoとPythonを書いています。ほかに仕事でFlutterもやっています。 著書の『Real World HTTP』はちょこちょこ増刷もされています。買ってくれた方、ありがとうございます。実は今
AWS App Mesh を使用した Amazon ECS でのカナリアデプロイパイプラインの作成 | Amazon Web Services
Amazon Web Services ブログ AWS App Mesh を使用した Amazon ECS でのカナリアデプロイパイプラインの作成 この記事は Create a pipeline with canary deployments for Amazon ECS using AWS App Mesh を翻訳したものです。 この記事では Amazon Elastic Container Service (Amazon ECS) で実行されるアプリケーションのカナリアデプロイ戦略を、AWS App Meshと組み合わせて実装する方法を説明します。ALB の加重ターゲットグループを使用した AWS CodeDeploy でのカナリアデプロイを行う場合はこちらの記事を参照してください。 Amazon ECS や Amazon EKS などのコンテナオーケストレータを利用することで、世界中
JavaScriptランタイム「Bun v0.5」登場。MySQLやPostgreSQLのデータベース接続対応、新機能「Workspaces」、Bun.dnsなど搭載
JavaScriptランタイム「Bun v0.5」登場。MySQLやPostgreSQLのデータベース接続対応、新機能「Workspaces」、Bun.dnsなど搭載 サーバサイドで実行可能なJavaScriptランタイム「Bun」の最新バージョン「Bun v0.5」がリリースされました。 Introducing Bun v0.5 - bun install workspaces && bun install bugfixes - postgres, mysql, redis & more DB-related npm pkgs work in bun now - Bun.dns && some of node:dns, node:net, & node:tls - new WebSocket supports headers - HTTP client proxy supporthttp
オープンソース「cURL」の作者、大企業から「24時間以内にこの質問に答えるように」との無礼なメールを受け取る
この記事は新野淳一氏のブログ「Publickey」に掲載された「オープンソースcURLの作者、某大企業から「24時間以内にこの質問に答えるように」との無礼なメールを受け取る」（2022年1月26日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 コマンドラインからさまざまなプロトコルでデータ転送を実行できる「curl」コマンド（以下cURL）は、多くのITエンジニアにとって欠かせない、非常に便利なツールです。 cURLはオープンソースで開発されているソフトウェアです。先日その作者であるDaniel Stenberg氏に、某大企業からオープンソースを全く理解していないとみられる大変無礼なメールが届いたとして話題になっています。 メールの宛名となっている「Haxx」は、cURLのトップスポンサーとして名前が掲載されている開発者の集まりです。 メールの送信元となる会社名や
4月20日、DevOps.comが「Valkeyが急速にRedisを置き換えつつある（Valkey is Rapidly Overtaking Redis）」と題した記事を公開した。 この記事では、Redisのソース利用可能なライセンスへの移行と、その結果として生じたValkeyへの大規模な移行について詳しく紹介されている。以下に、ポイントを絞って内容を紹介する。 Redisのライセンス変更による影響 ちょうど一ヶ月ほど前（3/20）、 RedisがBSD 3-clauseライセンスからRedis Source Available License (RSALv2)およびServer Side Public License (SSPLv1)へとライセンスを変更 した。 BSD 3-clauseライセンスは非常に寛容なオープンソースライセンスで、著作権表示と免責事項の維持が含まれるが、商用利用
PubSub/Redisを用いたGoによるスケーラブルなworkerの構築と運用 | メルカリエンジニアリング
こんにちは。メルカリのNotification teamでソフトウェアエンジニアをしている@naruseです。 この記事は、Mercari Advent Calendar 2021 の19日目の記事です。 はじめに 私が所属しているBusiness Platform Notification teamでは、２つの役割で通知周りの基盤を担当しています。 １つ目はアプリケーションとしての役割の通知です。メルカリでは、アプリ内でのお知らせや個別メッセージ、やることリストなどを提供しています。私たちはそれらの膨大なデータを管理し、作成や取得のリクエストに応えています。これらの膨大なデータに対する私たちのチームの過去の記事として、昨年のAdvent calenderの一部である本番稼働中の Spanner にダウンタイム無しに57時間かけてインデックスを追加して得た知見をぜひご覧ください。 ２つ目は
【Go/GCP】ライブゲーム「あてっこ！ぷにまるず」を支えるバックエンド技術 - Mirrativ Tech Blog
バックエンドエンジニアの makino です。本日は、先日リリースしたライブゲーム「あてっこ！ぷにまるず」のバックエンド技術について紹介します。 ライブゲーム「あてっこ！ぷにまるず」について ライブゲームとは、Mirrativアプリ上で遊べるゲームであり、配信中のゲームに視聴者が介入できることが特徴です。 「あてっこ！ぷにまるず」では、配信中に視聴者を招待して一緒にGvGバトルを楽しむことができます。 開発スタッフがプレイした動画をご紹介📺✨ バウンド数に注目👀⁉ こんなに連鎖できたら気持ちよさそう…🐰💕 動画を参考にレッツ❗チャレンジ💁 SNSスタッフは2回バウンドできました🙌 まだまだ道のりは険しい…🏔 pic.twitter.com/YdZMRKxbgv— 【公式】あてっこ！ぷにまるず (@punimals_jp) 2023年7月18日 Mirrativのライブゲームは
Deno の話 @ Nikkei
class: middle, center <img src="./assets/logo.svg" align="center" width="200" /> Deno の話 --- アジェンダ - Deno とは - Deno の各種特徴 - Deno Deploy の紹介 --- # 話す人 <img src="./assets/hinosawa.jpg" align="right" width="300" /> 日野澤歓也 twitter @kt3k - GREE (2012 - 2013) - Recruit (2015 - 2019) - Deno Land (2021 -) <small>2018年から Deno にコントリビュートを開始。2020年作者に誘われ Deno Land に転職。現在はフルタイムで Deno と Deno Deploy を開発中。</small>
Google Cloud Next '22で発表された全 123 項目 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 10 月 15 日に、Google Cloud blog に投稿されたものの抄訳です。 今週、世界中の都市で Google Cloud Next '22を開催し、皆様に重要なニュースやお知らせをご紹介できたことを嬉しく思います。ニューヨーク市の開会基調講演から 24 時間のライブ配信が始まり、その後西海岸に移動し、カリフォルニア州サニーベールの Google Cloud 本社から「Top 10 Cloud Predictions」のデベロッパー基調講演が行われました。Next '22はその後太平洋を渡り、東京（日本）、バンガロール（インド）へと移り、ミュンヘン（ドイツ）で終了しました。グローバルなイベント、Innovators Hive にご参加いただいた何千人ものデベロッパーの皆様に感謝いたします。ぜひ、すべてのブレイクアウト セッションをご確認くださ
広告技術部のUT@mocyutoです Gunosyではニュース記事を配信運用するメディア部門とアプリ上などに広告を配信運用する広告部門があります。 （本記事では「メディア」とはグノシーやニュースパスなどのサービスを指し、「広告」はそのメディアに出す広告を指します。） 今回は広告部門が運用している広告システムのスケールの仕組みについて紹介します。 課題 解決策 仕組み スパイクスケーリング スケジュールスケーリング スケールのロジックを記述 まとめ 課題 メディア側のシステムは各サービスごとにチームが分かれており、それぞれ別のシステムで稼働しています。 しかし、広告側のシステムは単一のシステムで動いており、各メディアの広告配信すべてを担っています。 そのため、サービスが増えるごとにトラフィックが増える仕様になっています。 特に速報などのプッシュ通知をメディアが送信すると一気にユーザはアプリを
公式の説明を引用すると下記のとおりです。（Google 翻訳） 開発者、SQL プログラマー、データベース管理者、アナリスト向けの無料のマルチプラットフォームデータベースツール。 JDBC ドライバーを備えたすべてのデータベースをサポートします（基本的には-ANY データベースを意味します）。 商用バージョンは、MongoDB、Cassandra、Couchbase、Redis、BigTable、DynamoDB などの非 JDBC データソースもサポートしています。商用バージョンでサポートされているすべてのデータベースのリストは、ここにあります。 ・メタデータエディタ、SQL エディタ、リッチデータエディタ、ERD、データのエクスポート/インポート/移行、SQL 実行プランなどの多くの機能を備えています。 ・Eclipse プラットフォームに基づいています。 ・プラグインアーキテクチャを
次は決まってます。 はじめに 前回の自分の退職エントリーを読んでみたのですが、何が言いたいのかさっぱりでビックリしました。 最終出社日です - スペクトラム さて、そんな話は置いといて。 おもいで ちょうど4年間、Repro株式会社でお世話になりました。 4年間、本当にいろんなことがありました。 正直、自分でも「あれ？Repro辞めるの？待って、マジで？あんな良い所を？なんで？？？」という気持ちがよく現れて混乱しています。 引っ越しすると決めたのは自分なのに、いざ今くつろいでいる部屋とお別れとなると思うと急に寂しくなるアレです。 会社には本当にお世話になりました。入社時から週4のリモートワークも認めてもらっていてずっと続けていました。(コロナ禍で2020年2月中旬くらいからは一度も出社できていません) 報酬も高く、面白い仕事がどんどん舞い込んできて、大変優秀な方々と一緒にお仕事しながらエン
なぜオープンソースソフトウェアにコントリビュートすべきなのか
NTTの須田です。2024年9月に開催された 第57回 情報科学若手の会 にて、「なぜオープンソースソフトウェアにコントリビュートすべきなのか」と題して招待講演させていただきました。講演内容をブログとして再編成しました。 講演資料 (PDF)なぜOSSにコントリビュートすべきなのか結論から言うと、主にOSSの持続可能性のためです。 OSSは「タダ飯」(free lunch) であるかの如く、対価を支払うことなく消費されがちです。ミートアップなどで提供される実際の「タダ飯」🍕🍣とは異なり、遠慮なく好きなだけ食べても他の人の迷惑にはなりませんが、この「タダ飯」を提供する側のことを誰かが気にかけていないと次の問題が生じます: 「タダ飯」が出てこなくなる (OSSの開発が停滞する)毒入りの「タダ飯」が出てくる (OSSにマルウェアが混入する)前者はましな方で、後者が特に事業や社会にとっての脅威
Microsoft、次世代高速キャッシュストアシステム「Garnet」をオープンソースとして公開 Microsoftは2024年3月18日、同社の研究所が開発を進めてきた次世代の高速キャッシュシステム「Garnet」をGitHub上でオープンソースとして公開した。 Introducing Garnet – an open-source, next-generation, faster cache-store for accelerating applications and services -Microsoft Research Blog Garnet is a cache-store system that addresses growing demand for data storage to support interactive web applications and se
Azure利用時の設計原則をまとめた「Microsoft Azure Well-Architected Framework」を読み解く 。クラウドだからこそしっかり抑えておきたい、コスト最適化のポイント - Qiita Zine
Azure利用時の設計原則をまとめた「Microsoft Azure Well-Architected Framework」を読み解く 。クラウドだからこそしっかり抑えておきたい、コスト最適化のポイント クラウドの力を生かしてデジタルトランスフォーメーションを推進したいが、具体的にどこからどのように手を付ければいいのかーーそんな悩みを抱える企業にとって1つの指針となるのが、企業戦略の策定、実装の道筋を示す「Microsoft Cloud Adoption Framework for Azure」であり、それをAzure上の具体的な設計原則に落とし込んだ「Microsoft Azure Well-Architected Framework」です。 Microsoft Cloud Adoption Framework for Azureがテクノロジ以外の領域も包含した包括的な戦略のガイダンスと
まずイヌー界隈という言葉を思い浮かべる。 そして、ゆっくりこう唱えるんだ。「存在しない」と。 イヌー界隈、よくわからない。 最近、見る機会の増えた「『イヌー界隈』って何？」というツイート。 イヌー界隈。 検索しても、よく分からない言葉である。 この「調べてみてもよく分からない」という事態は二段階に分かれている。 ネットミームなどを解説するサイトなどを調べても、まともな記事がないというのが一段階目。 次にTwitterでフォロワーに聞くなどの直接的な手段に出ても、 濁されて全く真相にたどり着けないというのが二段階目だ。 鮫島事件や牛の首かと思うほどに、イヌ―界隈の概観は掴めない。 世の中には多くの「イヌー界隈について分からない人」が溢れている。 一体、イヌー界隈とはなんなのだろうか？ イヌーと言う言葉について まずイヌー界隈について詳しく触れる前にイヌーの話を終わらせておこう。 イヌーという
ハードシングスを引き起こしたHype Driven Development(HDD) | HiCustomer Lab - HiCustomer Developer's Blog
Hype Driven Development(HDD) シード・アーリーステージのスタートアップの開発者のみなさん、こんにちは。突然ですが、ソフトウェア開発していますか？毎日設計しコードを書いていますか？私は毎日しています。毎日ビジネスドメインと向き合っております。今日はそんなみなさんに、弊社のソフトウェア開発の失敗談（ ハードシングスへの突入と脱出 の「根の深い技術的負債」を掘り下げる内容になっています）を共有します。この失敗からなにか参考になるものがあれば幸いです。 実際に起ったこと 2018年初頭にサーバレスとDDDの導入 弊社のHiCustomerサービスのアーキテクチャはサーバーレスとDDDを軸に設計されました。サーバーレス環境としては、AWS APIGateway、AWS Lambda、AWS DynamoDBを使ったAWS推奨の構成を採用しました。DDDはGolangを使用
完全招待制のオンラインカンファレンス「PIXIV MEETUP 2023」。「創作活動を、もっと楽しくする。」というミッションを遂行するために、メンバーが普段行っている業務について、自らの言葉で語り、その想いと技術を共有する場です。sue445氏は、 ピクシブ社における、パブリッククラウド活用の取り組みについて発表しました。全2回。前半は、sue445氏が入社後に取り組んだ、GitLab CIのオートスケール化やTerraform導入などについて。 登壇者の自己紹介sue445氏：「pixiv Cloud Journey」というタイトルで発表させてもらいます。 こちらの発表資料ですが、先ほど「X」にハッシュタグ付きで流しているので、後から見返したいという方は、そちらのURLをご覧ください。 自己紹介させてもらいます。末吉剛といいます。SNSでは「sue445（すえよんよんご）」というIDで
【ArgoCD🐙】ArgoCDのマイクロサービスアーキテクチャと自動デプロイの仕組み - 好きな技術を布教したい 😗
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ ArgoCDのアーキテクチャを構成するコンポーネントの種類について ArgoCDがマニフェストを自動デプロイする仕組みについて この記事から得られる知識 01. はじめに 02. 概要 アーキテクチャ レイヤー コンポーネント 仕組み (1) repo-serverによるクローン取得 (2) application-controllerによるマニフェスト取得 (3) application-controllerによるCluster確認 (4) application-controllerによる処理結果保管 (5) argocd-serverによるキャッシュ取得 (6) 管理者のログイン (7) IDプロバイダーへの認証フェーズ委譲 (8) dex-serverによる認証リクエスト送信 (9) argocd-s
How we scaled the GitHub API with a sharded, replicated rate limiter in Redis
In that case, since the second boundary happened between the call to TTL and Time.now, the resulting timestamp was one second bigger than the previous ones. We could have tried increasing the precision of this operation (eg, Redis PTTL), but there would still have been some wobble, even if it was greatly reduced. Another possibility was to calculate the time using only Redis, instead of mixing Rub
こんにちは。Wantedly Infrastructure Squad 所属の @irotoris です。 Wantedly Visit を始めとする Wantedly のサービスのバックエンドシステムはほぼ全て Kubernetes クラスタの上で動いています。今まで kOps という OSS を使って AWS の EC2 インスタンス上に Kubernetes クラスタを自前で構築運用していましたが、2022年6月に AWS の Kubernetes Managed Service である Amazon Elastic Kubernetes Service (EKS) に移行しました。 この記事では Wantedly と Kubernetes の歴史を振り返るとともに、なぜ EKS に移行したか、移行した結果どうだったかをお伝えします。 目次 Wantedly システム基盤としての K
GradleのマルチプロジェクトによるKotlin、Spring Bootでのオニオンアーキテクチャの実現 - タケハタのブログ
4月に発売した書籍「Kotlin サーバーサイドプログラミング実践開発」なのですが、この中で途中まで作っていてボツネタにした内容がありました。 gihyo.jp それが「Gradleのマルチプロジェクトでオニオンアーキテクチャを実現する」というものです。 第2部で作成していたbook-managerというアプリケーションは、もともとこれを使って作成していましたが、途中でやめて現在の形になりました。 github.com ボツネタにした理由としては、一回実践で導入してみていくつか微妙な点があったことと、紙面上の説明が複雑になるのでベーシックな内容としては外していいかなと思ったためです。 ただせっかく途中まで作っていたので、試して微妙と感じた点も含めて、今回紹介したいと思います。 サンプルとしてこのbook-managerの内容をマルチプロジェクト化したアプリケーションを使い、オニオンアーキテ
Redis の Slave (Replica) の Expire は 4.0 RC3 以降信用して良くなっている - その手の平は尻もつかめるさ
maedama.hatenablog.com trapezoid.hatenablog.com 上記のブログには今から6年ほど前の当時の情報が記されていますが，Redis 4.0 RC3 以降の Slave (replica) の Expire は信用して良くなっているようです． Redis の公式ドキュメント (Replication – Redis) を参照すると， However note that writable replicas before version 4.0 were incapable of expiring keys with a time to live set. This means that if you use EXPIRE or other commands that set a maximum TTL for a key, the key will le
Ruby: GemfileとGemfile.lock究極ガイド（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: The Ultimate Guide to Gemfile and Gemfile.lock | Saeloun Blog 原文公開日: 2022/08/16 原著者: Keshav Biswa サイト: Saeloun Blog Ruby on Railsの開発者なら、GemfileやGemfile.lockを知らない人はいないでしょう。この2つのファイルはRuby gemをインストールするのに欠かせませんが、仕組みを知らないままでは混乱する可能性もあります。本記事では、Gemfileとは何か、その中に何があるのか、および使い方について解説します。 最初に、デフォルトのRails 7アプリケーションを作成し、それからGemfileの各行を調べて意味を理解していきましょう。 新規作成したアプリのディレクトリには、Gemfileと
ElastiCache Redis Self Amplification Attack - freee Developers Hub
この記事は freee Developers Advent Calendar 2024 の 22日目のエントリーです。 こんにちは、PSIRTでtech leadをやっている eiji です。冬にモヒート作ろうとしたらライムが手に入らず、柑橘類だから秋から冬にとれるはずでは？ と調べたらライムは四季咲きだそうです。もしかして、ここでも買い負けているということ？ TL;DR Redisのnetwork帯域を使い果たして自滅する話 です。 RedisをCacheとした構成 Redisをcacheとして用いた構成は、ごくありふれたものだと思います。 Redisをcacheとして利用したよくある構成 session IDに対応するuser IDと各種statusを返してもらって処理をする、といった感じです。 user IDはbrowser側からcookieやheaderで送付してもらって、Redi
こんにちは、エムスリーエンジニアリンググループのコンシューマチームに所属している園田(@ryoryoryohei)です。今回は 15 年以上続いている弊社の C 向けサービスである AskDoctors の AWS 移行で苦労した点や工夫した点などをお伝えしたいと思います。 はじめに 移行フェーズ 苦労したポイント デプロイ方法の変更 バッチのアーキテクチャ 泥臭い修正 待ち時間 定型外のリリースフロー AWS 移行後のこと End-to-End のレイテンシー悪化 バッチ起動エラー Redis メモリ逼迫 オンプレの API に対する Connection Failed おわりに We are hiring! はじめに 弊社では to C のサービスとして AskDoctors という医師に直接相談できる Rails のサービスを 15 年以上前から運営しています。 www.askdoc
【ZOZOTOWNマイクロサービス化】API Gatewayのスロットリング機能開発におけるノウハウ大公開 - ZOZO TECH BLOG
はじめに こんにちは。ECプラットフォーム部のAPI基盤ブロックに所属している籏野 @gold_kou と申します。普段は、GoでAPI GatewayやID基盤（認証マイクロサービス）のバックエンド開発をしています。 ZOZOでは、API Gatewayを内製しています。これまでも以下の記事を公開し、ご好評いただいております。ありがとうございます。 【ZOZOTOWNマイクロサービス化】API Gatewayを自社開発したノウハウ大公開！ 【ZOZOTOWNマイクロサービス化】API Gatewayの可用性を高めるノウハウを惜しみなく大公開 今回は、API Gatewayのスロットリング機能を開発しましたので、そこで得られた知見を共有いたします。ソースコードもたくさん掲載しております。マイクロサービスに興味ある方や、API Gatewayを内製する方の参考になれば幸いです。 また、本記事
Ayame互換の WebRTC Signaling Server "ayu" を作った - castaneaiのブログ
AyameというWebRTC Signaling Serverの実装がある。 Web側のSDKとサーバー側の実装が両方公開されており、プロトコルの仕様も文章化されている。 GitHub - OpenAyame/ayame-web-sdk: Ayame Web SDK GitHub - OpenAyame/ayame: WebRTC Signaling Server Ayame GitHub - OpenAyame/ayame-spec: WebRTC Signaling Server Ayame Spec そして今回、Ayame互換のプロトコルを持つWebRTC Signaling Server "ayu" を開発した。 github.com 動機 Ayameはサーバー側も含めてオープンな実装があるのになぜ新しく互換サーバーを作ったのか。 大きく分けて2つの理由がある。 ステートレス カス
ISUCON 予選突破のために Elastic Stack と GCP で分析環境を整えた （:old_noto_innocent: Team） - Unyablog.
ISUCON 12 予選にいつもの id:utgwkk, id:wass80 と :old_noto_innocent: チームで参戦した*1。 結果は 50696 点で本選出場！ ここ数回と同様、自分はインフラと分析・観測を担当していた。ただ、毎年似たようなことをやっていてあまり貢献できていないなあという課題感があったので、今回はログやメトリクスの分析環境をしっかり作ることにした。目標は毎回ベンチ終了のたびにコマンドを叩くのをやめること！ App 周りについてはチームメイトの記事を参照。 blog.utgw.net memo.wass80.xyz Elastic Stack でアクセスログ・スローログ可視化 ダッシュボード 最高便利 Google Cloud でトレーシング & プロファイリング Trace Profiler やってよかった 構築編 Elasticsaerch + Kib
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
株式会社リクルート データスペシャリストコース新人研修レポート（2021年）①
Next.js 13 vs Remix: An In-depth case study
【2020年5月版】AWSのサービスをゆるく大体3行で - Qiita
Microservice in Python using FastAPI
Redis Adopts Dual Source-Available Licensing - Redis
カンムにおけるインフラの考え方をまとめた「インフラマニフェスト」のご紹介 - カンムテックブログ
欲しかったのはGoが使えてセキュリティが確実なミドルウェア 「とりあえず作りたい」から完成した認証リバースプロキシ
「Valkey」がRedisを急速に置き換えつつある ー バックエンドエンジニアは地殻変動に備えよう
10倍スパイクの速報時に耐えうるAPIのスケーリングの仕組み - Gunosy Tech Blog
モダンなSQLクライアントソフト「DBeaver」の紹介
年内いっぱいでRepro株式会社を退職します - スペクトラム
Microsoft、次世代高速キャッシュストアシステム「Garnet」をオープンソースとして公開 | gihyo.jp
イヌー界隈とは何か？ - バーチャルVtuver豆猫さんの与太話
「僕が今のピクシブのAWSやGCPの形を作ったと言っても過言ではない」 クラウド推進の生き字引が語る、これまでの取り組み | ログミーBusiness
プロダクト基盤を EKS に移行しました | Wantedly Engineer Blog
15年間続いているサービスをクラウドに移行しています (part 2) - エムスリーテックブログ