Firebase Authから内製認証基盤に無停止移行して年間1000万円以上削減した
症状検索エンジン「ユビー」 では、ローンチ当初から Firebase Auth (GCP Identity Platform) を使っていましたが、OIDCに準拠した内製の認証認可基盤に移行しました。 認証認可基盤そのものは m_mizutani と nerocrux と toshi0607(退職済) が作ってくれたため、僕は移行のみを担当しました。 結果として、強制ログアウトなし・無停止でビジネス影響を出さずに、年間1000万円以上のコスト削減に成功しました[1]。その移行プロセスについて紹介します。認証認可基盤そのものの紹介はあまりしません。 移行した理由 大量の匿名アカウント ユビーでは、アクセスした全ユーザーに対して自動的に匿名アカウントを発行しています。これにより、ユーザーがアカウント登録しているかどうかに関わらず、同じID体系で透過的に履歴情報等を扱うことができます。アカウント
レガシーシステムをDockerコンテナ化する場合に直面した4つの壁 - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。 株式会社ラクスで先行技術検証をしたり、ビジネス部門向けに技術情報を提供する取り組みを行っている「技術推進課」という部署に所属している鈴木（@moomooya）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「技術推進プロジェクト」というプロジェクトがあります。 このプロジェクトで「WEBアプリケーションのDockerコンテナ移行」にまつわる検証を進めているので、その中間報告を共有しようかと思います。 本検証での想定環境 CIに不必要な部分は後回し 既存アプリでコンテナ化の障害になった部分 OSコマンドを利用している ミドルウェアとの密結合 オンライン系とバッチ系の密結合 ひとまず目指す状態 プロセス相乗りの影響 ログが複数出力される まとめ 続きの記事も書きました。 tech
Migrating from Docker to Podman
Changelog 2021-09-01: Added note about socket bugfix PR 2021-09-01: Added troubleshooting section about port forwarding bug 2021-09-04: Added note about switching to Podman on Windows 2021-09-04: Added update about port forwarding PR 2021-09-04: Added note about M1 Mac support 2021-09-04: Added volume mount limitation 2021-09-04: Added podman-macos utility Docker has recently announced that Docker
富士通のパソコン「FM TOWNS」用にDOOMを移植した話 - 人生に疲れた男のblog
令和3年に登場した新たなFM TOWNS用移植ゲーム「DOOM」です。まだまだ現役のTOWNSユーザーでDOOMを遊ぶためにTOWNS用LinuxやWindows 95を導入したという皆様、心行くまでTownsOSネイティブ版DOOMを堪能してください。 Google ドライブ - FM TOWNS用ソフト「DOOM」(2021年11月4日更新 V1.1 L30) CPU 486以上 高速モード設定推奨(機種でいうとFM TOWNS II MX以上)、メモリ8MB(空きメモリ6MB以上・空きがあれば+4MBをキャッシュ用に使用)必要・ハードディスク必須・TownsOS V2.1 L40(WAVEサウンドライブラリ使用)以上推奨・MS-DOS 6.2を組み込んでいる環境だと10MB以上メモリが無いと空き不足で起動しないかも。 必要動作環境のためFM TOWNS マーティーでのプレイは不可能で
5000万件越えのRDS大量データをFirestoreに移行する勘所 - ANDPAD Tech Blog
はじめまして、開発部の@taikishiinoです。 2020年3月にアンドパッドにジョインし、約一年が経ちました。 現在、チャットサービスの開発・運用をするチームに所属しており、その中で最近、RDSからFirestoreへのデータ移行を行いました。 本記事では、その際の課題やそれに対して実際に行ったことなどを中心にご紹介していきます。 データ移行の背景 僕たちのチャットサービスを開発するチームでは、現在、プロダクトのデータベースをRDSとFirebase RealtimeDatabaseのミックスからFirestoreに移行する大規模プロジェクトが行われています。 旧環境「RDSとFirebase RealtimeDatabase」の課題として、 チャットのアクセスを処理しているAPIサーバーのバックグラウンド処理は複数プロダクト共通で利用しており、チャット起因で負荷が高まってしまうとい
ぐるなびにあった２億ファイルをAWSにデータ移行しました - ぐるなびをちょっと良くするエンジニアブログ
こんにちは！店舗開発チームの滝口です。 ぐるなびでは、認証・認可のプラットフォーム開発に携わったのち、現在はレストランデータの運用をしつつ、ぐるなび掲載ページや、店舗向け管理画面の開発をしています。 はじめに このたび、オンプレで稼働していた「非構造化データストレージ（通称：UDS）」をAWSに移行しました。 UDS は NAS に保存されているファイルを REST API を介して CRUD 操作できるシステムで、ぐるなびで掲載している店舗の画像や CSS 、Javascript 等の保存に利用されています。 この記事では NAS に保存されたファイルをどのようにして AWS に移行したのか、その移行方式や AWS アーキテクチャを紹介します。 目次 はじめに 目次 UDS 基本情報 今回使った主な AWS AWS を活用して実現したいこと AWS 導入におけるアーキテクチャ AWS へ
Kubernetesにアップグレードは必須 実施してわかる更新時の問題点や対処方法
Kubernetesやそれに関するソフトウェアについて交流や情報交換のための勉強会「Kubernetes Meetup Tokyo」。 前回は、ソフトウェアエンジニアとして働く村田俊哉氏（@shmurata_）がKubernetesのアップグレード前の作業について紹介しました。今回は、実際のアップグレードについて、それに付帯するアドオンやストレージバージョンの更新について経験者だからわかる視点で説明します。 kubectl drainについて 村田俊哉氏：メインのノードのアップグレードですね。ノードは、実際にサービスを稼働させているPodが動いているので、無停止でアップグレードするには、このPodをグレースフルシャットダウンさせてから、ノードを停止していく必要があります。ノードをグレースフルにシャットダウンする方法として、Kubernetesが提供しているコマンドkubectl drain
golang-migrateでDBマイグレーション | DevelopersIO
golang-migrateとは？ Go言語で作成されたDBマイグレーションツールで、GO言語のライブラリとしてだけではなく、CLIからも利用できます。そのためJavaで開発されているprismatixというサービスでも利用することができます。 JavaのマイグレーションツールにFlywayやliquibaseといったものがあります。その中でこのツールの特徴は、マイグレーションを定義しているファイルをGitHubやAWS S3などから直接参照することができることです。(もちろんローカルのファイルシステムにも対応しています) また対応しているデータベースエンジンも多く、MySQLやPostgreSQL以外にもMongoDBなどにも対応しているなど、様々な場面で使うことができるツールだと思います。 環境構築 今回は手軽に試すためにdocker上で、golang-migrateとPostgreS
京都市が今回失敗したような、自治体のシステム更新について
http://itpro.nikkeibp.co.jp/atcl/column/14/346926/101101158/ Q1.役所の仕事なんて全国でほぼ一緒なのに、なんで自治体ごとに別のシステムを作るの？ A1.地方自治体の事務や財務について法律で決まっているのは大枠だけだよ。 それを実務≒内部規定に落とし込むのは各役所ごとなので大枠は似てても実務プロセスは全然各役所で違うよ。例えば同じ業務でも独自の語彙があったり、下手すると同じ語で市町村ごとに意味が違ったりするよ。 Q2.なんで新規で作らないの？ A2.80年代ぐらいにやったよ。その結果が政令市クラスに残ってて今回京都市が更新しようとしてるような、メインフレーム上のシステムだよ。 Q3.メインフレーム（汎用機）って何？ A3.みんなが使ってるWindowsとかLinuxとかのOSがなかった時代のコンピュータだよ。IBMとかがベンダーご
大規模データ移行の失敗を防ぎたい。計画やプログラム、インフラの注意点と、ありがちなこと - Qiita
仕事柄、大規模なデータ移行を何度か経験してきました。 データ移行、特にDBのマイグレーションでもなく、 システム移行のときのようなデータ構造の変更を伴う際には気をつけることがたくさんあります。 クラウドではだいぶ楽になりますが、 特にオンプレミスで検討せざるを得ない皆さんに気をつけないといけない点を共有します。 スケジューリング編 最初から検討し始めよう 開発プロジェクトにおいてシステム移行だけで4割の工数がかかると言われています。 しかし、新規システム部分の開発で頭が一杯になっていると、重要度の割に移行部分が後回しにされがちです。 移行用プログラム、移行用サーバ手配はもちろん、新規、既存システムへの影響も検討しないといけません。 できればプロジェクト開始時から人をアサインして計画を立てていきましょう。 移行自体が一つの開発プロジェクト相当です。頑張りましょう。 後半になって移行計画を立て
【御礼】DATA MIGRATION NIGHT 終了しました！ - DMM.comラボエンジニアブログ
2017 - 05 - 23 【御礼】DATA MIGRATION NIGHT 終了しました！ 勉強会 資料公開 Tweet Share on Tumblr こんにちは、データマイグレーション三銃士のひとり飯田です！ 昨日開催しましたDATA MIGRATION NIGHT データマイグレーション三銃士が語る最新のデータ移行事情とは？ ～ ChatWork × CyberZ × DMM.comラボ ～ ご参加いただいた皆様、ありがとうございました。 ▲ これがデータマイグレーション三銃士です 私からは『2000万アカウントの無停止データ移行の裏側』というタイトルで発表をさせていただきました。 サービスの基盤となるアカウントデータの無停止移行を実現するために開発した新旧同期Replicatorとそれを用いたデータ移行の具体的な方法について紹介させていただきました！ Replicatorのア
Container Live Migration Using runC and CRIU
In my previous article I wrote about how it was possible to move from checkpoint/restore to container migration with CRIU. This time I want to write about how to actually migrate a running container from one system to another. In this article I will migrate a runC based container using runC’s built-in CRIU support to checkpoint and restore a container on different hosts. I have two virtual machine
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
Dockerコンテナを実行したままライブマイグレーション可能に、将来のOpenStackで実現へ。IBMがOpenStack Summitでデモ
Dockerコンテナを実行したままライブマイグレーション可能に、将来のOpenStackで実現へ。IBMがOpenStack Summitでデモ IBMはスペイン バルセロナで開催された「OpenStack Summit 2016 Barcelona」で、実行中のDockerコンテナをそのまま別ホストへ移動させるライブマイグレーションのデモを紹介し、将来のOpenStackで実現する方向性を示しました。 IBMがデモを披露したのは、「Live Container Migration on OpenStack」セッション。 ここで行われた説明によると、Dockerコンテナのライブマイグレーションでカギを握るのが、「CRIU」（発音はkree-oo）と呼ばれるソフトウェアです。CRIUはLinuxのユーザー空間においてプロセスのチェックポイントを設定し、その状態を保存、リストアできます。CRI
gh-ost：GitHubのMySQL向けオンライン・スキーマ・マイグレーションツール | POSTD
本日、 gh-ost のオープンソース・リリースを発表します。GitHubの、トリガーレスなMySQL向けオンライン・スキーマ・マイグレーション・ツールです。 gh-ost は、MySQLテーブルの修正が必要な、進行中の継続的なプロダクション変更に伴って私たちが直面する問題に答えるために、ここ数ヶ月で開発されました。 gh-ost は、負担が小さく、制御しやすく、監査しやすく、操作が簡単なソリューションを提供することによって、現在のオンライン・テーブル・マイグレーションのパラダイムを様変わりさせます。 MySQLテーブルのマイグレーションは、よく知られた問題で、2009年からはオンライン・スキーマ変更ツールによって対処されてきました。ハイペースで成長するプロダクトに伴って、データベース構造の変更が必要になります。列やインデックスなどの追加・変更・削除は、デフォルトのMySQLの動作を妨げる
gh-ost: GitHub's online schema migration tool for MySQL
Engineeringgh-ost: GitHub’s online schema migration tool for MySQLToday we are announcing the open source release of gh-ost: GitHub's triggerless online schema migration tool for MySQL. gh-ost has been developed at GitHub in recent months to answer a… Today we are announcing the open source release of gh-ost: GitHub’s triggerless online schema migration tool for MySQL. gh-ost has been developed at
『Slackを導入してみました～管理者編～』
こんにちわ Make Your Goals Come True. Easier + Faster. をコンセプトに開発環境の改善や統一化をおこなっているanzaiです。 2013年10月よりチャットツールとして某Hを導入しておりましたが、2015年12月にSlackへ乗り換え（移行し）ました。 今回は、管理者視点で以下項目について書かせていただきました！ 数あるチャットツールの中から、なぜ、Slackを選んだのか？移行時に意識したところはまったところ大規模組織で運用してみて今後の課題※以下記載した情報は移行時点のものです。Slackは日々アップデートが行われていて、新しい機能やAPIが実装され続けています。あくまでもご参考までとして、移行を計画する際には、最新情報をご確認ください！ 数あるチャットツールの中から、なぜ、Slackを選んだのか？Integrationが豊富である昨今、IT界隈
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ISUCON8予選問題出題の裏側
2018-04-ujihisa-fablic.md
Live Container Migration on OpenStack