第230回 MySQLの遅延レプリケーションについて | gihyo.jp
MySQLではレプリケーションがよく利用されます。また、アプリケーションは負荷分散のために、ソースだけでなくレプリカを参照系として利用することも多いです。しかし、レプリケーションは遅延するリスクがあります。そのため、アプリケーションは高負荷やロングトランザクションによる想定外の遅延が起こることを考慮して、設計や実装を検討しなければなりません。 MySQLでは遅延レプリケーションをサポートしています。遅延レプリケーションとは、ソースよりもレプリカへの適用を指定した時間だけ意図的に遅らせることができる仕組みです。ステートメント単位ではなく、トランザクション単位で遅延を発生させます。ソースへのトランザクション実行から指定した時間後に、レプリカに対してそのトランザクションを適用することになります。トランザクション内の各ステートメントは待機時間なく実行されます。 今回はこの遅延レプリケーションの設定
問題解決より深掘りを優先する人が困っていたこと - 覚書
何らかの問題を解決しなくてはならなくなった時に、解決よりも深掘りを優先してしまう特性の人がいます。 たとえば問題に対する短期的な対策を考えることをおろそかにして、根本原因究明と根本対策方法をじっくり考え込んでしまうような人が該当します。他人事のように言ってますが、筆者もそうです。本記事は、そういう筆者が過去に仕事で困っていたこと、ある時から状況によって取り組み方を変えられるようになったという話をします。 上記のような特性の人は、調査のたびに深い知識が得られ、血肉となっていきます。それゆえ技術に明るい人とみなされることもあります。その一方で、困ることもあります。とくにそれは発生した問題が自分ではなく他の誰かのものだった場合、かつ、急ぎ問題解決が必要な場合です。業務ではこのような場面が非常に多いです。 この場合、問題の深掘りを最優先にしてしまうと仕事が遅くなりがちです。みなさんも、「あの人、技
Loggolというサービスを作った理由 - Loggol ブログ
はじめに ついにLoggol(ロゴル)の正式版をリリースすることが出来ました。それに合わせてLoggolブログも開始です。まず最初の記事として、そもそも何故このサービスを作ったのかについて書いてみようと思います。理由は複数あり、それらが複合的に混ざることで実際のサービス化を決心しました。 1. WAFの技術を活かせる 私はLoggolの開発以前より、継続して2つのクラウド型のセキュリティサービスの開発・運用に携わってきました。1つはWAFであるScutum、もう1つは脆弱性検査ツールであるVAddyです。どちらもおかげさまで順調にユーザを獲得でき、軌道に乗っています。 前者はWAFなので、受け取ったHTTPリクエストのデータを見て、それが「攻撃かどうか」を判断するという部分がサービスの中核になります。これはソフトウェアによって瞬時に行われる処理であり、人が判断するヒマはありません。ウェブア
t_wadaさんにTROCCO®︎開発の悩みを壁打ちしてもらいました｜株式会社primeNumber
primeNumberのSoftwareEngineerの中根（@gtnao） です。 今回、特別講師として和田卓人さん（t_wadaさん）をお招きして社内勉強会を開催しました！ 勉強会はprimeNumberのオフィスで実施しました。社内には写真のように、広めのイベントスペースがあり、勉強会や輪読会がよく実施されています。 勉強会の様子。20名近くのメンバーが集まりました。勉強会は、ローンチから6年ほど経過したTROCCO®︎が抱えるリアルな悩みを、CTO鈴木（@kekekenta）と私中根が、t_wadaさんに公開壁打ちしてもらうスタイルで行いました。ここから先は、勉強会のアジェンダに沿って内容をご紹介していければと思います。 TROCCO®の前提知識ディスカッションを始める前に、TROCCO®︎の前提知識をt_wadaさんに説明させていただきました。その場で初めて共有する形式だったの
Stripeでサブスクを実装したが途中で法人から月末締め翌月末払いをお願いされることが多くなった時に読む記事
こんにちは、タイトルでだいたい言い尽くしましたが、このような悩みを自分および自分の周りでよく聞くようになったので、Stripeの方に教えてもらいながらどうすればいいか整理しました。 あくまで「めちゃくちゃ開発コストをかけない範囲で」の解決策なので多少トリッキーですがお付き合いください。あるいは、この記事を読んで「そろそろちゃんとコストかけて作りこむか」と決めていただいてもいいと思います。基本的にStripeの実装経験がある方向けの記事です。 どういう状況か さて、状況を具体的にするために具体例を挙げていきましょう。 1アカウントあたり月額3000円のSaaSを運営している。 当初はクレジットカードのみ、利用開始日に決済が走る標準の課金体系で進めていた サービスが成長し、法人の取引が増えて「請求書払いいけますか？」と聞かれることが増えた。 ここでいう請求書払いとは、10/1開始で契約したとし
TVerにバックエンドエンジニアとして中途入社した最初の3ヶ月 - TVer Tech Blog
はじめまして。id:takanamitoです。 バックエンドエンジニアとしてTVerに入社して3ヶ月が経ちました。 TVerに入ってみて感じたこと、開発組織が何に取り組んでいるのか書いてみようと思います。 TVerのオンボーディング ドキュメントをたくさん書く文化を広める たくさん質問・相談する TVerが取り組んでいる開発とは この先やりたいこと TVerのオンボーディング TVerのバックエンドエンジニアは自分を含めて5名です。サービス規模に対してとても少なく感じるのではないでしょうか？自分も入社前の面談で聞いて驚きました。 バックエンドエンジニアは2チームに分かれており、プロダクトの機能開発をするStream Alignedチーム（SAチーム）、SAチームと連携し開発基盤を整えるEnablingチームがあります。 今はまだ人数が少ないですが、開発チームを大きくすべく採用活動中です。
WEARアプリリニューアルにおける負荷試験事例（実施編） - ZOZO TECH BLOG
はじめに こんにちは！ WEARバックエンド部バックエンドブロックの小島（@KojimaNaoyuki）です。普段は弊社サービスであるWEARのバックエンド開発・保守を担当しています。 10周年を迎えたWEARは2024年5月9日に大規模なアプリリニューアルを行いました。アプリリニューアルに伴い負荷試験を行ったので、本記事ではどのように負荷試験を実施したか事例をご紹介します。 記事は計画編と実施編の2部構成で、本記事は後編の実施編です。前編の計画編は「WEARアプリリニューアルにおける負荷試験事例（計画編）」で公開していますので、まだ閲覧していない方はぜひご覧ください。 techblog.zozo.com 目次 はじめに 目次 背景 負荷試験の要件 使用した負荷試験ツール 負荷試験シナリオ作成 コード例 解説 ファイル構成について 仮想ユーザー（VU）について executorについて c
不要な処理が実行速度を速くする謎を追う - Money Forward Developers Blog
こんにちは。 id:Pocke です。マネーフォワードでは Rails を用いた Web アプリケーションの開発と、RBS という Ruby の静的型システムの開発を行っています。 最近 RBS の開発をする中で、「不要な処理を削除すると実行速度が遅くなる」という不思議な現象に遭遇しました。この記事ではその現象を解説しようと思います。 なおこの記事は Ruby の知識を前提としないように執筆されており、Ruby の知識が必要となるところには注釈を加えて補足しています。 普段 Ruby を書かない方にも読んでいただければ幸いです。 問題を引き起こした変更 今回の問題は、RBS のメモリ使用量の削減を行っている中で遭遇しました。まずはどんな変更を行おうとしていたかを解説します。 変更の動機 最近私は RBS のメモリ使用量の削減に取り組んでいます。1 その取り組みの中で、RBS のパーサーが作
日本通運が基幹システムの開発失敗を巡ってアクセンチュアを提訴、124億円の賠償請求
物流大手の日本通運が基幹システムの開発失敗を巡り、約124億9100万円の損害賠償を求めて開発ベンダーのアクセンチュアを訴えていたことが日経クロステックの取材で分かった。 日本通運の親会社であるNIPPON EXPRESSホールディングスは2023年1月、基幹システムの開発が当初計画に比べてさらなる開発コストの増加と開発期間の延長が見込まれることなどから、システム開発の断念を決定したと発表。2022年12月期の連結決算で154億円の減損損失を計上した。その後、日本通運は2023年7月12日、アクセンチュアを相手取って東京地方裁判所に提訴していた。 計5回の検査で大量の「不具合」 訴状によると、日本通運は航空輸送事業におけるグローバル共通基盤の構築を目的に、国内外のシステムを統一した「新・国際航空貨物基幹システム」を開発することとした。開発プロジェクトの開始は2017年4月25日。当初は3年
医薬品検索にベクトル検索を導入したら、デフォで検索ニーズをほぼ満たせそうだった話
どんな人向けの記事？ 医薬品のような難しい検索ニーズにこたえるためにベクトル検索を利用する知見を見てみたい MySQLの全文検索と、ベクトル検索の精度や速度を比較してみたい ベクトルDBとEmbeddingモデルを利用した簡単なベクトル検索の実装方法を知りたい 医薬品の検索ニーズは多様なので、ベクトル検索で解決できるか試したい 1つの医薬品を指す名称は、複数存在するため医薬品検索は意外と面倒な問題です。 例えば、日本人なら頭痛や生理痛、発熱したときに「ロキソニン」を飲んだことがあるかもしれません。この名称は商品の名称ですが、成分の名称は「ロキソプロフェンナトリウム水和物」です。 さらに、ロキソプロフェンには錠剤以外にもテープやパップといった剤形の違いがあります。 そして最後に、ロキソプロフェンを作っている会社は複数あるので、末尾に「トーワ」や「ファイザー」などの組み合わせが存在します。ロキ
富山大学附属病院、システム障害で「朝から診療できていない」
富山大学附属病院は9月12日、「システムの不具合により、朝から診療が行えていない」とWebサイトに告知を出した。午前中の復旧は「困難」とし、午後の復旧についても「はっきりしたことは分からない」という。 関連記事 ランサム攻撃の被害相次ぐ、5月下旬から各所で 企業だけでなく自治体、病院にも影響 5月下旬以降、日本各地でランサムウェア攻撃の被害が相次いでいる。影響は企業だけでなく、病院や自治体にも及んでおり、業界を問わず警戒が必要だ。 “ダークウェブにしかないから大丈夫”？──病院へのランサムウェア攻撃で広がった発信の真意は 関係者に聞いた 漏えい情報が「ダークウェブ」にのみ存在し「一般の人が閲覧できる可能性は極めて低いと考えられています」と伝えられた岡山県精神科医療センター。発信の意図を識者に聞いた。 全員に管理者権限、パスワードは全部共通、脆弱性は放置…… ランサム攻撃受けた大阪急性期・総
データアーキテクチャ特集 データ利活用を推進する8社の技術選定 - Findy Tools
公開日 2024/09/12更新日 2024/09/13データアーキテクチャ特集 データ利活用を推進する8社の技術選定 毎回ご好評頂いているアーキテクチャ特集の今回のテーマは、データ分析基盤です。 データ活用に特に力を入れている日本のIT企業8社にご協力頂き、それぞれの技術選定の裏側と今後の展望についてご寄稿頂きました。 ※ご紹介は企業名のアルファベット順となっております 株式会社朝日新聞社 アーキテクチャ選択の背景や意図 これまでは、朝日新聞デジタル（朝デジ）のサービス開発・運用において、データを収集する基盤が存在せず業務ごとに Adobe Analytics や AWS QuickSight、 内製のツールなど様々なBIツールが乱立している状態でした。そこで、複数のシステムのデータソースを統合的に可視化・分析を可能にするために、分析基盤の構築に着手しました。 まず、データを集積・加工す
医薬品検索でMySQLの全文検索機能を使った話 - KAKEHASHI Tech Blog
AI在庫管理の開発チームでバックエンドエンジニアをしている沖です。今回は、AI在庫管理の医薬品検索において、MySQLの全文検索機能を使った話を紹介しようと思います。 この記事は秋の技術特集 2024の 8 記事目です。 今までの医薬品検索では満足できないユーザーがいた なぜMySQLの全文検索機能を採用したのか 全文検索機能を導入する 全文検索インデックスを付与したテーブルを作成する パーサー 照合順序と正規化 全文検索インデックスを使用して検索する データを最適な状態に保つために おわりに 今までの医薬品検索では満足できないユーザーがいた AI在庫管理には、医薬品の在庫一覧画面など、医薬品名で絞り込む画面がたくさんあります。この絞り込み機能を実現するために、これまではSQLのLIKE検索を利用していました。 LIKE検索は、使い慣れたSQLを用いて部分一致検索を実現できる便利な方法です
C言語1000行でテキストエディタを作るチュートリアルをやった
結果的に1200行を越えましたが。 kilo 成果物はこれ↓ 参考サイトはこれです↓ インスパイア元↓ 感想 C言語は10年ぶりくらいに書いた 進めていくうちになんとなく思い出すことができた 最初にちゃんと授業で学んだ言語なので懐かしく思った Cに出会っていなければプログラミングしてなかったかもしれないので感慨深い しかしこのレベルのメモリ管理は正直たいへん 「この関数で確保したメモリはこっちの関数で開放されるので問題ありません」みたいな この調子でやっていったらバグる未来しか見えない 1000行・1ファイルというコンセプトは良いのだがファイル分けて管理したいナ〜〜と思った 配列や文字列の操作、メモリ管理がやりやすい別の言語で書き直したい Cを書くの大変だな…という感想を持った 速さはともかく他の言語で書きたい もっとimmutableに… お手本よりも行数が増えた 1行のif文などでもブ
高校卒業間もない少年が作ったレトロなソーシャルネットワークサービス「SpaceHey」がわずか3年半で100万ユーザーを達成
2020年末、当時高校卒業したばかりだったドイツ人のアントン・ローム氏は、誰でもカスタマイズ可能なプロフィールや掲示板を設置できるレトロなソーシャルネットワークサービス「SpaceHey」をリリースしました。SpaceHeyはコーディングスキル向上も兼ねてリリースしたプロダクトでしたが、なんと3年半で100万ユーザーを突破したとローム氏が報告しています。 1,000,000 - An's Blog | SpaceHey https://blog.spacehey.com/entry?id=1245177 ローム氏は高校を卒業して間もなかった2022年末、SpaceHeyというソーシャルネットワークサービスを立ち上げました。ローム氏はSpaceHeyを作った理由として、「私たちの世代がフィードや『いいね』などが存在せず、代わりにカラフルでカスタマイズ可能なプロフィール、掲示板、フォーラムなど
静岡県庁が出してる「富士山入山管理システム構築業務」の公募がヤバい→「え！？1400万買い切りで無償での修正と無限賠償責任を！？」
的場一峰（ヤマレコ社長 まとやん） @matoyan 来年度の富士山は、静岡県側も入山料を徴収するようですね。 現在、静岡県から「富士山入山管理システム構築業務」の公募が出ています。 システムの手数料として2000円x15万人を想定。 ということは入山料は2000円以上になるのかな。 納品するシステムの条件を並べると 構築費用は1400万円 ・多言語対応（日本語、英語、韓国語、中国語、ベトナム語） ・ISO/IEC27001資格取得 ・24時間電話及びメールで多言語でサポート ・GPSによる登山者の位置情報を管理者が把握できる などなど。 どう考えても与えられた構築費用では赤字になると思うので、入山管理システムの運用費3億円（手数料分）でなんとかしてね、と読み取れます。 入山者数15万人は上限でしょうから、実際は3億円も入らないと思いますが。 かなり条件が厳しいので受注できる企業は限られる
学生の50％以上が使う大学非公認アプリを作った話 - Qiita
はじめに こんにちは。 私は徳島大学院で物質機能化学の研究を行っている修士2年のakidon0000です。 私は3年前に個人で徳島大学生向けに 「トクメモ＋」 というアプリをiOS、Androidで開発し、 ・ダウンロード数 5200件 ・MAU 3259ユーザー (徳大学部生の 約56%) のアプリを大学非公認で運用しています。 トクメモ＋についての発表スライド トクメモ＋とは、どんなアプリなのか 本アプリは、徳島大学の講義情報やレポート提出、そして学内情報などの一元化を目的としており、それにはevaluateJavaScriptや、Webスクレイピング、そしてRSSフィードなどを活用し、学生生活のほとんどが一つのアプリで完結するという形で実現したアプリです。 https://www.youtube.com/watch?v=zRVeZhip5ow トクメモ＋紹介動画 . . . と大層な
WebAssemblyとしてPostgreSQLをビルドした「PGlite」公開。Node.jsやブラウザ上でPostgreSQLを実行、DBの永続化も可能
PostgreSQLのソースコードをWebAssemblyバイナリとしてビルドしたことで、Node.jsなどのJavaScriptランタイムやWebブラウザ上で（ほぼ）フル機能のPostgreSQLを実行可能にした「PGlite」が公開されました。 PGliteはPostgreSQLのCのソースをEmscriptenでコンパイル PostgreSQLはオープンソースの代表的なリレーショナルデータベースであり、C言語で開発されています。 PGliteはこのPostgreSQLのCのソースコードのビルドにEmscriptenコンパイラを使用してWebAssemblyバイナリとして出力、JavaScript/TypeScriptからライブラリとして呼び出せるようにしたものです。 ただしEmscriptenでコンパイルされたプログラムは新しいプロセスをフォークできないため、PGliteはPostg
OCRとLLMを活用した情報抽出業務の効率化｜Algomatic
はじめに企業の業務において、請求書や領収書、名刺などの紙媒体の情報を電子化し、管理・活用することは非常に重要です。しかし、これらの作業は手作業で行うと多大な時間と労力を要します。また、人的ミスも発生しやすく、業務効率化の大きな障壁となっています。そんな中、近年、OCRの性能向上やLLMの性能向上によって、あらゆる業務の効率化できる可能性が高まっています。この記事では、写真や書類から情報を抽出する取り込み業務について、OCRとLLMを利用したソリューションについて紹介します。 情報抽出などの取り込み業務の課題情報抽出などの取り込み業務では、以下のような課題が存在します。 手作業による時間と労力の浪費 大量の書類を処理する場合、作業コストが膨大に 単純作業の繰り返しによる従業員のモチベーション低下 他の付加価値の高い業務に注力できない 人的ミスの発生 量が多くなるほど、入力ミスや誤読などの人的
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
個人事業主型開発からの脱却
