タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
LINEの技術的負債を解消している話 ─ HTTP/2へのプロトコル変更やデータ同期の最適化での改善｜ハイクラス転職・求人情報サイト AMBI（アンビ）
LINEの技術的負債を解消している話 ─ HTTP/2へのプロトコル変更やデータ同期の最適化での改善 サービス開始から10年近くがたったLINEでは、次の10年のため技術的な負債を解消・改善する取り組みをプロジェクトで行っています。 通信プロトコルをSPDYからHTTP/2に移行 抽象化レイヤーを設置してプロトコル移行のリスクを低減 Long PollingをPushへと切り替えて通信量を最適化 アプリの利用状況に応じて最適なデータ同期の方法を アーキテクチャの改善でアプリの信頼性や拡張性が向上 長い歴史を持つアプリには「技術的負債をどのように解消するか」という課題が常につきまといます。2011年にサービスを開始したコミュニケーションアプリ「LINE」においても同様で、多機能化や、開発・運用の長期化に伴い、いくつもの負債が発生していました。 この課題を解決するため、LINE株式会社では「『
syncコマンドはストレージデバイスへのI/Oをキャッシュしているページキャッシュとバッファキャッシュのデータをデバイスに同期(以下「同期」と記載)します。このコマンドについては「syncは同期処理を開始するだけで完了を待たずに終了する」「syncを3回実行すると同期が完了する」などという話が有名です。本記事ではLinux環境においてsyncコマンドの終了時に同期がされるのかについて述べます。syncコマンドはGNU coreutilsが提供するものを対象とします。 本記事ではsyncコマンドによる同期のタイミングに加えてもう一つ、同期処理の実行中にI/Oエラーが発生した場合に、エラーを検出できるのかについても述べます。 まとめ syncコマンド実行後に同期は完了している。ただし仕様上はそうなると保証されていない。 同期中のディスクI/Oエラーは-fオプションを付ければ検出できる。 調査環
ニアリアルタイムで同期される検索基盤を構築 ~AWS Glueによるデータ同期編~ - コネヒト開発者ブログ
皆さん，こんにちは！MLエンジニアの柏木（@asteriam）です． ここ最近は検索エンジン内製化プロジェクトに携わっていて，検索エンジニアとして，検索基盤の主にデータ連携・同期の実装を1から構築したりしていました．7月中旬にABテストまで持っていくことが出来たので，ひとまず安心しているところです．ここからはユーザーの検索体験向上のために検索品質の改善に力を入れていく予定です！ はじめに 今回新しく検索基盤をAWSのマネージドサービスを活用して構築しました！本エントリーでは，タイトルにもあるように，検索基盤の肝であるDBから検索エンジンへのデータ同期をAWS Glueを用いてニアリアルタイムで実施したお話になります．我々は以下の構成で今回の検索基盤を構築しています． 検索エンジン：Amazon OpenSearch Service データベース：Amazon Aurora データ同期（ET
「オフラインファースト」なモバイアプリを実現する「MongoDB Realm Sync」が正式版に。モバイル用DBがクラウド上のMongoDB Atlasとデータ同期
「オフラインファースト」なモバイアプリを実現する「MongoDB Realm Sync」が正式版に。モバイル用DBがクラウド上のMongoDB Atlasとデータ同期 MongoDBは、モバイルアプリ用のデータベース「Realm Mobile Database」とクラウド上のバックエンドデータベース「MongoDB Atlas」のデータ同期を行う機能を備える「MongoDB Realm Sync」が正式サービスになったことを発表しました。 ICYMI: MongoDB Realm Sync is now GA! Use it to seamlessly sync data between mobile devices, users, and MongoDB Atlas on the backend, whenever devices are online. https://t.co/DBV
Anker Japan、Wi-FiやBluetoothでアプリに接続しAppleのヘルスケアやGoogle Fit、Fitbitとデータ同期可能な体組成計「Eufy Smart Scale P2 Pro」などを発売。
Anker JapanがAppleのヘルスケアやGoogle Fit、Fitbitとデータ同期可能な体組成計「Eufy Smart Scale C1/P2 Pro」を発売しています。詳細は以下から。 Anker Japanは日本時間2022年08月30日、同社の家電ブランドEufyから国内初となる体重計/体組成計「Eufy Smart Scale P2 Pro」と「Eufy Smart Scale C1」を新たに発売したと発表しています。 体重やBMI、体脂肪率などの基本情報のみでなく、心拍数、筋肉量、骨量、体年齢、皮下脂肪率などのカラダに関する16の項目を測定できます。[…]Wi-FiまたはBluetoothを使用して専用アプリに接続することで、データを自動的にアップロード。測定データ登録人数の制限なく登録出来るためご家族やスポーツチームでの使用にも最適です。 Anker Eufy Sm
タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。本番DBから分析基盤への連携処理を改善した事例を紹介します。※ 本記事の対象読者はETLツールを利用している方を対象にしています はじめに本記事では、タクシーアプリ「GO」の DB から分析基盤への同期処理を約7時間から約10分に改善した事例を紹介します。まず、既存の処理および改善前の状況を説明し、次に改善にあたり実施した分析、その分析をもとにチーム内で実施した議論を経て、最終的にどのような実装を行ったのか紹介させて頂きます。 同期処理についてGO の DB は Cloud SQL 上で構築されており、分析基盤への同期処理は GKE 上で Embulk を起動し、リードレプリカに対してクエリを投げて一度 GCS に結果を格納します。その後、GC
Amazon Web Services ブログ AWS DataSync を使った Amazon S3 へのデータ同期 このブログは2021年8月24日に David DeLuca (Senior Storage Solution Architect)によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 オンプレミスからクラウドへデータを移行する際には、スピード、効率、ネットワーク帯域、コストなど、考慮すべき要素が数多くあります。多くの企業が直面する共通の課題は、大量のデータをオンプレミスから Amazon S3 バケットにコピーする際の適切なユーティリティの選択です。 私はよく、お客様が無料のデータ転送ユーティリティーや AWS Snow Family デバイスを使って、データをS3に取り込むことから始めるケースを目にします。また、同じお客様が AWS DataSy
レッドハットのソリューションアーキテクトの森です。 マイクロサービスについて、前回はそのアーキテクチャの概要から利点、そして課題についてまとめました。今回はマイクロサービス間のデータ同期の手法についてご紹介していきます。 前回の記事はこちらです。 rheb.hatenablog.com Outboxパターン と Change Data Capture によるデータ同期 マイクロサービスにおいては、基本的には各サービスとデータベースは1:1とするモデルを推奨しています。そのため、サービス間のデータベースの同期を取るしくみについて考慮が必要です。データベース間の同期を取るための方法の1つとして、データベース処理とメッセージを併用する Transactional Outbox と Transactionlog tailing があります。 Transactional Outbox の実体はデータ
私の記憶が確かならば、昭和の初めから「オムライス」の一番美味しいところは決まっていた。 「卵の、裏側」 その理由は、温かいご飯に乗った半熟の卵が、その旨味を十分吸い取るから。 (『料理の鉄人』第02回放送より) そして私の記憶が確かならば、モバイルアプリ登場以降、Obsidianユーザーを最も悩ませてきた問題。それが 「Vaultの、同期」 公式のデータ同期ソリューションである「Obsidian Sync」は有料、GoogleドライブやDropboxなどのクラウドストレージも、快適とは言い難い。 ローカルデータを扱うというObsidianの特徴が、そのユーザーを苦しめるという皮肉。 その問題に立ち向かうべく開発されたのが、データ同期を担うコミュニティプラグインSelf~hosted LiveSyncである。 もう一度言う。 オムライスで一番ウマいのは「卵の裏側」！ 今回は「Self-hos
![[Obsidian] Self-hosted LiveSyncとデータ同期に迫る！ (対談企画02)](https://cdn-ak-scissors.b.st-hatena.com/image/square/b3101ca8be849f037d30bf5bd9e7528aae8f19ac/height=288;version=1;width=512/https%3A%2F%2Fpouhon.net%2Fwp-content%2Fuploads%2F2020%2F10%2Fobsidian_logo.jpg){kind=logo}
SmartHR、LayerX のアーキテクチャをそれぞれ話す「マイクロサービス？モノリス？2 社のアーキテクチャから見るPros/Cons」。ここで株式会社 LayerXのmosa氏が登壇。まずは2つのSaaSにおけるデータ同期で起きてしまう循環参照について紹介します。 自己紹介 榎本悠介氏（以下、榎本）：「絡み合うSaaSプロダクトのマイクロサービスアーキテクチャ」というタイトルで、絡み合う複数のSaaSプロダクトに対して、業務フローを滑らかにするために、仮にマイクロサービスならどう向き合うかという話をします。 今回話す内容は、完璧な設計やアプローチではなく、現実にあったケーススタディとして生温かく見てください。すごくボリューミーでポンポン行くので、集中して聞いてもらえるとありがたいです。よろしくお願いします。 私は榎本と言います。みんなからはmosaと呼ばれています。Twitterは@
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
モバイル端末向けペイントソフト「ibisPaint」を開発するアイビス（名古屋市）は6月30日、同ソフトのWindows版をリリースした。1日1時間まで無料で使える「無料体験モード」、買い切り価格2350円で無制限に使える「プロアドオン」版を用意。クラウド同期機能を使えば、モバイル版とデータを共有できる。 Windows Ink対応のタッチパネルやスタイラスペンに対応。プロアドオン版では基本機能に加えフィルター機能や作品の並べ替え機能を提供する。クラウドストレージのデータ保存容量は64MB。 今後提供予定のプレミアム会員版（サブスクリプション形式）では、画像素材やフォント、20GBのクラウドストレージなどを提供する。価格は未定。 ibisPaintはこれまでスマートフォンやタブレット向けアプリとして、米AppleのApp Store、米GoogleのGooglePlayで合計2億回ダウンロ
AWS AppSyncでサーバーレスなリアルタイムデータ同期
この記事は「Eureka Advent Calendar」 20 日目の記事です。 こんにちは。今年2月にeurekaにJoinしたBackend チームの金井です。入社からあっという間に時が過ぎ、あと 2 月ほどで入社から 1 年経つんだなあと思うと感慨深いです。 昨日の記事はBackendチームの山下さんによる「Goでのオススメエラーハンドリング手法」でしたが、本記事では AWS AppSync(以下 AppSync)について紹介します。自分はPairs の新しい機能実装に向けていくつか技術調査をしているのですが、最近ではAppSync 周りを調べる機会が多かったので、Advent Calendar の題材として記事を書いてみることにしました。 AWS AppSyncフルマネージド型の GraphQL サービスです。GraphQL API の開発を色々と自動化してくれます。GraphQ
この記事はZOZOテクノロジーズ #2 Advent Calendar 2019 23日目の記事になります。 昨日は、@amagasu1234 さんによる「Google reCAPTCHA v3をRuby On Railsに入れてみました〜」でした。 また、今年は全部で5つのAdvent Calendarが公開されています。 ZOZOテクノロジーズ #1 Advent Calendar 2019 ZOZOテクノロジーズ #2 Advent Calendar 2019 ZOZOテクノロジーズ #3 Advent Calendar 2019 ZOZOテクノロジーズ #4 Advent Calendar 2019 ZOZOテクノロジーズ #5 Advent Calendar 2019 はじめに Change Data Capture （以下 CDC という） について調査をしていたので、内容をま
RDS（MySQL） から BigQuery へ1日1回データを同期して、データ分析やレポート系の処理で利用することになりました。 構成 以下の構成でデータを同期することにしました。 要件1: データの断面は合わせたい 元々はEmblukを使って直接同期しようと考えていたが、Embulkだとテーブル毎にデータを同期することになり、テーブルによってデータの断面が微妙にずれるため断念 CSV 形式でダンプして、Embulk で同期することもできそうだが、元々自動でスナップショットが取られているのでそれを利用することにした => スナップショットを parquet 形式で S3 にエクスポートすれば、BigQuery Data Transfer Service を使って BigQuery に取り込むことができるので、採用 要件2: コストを抑えたい 定額利用料がかかるサービスは使うことはできない
僕はWordPressのローカル環境（開発環境）はLocal by Flywheelというツールをツールを使っています。 これまで、データの同期はAll In One WP Migrationというプラグインでやっていましたが、いい加減面倒になってきたので、WordMoveを使ってコマンドでサクッとデータ(DB)や画像ファイルをローカルにコピーする環境を整えました！ WordMoveとは… ローカルにインストールしてあるWordPressとサーバー上のWordPressのDBや画像、プラグイン、テーマファイルをダウンロード/アップロードして同期ができるツールです。 本番とローカルを完全に同期するわけではなく、アップロード(push)だけするとか、ダウンロード(pull)だけするといった一方向だけでの利用もできます。 また、設定ファイルに除外するファイルを書いておくことで、同期したくないプラ
メール、連絡先、カレンダー、メモを同期する メールや連絡先、カレンダー、メモを両端末で連係させて活用するには、3つの方法があります。 ひとつは、iPadにGoogle アカウントを追加登録する方法です。 この方法は、iPadの「メール」でGmailを送受信し、「カレンダー」「連絡先」「メモ」アプリにそれぞれ、Google アカウントに紐付いているデータを追加して活用します。 すでにiPadにデータを登録済みの場合は、この方法が使い勝手はいいでしょう。 ただし、今回試した中で「Google Keep」のメモだけが同期できませんでした。その場合は、ブラウザー版のKeepアプリか、別のメモアプリを検討してください。 2つ目は、iPadにGoogleが提供するアプリをインストールして活用する方法です。 メールは「Gmail」、カレンダーは「Google カレンダー」、メモは「Google Keep
[速報] 異なるデータサービス間でデータ同期が容易に？ “AWS Glue Elastic Views” プレビュー開始 #reinvent | DevelopersIO
日本時間2020年12月2日深夜に実施されたAWS re:Invent 2020のキーノートセッションにて、データ分析系の新サービス"AWS Glue Elastic Views"のプレビュー開始が発表されました。 AWS Glue Elastic Viewsとは？ AWS Glue Elastic Viewsを簡単に説明すると、AuroraやDynamoDBなど、AWSの各データベース系サービス内に格納されたデータを、AWS Glue(以下Glue)の技術を使ってマテリアライズドビューの形でRedshiftやS3など別のサービスにデータ転送し、データ同期を継続して提供する機能のようです。 今までだと、AWS内の異なるデータベースのデータ連携にはDMS(Data Migration Service)を使う方法がありましたが、この新機能によってGlueの技術ベースで実装できることになります。
![[速報] 異なるデータサービス間でデータ同期が容易に？ “AWS Glue Elastic Views” プレビュー開始 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1691f45c9a149fa23ecf71949f6c6eff39c1915c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-breakingnews-sokuho.jpg)
データ同期ツール「CData Sync」、同期先データベースにOracle Autonomous Databaseを追加 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ ミドルウェア ＞ 新製品・サービス ＞ データ同期ツール「CData Sync」、同期先データベースにOracle Autonomous Databaseを追加 ミドルウェア ミドルウェア記事一覧へ [新製品・サービス] データ同期ツール「CData Sync」、同期先データベースにOracle Autonomous Databaseを追加 2023年2月1日(水)日川 佳三（IT Leaders編集部） リスト CData Software Japanは2023年2月1日、データ同期ミドルウェア「CData Sync」の同期先に「Oracle Autonomous Database」を追加したと発表した。SalesforceやServiceNowなど各種アプリケーションのデータを、Oracle Autonomous Database
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
syncコマンドのデータ同期タイミングとI/Oエラー検出
分析基盤へのデータ同期を約40倍早くしてみた | MoT Lab (GO Inc. Engineering Blog)
AWS DataSync を使った Amazon S3 へのデータ同期 | Amazon Web Services
アプリケーション・モダナイゼーション： マイクロサービス間のデータ同期 - 赤帽エンジニアブログ
[Obsidian] Self-hosted LiveSyncとデータ同期に迫る！ (対談企画02)
連携する2つのSaaSのデータ同期で起きてしまう循環参照 複数の要件から考える、循環を避けるための3つのパターン
Delta - Netflixの開発したデータ同期および拡張のためのプラットフォーム
お絵かきアプリ「ibisPaint」にWindows版 モバイル版とクラウドでデータ同期
Windowsで電子書籍の制作環境を構築！『Git for Windows + Re:VIEWで電子書籍を作ろう』発売／リポジトリの作成方法、GitHubとのデータ同期などを解説【Book Watch/ニュース】
変更データ（CDC）を利用したデータ同期検討 - Qiita
RDS(MySQL)からBigQueryへのデータ同期 – rinoguchi's techlog
Local by Flywheelのサイトと本番サイトをWordMoveでデータ同期する環境準備メモ
AndroidスマートフォンとiPadの連係は意外と簡単！ データ同期の方法や便利ワザを紹介 - 価格.comマガジン
「Excel」2024年1月のアップデートまとめ Windows版でセルへ画像を挿入可能に／Web版はMS Formsデータ同期に対応
www.kobonemi.com
gekirock.com
helentech.jp
x.com
youtubelib.com
topics.smt.docomo.ne.jp