並び順

ブックマーク数

期間指定

  • から
  • まで

41 - 80 件 / 3180件

新着順 人気順

Real-Timeの検索結果41 - 80 件 / 3180件

  • Twitter's Recommendation Algorithm

    Twitter aims to deliver you the best of what’s happening in the world right now. This requires a recommendation algorithm to distill the roughly 500 million Tweets posted daily down to a handful of top Tweets that ultimately show up on your device’s For You timeline. This blog is an introduction to how the algorithm selects Tweets for your timeline. Our recommendation system is composed of many in

      Twitter's Recommendation Algorithm
    • Vue/Nuxt開発効率を3倍にするVSCode拡張機能セット - Qiita

      この記事を読むと VSCode拡張機能を入れて、下記のようなことが実現します ・VSCodeとは別にterminal(Command Line)の画面を開かなくても、VSCode内から直接terminal操作ができる(例えばnpm run devも) ・全てのカッコ()[]{}が種類別に色分けされる ・インデントが一眼で分かる ・htmlタグの開始タグと終了タグを同時に修正できる ・Vue.jsやNuxt.jsの構造やファイル操作が楽になる etc... なぜこの記事を書いたのか VSCodeは素晴らしいテキストエディタです。 特に、Vue.jsやNuxt.jsを用いて開発している方にとっては最も有力な選択肢でしょう(そして、その選択は間違いではないと保証できます)。 さて、VSCodeはそのままでも素晴らしいエディタですが、使用するフレームワークや用途に応じて拡張機能を入れるとさらに、そ

        Vue/Nuxt開発効率を3倍にするVSCode拡張機能セット - Qiita
      • ターミナルでSlackを読む - 詩と創作・思索のひろば

        Slackはそのクライアントがそれなりに、かなりよくできていて、これでほとんど困ることはないんだけど、そうは言ってももうちょっとプログラマブルに取り扱いたいこともある。 そういう場合にもよいAPIが用意されていて、Real Time Messaging API ってのがある。こいつはWebSocketでSlackの発言をはじめ、あらゆるイベントのJSONを送りつけてくれるやつ。ひとまずこれを標準出力に流すことができれば、あとは好きに料理できるはずだ。 というわけで作ったのがこちら。書いたことなかったのでRustです。ちょうどいいネタだった。 GitHub - motemen/slack-stream-json slack-stream-json というバイナリが、SLACK_TOKEN 環境変数を設定した上で起動してやると、RTM APIによって得られたイベントのJSONをそのまま標準出力

          ターミナルでSlackを読む - 詩と創作・思索のひろば
        • Redisよ安らかに眠れ: Garantia Dataが引き起こしたオープンソースの歴史上最大の強盗とは

          Khawaja Shams Tony Valderrama Erika Tharp TL;DR 2024年3月20日Redis社は、これまでオープンソースとして開発してきたRedis 7.4ソースコードのライセンスを、Redis Source Available License (RSALv2)とServer Side Public License (SSPLv1)のデュアルライセンスに変更すると発表しました。この変更によりRedis社の許可なくRedisを用いたマネージドサービスなどを提供することができなくなります。 2009年1人の情熱的なエンジニアAntirezが作り出したRedisですが、2013年のGarantia Data社の介入により様々なドラマが勃発し2020年にAntirezはIPそしてトレードマークを同社に譲渡します。その後、Redisのコアコミュニティメンバーを中心に

            Redisよ安らかに眠れ: Garantia Dataが引き起こしたオープンソースの歴史上最大の強盗とは
          • Redis Explained

            Redis Explained InfographicWhat is Redis?Redis (“REmote DIctionary Service”) is an open-source key-value database server. The most accurate description of Redis is that it's a data structure server. This specific nature of Redis has led to much of its popularity and adoption amongst developers. 👋🏾You are reading Architecture Notes! Crave some byte-sized bites of this? Join me on Twitter. If it's

              Redis Explained
            • これでもう漏らさない? 膀胱を常に管理するAIパンツ 放尿の必要性を推定、尿失禁防止

              尿失禁は、尿の自発的な排出や膀胱の制御喪失を示す現象であり、これにより社会的、心理的、衛生的な問題が引き起こされ、生活の質が低下する。全世界で2億人以上が、更年期や肥満、膣分娩、過去の子宮摘出手術、アルツハイマー病、認知症、パーキンソン病、脳性まひ、脊髄損傷などのさまざまな原因により、尿失禁を経験している。 この研究では、新しい電子テキスタイルベースのリアルタイム膀胱モニタリング技術「Privee」の開発と試験が行われた。この下着には、8つの刺しゅうされた電極とテキスタイル伝送路を取り入れている。電極とハードウェアの間の信号伝送ラインは、銀でコーティングされた導電性の糸を生地に直接刺しゅうすることで実現している。排尿や排便の際に着脱が不要となるよう、股間部分は開放している。 腹部周辺にあるセンシングネットワークはセンサーとして機能し、膀胱が尿で満たされる際の電流のインピーダンス、すなわち抵

                これでもう漏らさない? 膀胱を常に管理するAIパンツ 放尿の必要性を推定、尿失禁防止
              • Next.js + Vercel + Cloudflare Workers KV + Googleスプレットシートで寄付管理サービスを作った

                Next.js + Vercel + Cloudflare Workers KV + Googleスプレットシートで寄付管理サービスを作った philan.netという寄付の予算を決めて寄付した記録をつけるウェブサービスを作ったので、この記事では技術的な部分の解説をします。 philan.net自体については、次の記事で解説しています。 寄付をするために、寄付の予算と寄付の記録をSpreadSheetベースでつける philan.net というサービスを作った | Web Scratch この記事では、Next.js + Vercel + Cloudflare Workers KV + Googleスプレットシートを使って動いているphilan.netについて解説します。 あと検証中にCloudflare Workersを色々いじったのでそれについても書いていきます。 Idea phila

                  Next.js + Vercel + Cloudflare Workers KV + Googleスプレットシートで寄付管理サービスを作った
                • GitHub Actions now supports CI/CD, free for public repositories

                  CompanyProductGitHub Actions now supports CI/CD, free for public repositoriesSince we introduced GitHub Actions last year, the response has been phenomenal, and developers have created thousands of inspired workflows. But we’ve also heard clear feedback from almost everyone: you want CI/CD! And that’s what we’re announcing today. GitHub Actions is an API for cause and effect on GitHub: orchestrate

                    GitHub Actions now supports CI/CD, free for public repositories
                  • 訳文;「そこにはなんの報酬もありません。このゲームが何を為していてどう機能しているのか、ただただ見ていたかったのです」ジェンキンズ、カーソン、ホッキング、『Outer Wilds』へつづく2,3の論考 - すやすや眠るみたくすらすら書けたら

                    翻訳の秋が今年もきました。また去年みたく面白い記事をいくつか見つけて勝手に紹介したいところです! 去年アップした『訳文;「"好奇心駆動型の冒険"とでも言うべき特殊なタイプの冒険に報酬を与えるゲームをつくりたい、それが『Outer Wilds』の主目的です」A・ビーチャム氏の論文より』で翻訳紹介した論考のなかで、参照文献として挙げられていた文献のうち2つ、ヘンリー・ジェンキンズ著『GAME DESIGN AS NARRATIVE ARCHITECTURE(物語による建築物としてのゲームデザイン)』とボニー・ルバーク取材『Clint Hocking Speaks Out On The Virtues Of Exploration(クリント・ホッキングが語る冒険の美徳)』。別記事1つ、ドン・カーソン著『Environmental Storytelling: Creating Immersive

                      訳文;「そこにはなんの報酬もありません。このゲームが何を為していてどう機能しているのか、ただただ見ていたかったのです」ジェンキンズ、カーソン、ホッキング、『Outer Wilds』へつづく2,3の論考 - すやすや眠るみたくすらすら書けたら
                    • BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

                      BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースしました。 オンプレミスやクラウドで稼働するMySQLやPostgreSQL、Oracle DatabaseでのOLTPによるデータ操作が、ETLツールなどを挟むことなくほぼリアルタイムでBigQueryに反映されるため、プライマリとなるデータベースのOLTP処理に負荷をかけることなく並行してBigQueryによる大規模データの分析処理が容易になります。 To stay compet

                        BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場
                      • アーキテクチャの進化はドメインイベントが起点になる - KAKEHASHI Tech Blog

                        こちらの記事はカケハシ Advent Calendar 2023 Part2の24日目の記事になります。 adventar.org はじめに 反復的な開発は、変更容易性の高いソフトウェアが不可欠です。ソフトウェア開発の経験がある方なら、デリバリ後の洞察や市場環境の変化から、新しい機能の追加やアーキテクチャの進化の必要性に直面したことが一度はあるでしょう。 私自身、要求分析手法やSOLID原則等の技法を取り入れ、変更容易性に対応する多くのプロジェクトに参加しました。しかし、どれだけ優れた手法や技法を持っていても、変更が難しい要求が出てくることは避けられません。その際、「過去の出来事」を正確に記録していれば、後から見返して問題解決が容易だったと感じることがよくあります。 ドメイン駆動設計(DDD)では、「過去に起こった出来事」を表現するドメインモデルを「ドメインイベント」と呼びます。変更容易性

                          アーキテクチャの進化はドメインイベントが起点になる - KAKEHASHI Tech Blog
                        • Agoraで君だけの最強のClubhouseを作ろう

                          Clubhouse に招待されないので自分で作ってみた、みたいな感じです。まあ別に招待してくれなくていいんですけどね、大して興味ないしそのうちオープンになるだろうしそれにほらどうせ Android 使ってるしあのぶどうは酸っぱいし[1]。 初挑戦で頑張って調べて書いてる感じなので何かあれば PR とかお願いします。 先にまとめ Clubhouse は Agora を使っているらしい Agora - Real-Time Voice and Video Engagement https://www.agora.io/en/ 無料枠は音声 10,000 分/月 (誤って『10,000 時間/月』と記載してました。分です。すみませんでした。) 公式チュートリアル:Start a Voice Call 今回作ったデモ:ginpei/try-agora 毎月 10,000 分無料とのこと。価格のページ

                            Agoraで君だけの最強のClubhouseを作ろう
                          • 2019-nCoVについてのメモとリンク

                            リンク集目次 国内外の状況 政府機関・国際機関等 学術情報 疫学論文 分子生物学/ウイルス学論文 臨床論文 インフォデミック関係 ワクチン関係 変異株関係 時系列メモ目次 新型コロナウイルス(2020年1月6日,11日) インペリグループによる患者数推定(2020年1月18日) 患者数急増,西浦さんたちの論文(2020年1月20日,23日) WHOはPHEIC宣言せず(2020年1月23-24日) 絶対リスクと相対リスク(2020年1月26日) 研究ラッシュが起こるかも(2020年1月27日) なぜ新感染症でなく指定感染症なのか? なぜ厚労省令でなく閣議決定なのか?(2020年1月27日) コロナウイルスに対する個人防御(2020年1月27日) 国内ヒト=ヒト感染発生(2020年1月28日) フォローアップセンター設置,緊急避難等(2020年1月29日) PHEICの宣言(2020年1月3

                            • スプツニ子!の代理出産 - Togetter

                              2010年3月20日 美人すぎる理系アーティスト・スプツニ子さんはなぜ歌う? https://ascii.jp/elem/000/000/507/507353/4/ 作曲を始めたのは先生がイケメンだったから スプツニ子! リンク送りますか? ジュード・ロウに似ているんです。スペイン人で。超カッコイイよ! ――おーっ、これが先生!?* ス 先生ですよ、これが! それで頑張って授業に出て、曲を作ったんです。5曲。「チンコの歌」もその時に作ったんですけど。チンコいいなーって。 ――曲の発想もテクノ的だと思うんですけど。「コドモを作る機械」あたりは特に。 ス 「女は子供を生む機械」って言った日本の大臣がいましたよね。そのスキャンダルが起きたときに「ちょっとサイボーグっぽくない?」って思って作ったんです。 ――問題発言に怒るより、むしろネタにってことですね。この曲以外にもジェンダー系のテーマが多いで

                                スプツニ子!の代理出産 - Togetter
                              • Socket Supply Co.

                                npm npm i @socketsupply/socket -g curl . <(curl -s -o- https://socketsupply.co/sh) iwr iwr -useb https://socketsupply.co/ps | iex Write Once, Run Anywhere Ship apps faster than anyone else using one skill set, and one codebase. You can even turn your existing web app into a native Socket app. Connect Everyone Our modern P2P protocol makes it possible for users anywhere in the world to communicate

                                  Socket Supply Co.
                                • Time on Unix

                                  Sections What is time Representing time Where do we usually find time on Unix System time, hardware time, internal timers Syncing time with external sources What depends on time Human perception of time What is time Time is relative Measuring time and standards Coordinating time Time zones DST Time, a word that is entangled in everything in our lives, something we’re intimately familiar with. Keep

                                    Time on Unix
                                  • 『バルダーズ・ゲート3』レビュー……をしようとしたが、レビューではない形でその面白さを伝えたい - AUTOMATON

                                    これまでそれなりの数のゲームレビューを投稿してきたが、本作ほど言語化が難しいゲームには出会ったことがない。『バルダーズ・ゲート3』が成し遂げたことは極めてシンプル。「あなただけの冒険」を提供すること。目を引く派手さや、分かりやすい斬新さも無く、それ以上でもそれ以下でもない。だが「あなただけの冒険」というこの8文字の裏には、唯一無二の、無限に近しい奥行きのある体験が用意されている。そしてどことなく、JRPGっぽい。 ※本稿はスパイク・チュンソフトからコードの提供を受け、PlayStation 5版でのプレイに基づき執筆している。ストーリーのネタバレは無い。 『バルダーズ・ゲート3』は“異文化”そのものなので、重めに前置きしたい 『バルダーズ・ゲート3』について語る前に、本稿からは「ある重要な観点」が抜け落ちているということについて言及しなければならない。というのも、その事柄は日本におけるゲー

                                      『バルダーズ・ゲート3』レビュー……をしようとしたが、レビューではない形でその面白さを伝えたい - AUTOMATON
                                    • WebSockets vs Server-Sent-Events vs Long-Polling vs WebRTC vs WebTransport | RxDB - JavaScript Database

                                      For modern real-time web applications, the ability to send events from the server to the client is indispensable. This necessity has led to the development of several methods over the years, each with its own set of advantages and drawbacks. Initially, long-polling was the only option available. It was then succeeded by WebSockets, which offered a more robust solution for bidirectional communicati

                                        WebSockets vs Server-Sent-Events vs Long-Polling vs WebRTC vs WebTransport | RxDB - JavaScript Database
                                      • Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked

                                        Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to it. Internal documentation for Google Search’s Content Warehouse API has leaked. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document AI Warehouse was accidentally published publicly to a code repository for the c

                                          Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked
                                        • AWS re:Invent 2020で発表された新サービス/アップデートまとめ - Qiita

                                          AWS re:Invent 2020の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました! 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 12/1 (火) 今年の開幕は「Amazon EC2 Mac instances」でした。 Amazon EC2 Mac instances macOS用のAmazon Elastic Compute Cloud (EC2) Macインスタンス EC2 Macインスタンスを使用すると、iPhone、iPad、Mac、Apple Watch、Apple TV、Safari用のアプリ開発者は、macOS環境を数分でプロビジョニングしてアクセスし、必要に応じて容量を動的に拡張し、AWSの従量課

                                            AWS re:Invent 2020で発表された新サービス/アップデートまとめ - Qiita
                                          • Lens | The Kubernetes IDE

                                            Trusted by the world’s best product teams. From innovative startups to iconic enterprises. Unlike Any Kubernetes Tool You’ve Used BeforeDesigned for Developers and DevOps Engineers, Lens provides an unparalleled experience for managing and troubleshooting workloads through one intuitive context-aware UI. The IDE for Kubernetes: Context-aware UIConnect to clusters, explore, gain insights, learn and

                                              Lens | The Kubernetes IDE
                                            • Everything I know about the XZ backdoor

                                              Everything I Know About the XZ Backdoor stateevergreeninblogdate3/29/2024Please note: This is being updated in real-time. The intent is to make sense of lots of simultaneous discoveries regarding this backdoor. last updated: 5:30 EST, on April 2nd Update: The GitHub page for xz has been suspended. 2021JiaT75 (Jia Tan) creates their GitHub account. The first commits they make are not to xz, but the

                                              • JSConf JP 2022 公開資料・Twitterリンクまとめ

                                                2022/11/26(土)で開催された JSConf JP 2022に関する、現時点での公開資料と Twitter アカウントリンクをまとめました。 よろしければご活用ください。 ※2022/11/28追記 ねぎしさんからいただいたコメントを元に、各講演に時間指定をした YouTube リンクを追記しました。 (時間指定をすると流石に動画埋め込みはできないようだったので、リンクでご容赦ください🙏) はじめに 登壇者名は敬称略させていただいています。 Twitter アカウントについては、ご本人が当イベントで登壇されることに言及されている、スライドに記載など、確認できたものを記載しております。 リンクの間違い等ありましたらコメントいただけると助かります🙏 アーカイブ動画 当イベントは、3つのトラックに分かれて講演が行われました。 その3つともアーカイブ動画が残っているので、後から見直すこ

                                                  JSConf JP 2022 公開資料・Twitterリンクまとめ
                                                • 専用の機材不要、iPhoneだけで撮影した映像をわずか数分でまったく別の顔に置き換えるEpic Gamesの「MetaHuman Animator」のデモ映像がすごい

                                                  演者の顔を3DCG化するフェイシャルキャプチャはゲーム業界などで広く使われていますが、特殊なハードウェアが必要だったり、コンピューター処理とアーティストの手作業による微調整を要したりするため、小規模なスタジオがこれを行うのは簡単なことではありません。このような労力と時間のかかるワークフローに革命をもたらす新ツール「MetaHuman Animator」をEpic Gamesが新たに開発し、デモ映像を公開しました。 MetaHuman に対して高忠実度パフォーマンス キャプチャを簡単に適用できる新しい MetaHuman Animator 機能セット - Unreal Engine https://www.unrealengine.com/ja/blog/new-metahuman-animator-feature-set-to-bring-easy-high-fidelity-perfor

                                                    専用の機材不要、iPhoneだけで撮影した映像をわずか数分でまったく別の顔に置き換えるEpic Gamesの「MetaHuman Animator」のデモ映像がすごい
                                                  • OpenAI API ドキュメント 日本語訳|#2 GET STARTED 後編|ゑぐみかるちゃあ

                                                    OpenAI API ドキュメントの日本語訳をこちらでまとめます。文字量の多いドキュメントなので、セクションごとに記事を分割しています。 今回は「GET STARTED 」のセクションからLibraries 、Models、TutorialsそしてUsage policiesを抜粋した後編です。 基本 DeepLで翻訳して、気になるところだけ書き換えています(ほぼ気になるところがないのが、DeepLのすごいところ)。原文との突き合わせができるようにはじめに原文を入れてますので、間違いなど見つけられましたら、ぜひご指摘ください。ご指摘箇所は随時反映させていただきます。 原文のリンクが有効になってますので、それぞれ必要な場合は原文リンクの方を参照ください。 前回のおさらいはこちら Python library|Python ライブラリWe provide a Python library, w

                                                      OpenAI API ドキュメント 日本語訳|#2 GET STARTED 後編|ゑぐみかるちゃあ
                                                    • Generated Photos | Unique, worry-free model photos

                                                      Enhance your creative works with photos generated completely by AI. Search our gallery of high-quality diverse photos or create unique models by your parameters in real time

                                                        Generated Photos | Unique, worry-free model photos
                                                      • ソフトウェアライセンスでヒヤッとした事例から学んだ教訓 - Activ8 Tech Blog

                                                        こんにちは、エンジニアリングマネージャーの渡辺(@mochi_neko_7)です。 少し前にTwitterで、GitHub CopilotがLGPLライセンスのコードをライセンス表記なしに出力する、という話が話題になったのをご存じですか? @github copilot, with "public code" blocked, emits large chunks of my copyrighted code, with no attribution, no LGPL license. For example, the simple prompt "sparse matrix transpose, cs_" produces my cs_transpose in CSparse. My code on left, github on right. Not OK. pic.twitter.c

                                                          ソフトウェアライセンスでヒヤッとした事例から学んだ教訓 - Activ8 Tech Blog
                                                        • 無料で使える公開 API のリスト:48 カテゴリ - Qiita

                                                          A collective list of free APIs API Key の登録なし+無料で株価情報が取れる API ないかなーと探していたら、面白いリストが見つかりました。48 カテゴリにわたり数百もの API がリストされています。545 contributors (2019/11/6 時点) によるまさに集合知(?)ですね。 Github: https://github.com/public-apis/public-apis A collective list of free APIs for use in software and web development. の説明通り、 Animals Anime Anti-Malware Art & Design Books など、どんなデータ?と思うようなカテゴリから、 Geocoding、Jobs、Music まで、全部見ることが

                                                            無料で使える公開 API のリスト:48 カテゴリ - Qiita
                                                          • 【Streamlitよりいいかも?】機械学習系のデモアプリ作成に最適!Gradio解説 - 学習する天然ニューラルネット

                                                            はじめに Streamlit vs Gradio Gradioの設計思想 Interface 入出力に応じたUI Interface String Shortcut 入力データのサンプルのセット ドキュメンテーション テーマの変更 タイムアウトへの対処 中級者への第一歩、デモを作る際に知っておきたい処理 Gradioが担当する前処理について プログレスバー もろもろの出力結果を保存するには? 認証認可(というか認可) その他、解説しないが需要の有りそうなもの まとめ 追記 : 動画になりました。 はじめに 機械学習系のデモアプリを作成することがしばしばありStreamlitを使用していたが、パラメーターなどをいじるたびに処理が最初から走るなどといった挙動に悩まされていた。 同僚がGradioというのを使っていたのでサーベイがてらメモしていたらブログが出来上がってしまった。 本ブログでは、G

                                                              【Streamlitよりいいかも?】機械学習系のデモアプリ作成に最適!Gradio解説 - 学習する天然ニューラルネット
                                                            • まるでDocker Desktop!!Rancher Desktopの登場です - Qiita

                                                              [7/10更新]末尾にDocker DesktopとRancher Desktopの比較を追加しました。 Ranchar社からRanchar Desktopが登場しました。 公式サイトはこちら なんとなく、Docker Desktopの代わりになりそうに見えます。 Ranchar Desktopのインストール 公式のインストール手順はこちら。 Widnows、macOS、Linuxに対応しています。 特にWindowsについては Rancher Desktop requires Windows Subsystem for Linux on Windows; this will automatically be installed as part of the Rancher Desktop setup. Manually downloading a distribution is not

                                                                まるでDocker Desktop!!Rancher Desktopの登場です - Qiita
                                                              • React開発効率を3倍にするVS Code拡張機能&環境設定 - Qiita

                                                                この記事を読むと VSCodeを最適化することで、React開発効率が加速します。 関数コンポーネントの雛形が一瞬で出来る。しかもファイル名がそのままコンポーネント名になる ES6の作法に則った作法で自動でコード整形してくれる。どういう時に関数内の()が省略できるか等を覚えなくて良い useEffectの最適な第二引数を自動で補完してくれる コンポーネントのimport文を自動で挿入してくれる なぜこの記事を書いたのか VSCodeは素晴らしいテキストエディタです。 特に、React開発においてはもはやデファクトスタンダードです(長年愛用しているエディタがある方も、是非一度VSCodeを試してみてください)。 さて、VSCodeはそのままでも素晴らしいエディタです。しかし、使用するフレームワークや用途に応じて拡張機能を入れるとさらにその卓越した機能性を発揮します。VSCodeがなぜ世界中の

                                                                  React開発効率を3倍にするVS Code拡張機能&環境設定 - Qiita
                                                                • ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG

                                                                  こんにちは、SRE部MA基盤チームの谷口(case-k)です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ

                                                                    ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG
                                                                  • Microsoft Fabricの登場 - テクテク日記

                                                                    米国時間2023年5月23日から開催されたMicrosoft Buildは、歴史的な瞬間となりました。データアナリティクスの世界において世界初となるエンドツーエンド(E2E)のSaaS*1型アナリティクスサービス、Microsoft Fabric(以降「Fabric」)の登場です。Microsoft Fabricは業界の常識を覆すほどのインパクトを持ち、ビッグデータ分析、セルフサービス分析、データサイエンスプロジェクトなど、あらゆるデータニーズを満たす革新的なクラウドサービスが誕生しました。 Microsoft Power BIの製品チームに所属していることもあり、Fabricについては入社時に知るようになりました。今回のMicrosoft Buildでその瞬間に立ち会えることができ、非常に嬉しく思います。今まではPower BIを広める立場ということで他のAzureサービス*2との関わり

                                                                      Microsoft Fabricの登場 - テクテク日記
                                                                    • Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%

                                                                      Scaling up the Prime Video audio/video monitoring service and reducing costs by 90% The move from a distributed microservices architecture to a monolith application helped achieve higher scale, resilience, and reduce costs. At Prime Video, we offer thousands of live streams to our customers. To ensure that customers seamlessly receive content, Prime Video set up a tool to monitor every stream view

                                                                        Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%
                                                                      • regreSSHion: Remote Unauthenticated Code Execution Vulnerability in OpenSSH server | Qualys Security Blog

                                                                        The Qualys Threat Research Unit (TRU) has discovered a Remote Unauthenticated Code Execution (RCE) vulnerability in OpenSSH’s server (sshd) in glibc-based Linux systems. CVE assigned to this vulnerability is CVE-2024-6387. The vulnerability, which is a signal handler race condition in OpenSSH’s server (sshd), allows unauthenticated remote code execution (RCE) as root on glibc-based Linux systems;

                                                                          regreSSHion: Remote Unauthenticated Code Execution Vulnerability in OpenSSH server | Qualys Security Blog
                                                                        • Clubhouseを支えている技術とアーキテクチャ、セキュリティについて - LayerX Research

                                                                          #LayerX_Newsletter 2021-02-19 TL;DR Clubhouseは極めてシンプルなアーキテクチャ 音声データはAgoraを、リアルタイム性の高い情報の扱い(ルームの中など)はPubNubを利用 音声データが暗号化されていないなどセキュリティ面での課題も多い Clubhouseは招待制の音声配信SNSで、2020年Aplha Exploration社が開発したこのサービスは、つながりがある人同士でラジオ放送のように自由に会話を楽しんだり、興味ある人はその会話を傍聴、さらには会話に飛び入り参加もできる特徴がある。2021年に入り世代・国籍・性別を問わず爆発的人気となっており、日本では2021年1月からスタートアップ界隈を中心に一気に話題が広がっている。また、テスラの創業者や有名人・著名人などが利用しはじめたことで大きな注目を浴びた。今回はClubhouseはどのような

                                                                            Clubhouseを支えている技術とアーキテクチャ、セキュリティについて - LayerX Research
                                                                          • Twitter の検索システム、Earilybirdの論文を読む

                                                                            2023-04-29 前回の記事の続き1で、Twitter の検索システムシリーズ第 2 弾です。 Earlybird とは?Twitter の検索システムであり、 Apache Lucene をベースにした、リアルタイム検索システム。 論文はここで、 Blog 記事は The Engineering Behind Twitter’s New Search Experienceは 2011 年に公開されている。 TODO: 論文に書かれず、Blog 記事にのみ書かれている内容もあったので読んで追記しておく Web 検索はある程度成熟してきた分野だが、SNS のリアルタイム検索はまだ 2011 年当時いまだ未成熟で未開拓な分野Twitter で新たに開発したのが、 Earlybird と呼ばれるリアルタイム検索に特化した検索エンジンLucene の NRT 機能が導入され始めたのが、2011

                                                                              Twitter の検索システム、Earilybirdの論文を読む
                                                                            • 漫画家 浅野 いにお氏、Unreal Engine でリアルタイム背景を制作する

                                                                              漫画制作の背後ではどのような創作上のプロセスが実行されているのだろうかと想像してみるとき、リアルタイム ゲーム エンジンのテクノロジーが真っ先に思い浮かぶことはないかもしれません。しかし、ある日、世評高い漫画家の浅野 いにお氏は、ある日、「もしゲーム エンジンを使ったらどうなるだろうか?」と考えてみたのです。 数度の実験を経たのち、浅野氏の努力は、一つの革新的なテクニックへと結実しました。非常に魅力的で独特の雰囲気をたたえる背景を作り出し、浅野氏が描く漫画のシーンに用いることができるようになったのです。現在、浅野氏は Unreal Engine を創造プロセスに組み込み、『デッドデッドデーモンズデデデデデストラクション』の制作を行っています (週刊ビッグコミックスピリッツ誌にて連載中)。 「これまでは、リアルな背景を作ろうとするときは、必ず、写真を加工して漫画の絵として取り込む方法をずっと

                                                                                漫画家 浅野 いにお氏、Unreal Engine でリアルタイム背景を制作する
                                                                              • Teslaはカメラを使ってどのように世界を認識しているか

                                                                                はじめに TURINGの井ノ上です。TURINGは「We Overtake Tesla」をミッションに、完全自動運転EVの開発・製造を行っています。TURINGはEnd-to-Endな深層学習モデルでLv5完全自動運転車の開発を目指しています。現在、TURINGではカメラセンサから得た画像を用いて車体の操作や経路選択、安全性の判断を行えるAIモデルの開発を行っています。(実際の車を動かす事例はこちらの記事やこちらの記事をご覧ください。) この記事では私達が目標としているTeslaの自動運転のAIモデルについて紹介します。 Teslaの自動運転 こちらは2022年に公開されたTeslaの自動運転をユーザーが使っている動画です。 車の中央にあるディスプレイにはAIが道路や車を認識してどういった経路を進むかを示しており、その情報をもとに自動運転している様子があります。Teslaの自動運転の能力の

                                                                                  Teslaはカメラを使ってどのように世界を認識しているか
                                                                                • 組織でナレッジを共有できる新プロダクト「Strap」 その開発技術に「TypeScript」「Firebase」「PixiJS」「React」を選んだ理由

                                                                                  Goodpatch主催のイベント「のぞき見企画!ICS×Goodpatch Anywhere合同勉強会」で、Goodpatchのエンジニアマネージャーである西山氏が、自社プロダクトStrapの目指すものと開発技術について紹介しました。 Goodpatchのエンジニアマネージャー 西山雄也氏:先日Goodpatchの新しいプロダクトとしてβ版をリリースしたStrapの紹介と、あとはそれにまつわるナレッジの紹介をもう1人の黄から発表します。 僕はGoodpatchのProduct Div.という自社プロダクト開発の部署でエンジニアマネージャーをやっています。プロトタイピングツール『Prott』とクラウドワークスペースツール『Strap』の開発責任者です。フルスタックエンジニアからフロントエンドエンジニアになり、今はGoodpatchに入ってマネージャーをやっているという経歴です。 僕はいわゆる

                                                                                    組織でナレッジを共有できる新プロダクト「Strap」 その開発技術に「TypeScript」「Firebase」「PixiJS」「React」を選んだ理由