MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 bashパフォーマンスMySQLInnoDBDB設計インデックス こんにちは、羽山です。 今回は MySQL のプライマリキーに UUID を採用する場合に起きるパフォーマンスの問題を仕組みから解説します。 MySQL(InnoDB) & UUID のパフォーマンスについては各所でさんざん議論・検証されていますが、論理的に解説した記事が少なかったり一部には誤解を招くようなものもあるため、しっかりと理由から理解するための情報として役立つことができればと思っています。 UUID と比較される古き良き昇順/降順のプライマリキーはというと、 MySQL の InnoDB において良いパフォーマンスを出すために縁の下の力持ちのような働きをしてくれているケースが実は少な
![MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e9d48c3c6f38c2d5f71897d98efcb251289d1f9/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F07%2Fboard-755792_800.jpg)
【感想】『りあクト！ Firebaseで始めるサーバーレスReact開発』： #りあクト でmBaaSへ - Rのつく財団入り口
表紙は親密度の上がった笑いあう二人。尊い…(違) 技術同人誌の『りあクト！』３部作と続編も読んだので、5作目を読みました。 今回はこれまでのReact開発の知見を活かし、BaaSあるいはmBaaSの代表格Firebaseにバックエンドをお任せし、世の中に公開していく実際のサービスをサーバーレスで開発していく本となっています。今回もまたまた本文は会話形式で読みやすいです。 表紙は親密度の上がった笑いあう二人。尊い…(違) 第1章 プロジェクトの作成と環境構築 第2章 Seed データ投入スクリプトを作る 第3章 Cloud Functions でバックエンド処理 第4章 Firestore を本気で使いこなす 第5章 React でフロントエンドを構築する 第6章 Firebase Authentication によるユーザー認証 まとめ：Firebaseを使ったサーバーレス開発がわかる本
Amazon Web Services ブログ Amazon DynamoDB での優先度付きキューの実装 キューイングは、分散処理システムで計算コンポーネントを分離するために一般的に使用されるソリューションです。これは、サーバーレスおよびマイクロサービスアーキテクチャで使用する非同期通信システムの形式です。メッセージは処理のためにキューで待機し、1 人のコンシューマーが受信するとキューから出ます。このタイプのメッセージングパターンは、ポイントツーポイント通信と呼ばれます。 この記事では、他の大規模なキューイングシステムで行うように、Amazon DynamoDB テーブルのいずれかを、エンキュー (メッセージをキューに配置) とデキュー (メッセージを読み取り、キューから削除) が行えるキューに変換する方法について説明します。 DynamoDB は、任意の規模で 1 桁のミリ秒のパフ
タイムゾーン呪いの書 (実装編)
「タイムゾーン呪いの書」は、もともと 2018年に Qiita に投稿した記事でしたが、大幅な改訂を 2021年におこない、同時にこちらの Zenn に引っ越してきました。この改訂で記事全体が長大になったので、「知識編」・「実装編」・「Java 編」と記事を分けることにしました。 この「実装編」は、導入にあたる「知識編」の続きとなる第二部です。おもに Software Design 誌の 2018年 12月号に寄稿した内容をベースにしていますが、修正した内容もかなりあります。本記事全体を通して「知識編」を読んでいることを前提にしているので、ご注意ください。旧 Qiita 版にあった Java 特有の内容は、第三部にあたる「Java 編」にあります。 はじめに 先の「知識編」では、この時刻とタイムゾーンという厄介な概念について一般的な知識を紹介してきました。さて、ではこの知識を具体的に実装に
{"name": "佐藤", "age": 22, "edu-background": "Hoge University"}, {"name": "鈴木", "age": 24, "edu-background": "Fuga University", "foreign-lang": ["English", "Spanish"]}, {"name": "髙橋", "age": 25, "edu-background": "Fuga University", "foreign-lang": ["English"], "written-book": ["Intro to DB"]}, {"name": "田中", "age": 33, "edu-background": "Foo University", "written-book": ["Intro to Java", "Advanced
こんにちは、メルペイ DataPlatformチーム(@rerorero, @darklore, @laughingman7743)です。 この記事は、Merpay Tech Openness Month 2022 の14日目の記事です。 今日はメルペイ DataPlatformで取り組んでいるCDCパイプラインについて紹介します。 CDCパイプラインとは何か CDCとは Change Data Capture の略称で、データベース内のデータの変更（新規作成、削除、変更など）を追跡するシステムです。データソースで発生した変更は、ニアリアルタイムでデータシンクに反映させることができます。 CDCの実現方法にはいくつかあるのですが、メルペイ DataPlatformでは以下の2つの方法を使ったパイプラインを構築しています。 Striim社のブログ がよくまとまっていたので、こちらから引用させ
Transcript GA4+BigQuery ハンドブック Ver 1.0.0α しんゆう @data_analyst_ 本資料について • GA4＋BigQueryはまだオフィシャルサイトにも情報が少 なく手探り状態 • そこでいろいろな情報を１つにまとめておくことは有用だ と考えた • まだまだ取り組み始めたばかりなので間違いや効率の悪い 方法を見つけたら教えていただけると幸いです 本資料について About 本資料について • 2021/10/13 α版公開 更新履歴 About 名前：しんゆう @data_analyst_ ブログ：データ分析とインテリジェンス https://analytics-and-intelligence.net 最近の活動：データを使いやすくする人 （データアーキテクトまたはデータ整備人） スライドが表示されているページの下段にある説明欄からも リンクが
第688回の「eBPFのコンパイラーに対応したツールでさまざまな挙動を可視化する」ではBPF Compiler Collectionに付属の各種サンプルツールの使い方を紹介しました。今回はコンパイラーを活用して、自分でeBPF用コードを書くための基礎を学んでみましょう。 BCCのインストールとドキュメント 第688回も紹介したように、カーネル3.15で追加されその後拡充を続けている「eBPF」は任意の外部プログラムをカーネルの中で、より安全に実行できる仕組みです。カーネルモジュールを作る代わりに、独自のバイトコードをコンパイラーで生成し、それをカーネル内部にロード・実行することになります。これを使えばシステムコールの先のカーネルの状態を、プログラマブルに解析可能になります。 eBPF自体はカーネルの仕組みであり、ユーザーランドから使うためには、eBPF用のバイトコードにコンパイルする必要が
検索エンジンをVespaへ移行しています こんにちは、スタンバイで検索周りの開発を担当している鷹取です。 今回はスタンバイで利用している検索エンジンをVespaへ移行している話を紹介します。 検索エンジン移行の背景 Stanby Tech Blogのスタンバイ2+1年の軌跡の記事で説明されている通り、 スタンバイでは、主に求人検索機能を提供していますが、その中でもオーガニック(無料掲載)と広告(有料掲載)という２種類の検索が存在します。 この2種類の検索ではそれぞれで異なる検索エンジンを使用しています。 オーガニック検索: Yahoo! ABYSSという検索プラットフォーム 広告検索: Elasticsearch このようになっている背景については、前述の記事に詳細が記載されていますので、興味がある方はそちらをご参照ください。これまで、この２種類の検索エンジンを運用してきましたが、それぞれ
——————————————————————————————————————————————————— Redis(REmote DIrectory Server)Redisは例えば以下の特徴を持つLLOOGGを元としたインメモリの非リレーショナルのデータベースです。 String, List, Hash, Set, Sorted Setに代表される豊富なデータ型シングルスレッド処理イベント駆動処理 by aeライブラリ通常RESPプロトコルによるクライアント/サーバーモデルでリクエスト/レスポンスデータは条件を満たす場合にメモリ最適化されて保存。CPUとのトレードオフRAXを利用したメモリ利用量の最適化(Redis 4.0~)この記事では、入門から始まり、実装をより意識することで深く理解することを目標としています。 以下の説明中の(*)マークは、特にVanilla Redisでの話となり
web-vitals.js、Google アナリティクス、BigQuery を使用してパフォーマンスを測定する | Google Codelabs
web-vitals.js、Google アナリティクス、BigQuery を使用してパフォーマンスを測定する 1. 始める前に 演習内容 この Codelab で行う内容は次のとおりです。 Google アナリティクス 4 プロパティを BigQuery にリンクします。 web-vitals ライブラリをウェブページに追加します。 web-vitals データを準備して Google アナリティクスに送信します。 BigQuery でウェブに関する主な指標のデータをクエリします。 Google データポータルでダッシュボードを作成し、ウェブに関する主な指標のデータを可視化します。 必要なもの GA4 プロパティを持つ Google アナリティクス アカウント。 Google Cloud アカウント。 Chromium ベースのウェブブラウザ（Google Chrome、Microsof
プログラミング必須英単語600+
1 A accept【動詞】受諾する access【動詞／名詞】アクセスする ／アクセス account【名詞】アカウント、口座 algorithm【名詞】アルゴリズム allow【動詞】可能にする、許可する alternative【形容詞】代替の application【名詞】アプリケーショ ン apply【動詞】適用する argument【名詞】引数 array【名詞】配列 attribute【名詞】属性 audio【名詞】オーディオ、音声 author【名詞】作成者 available【形容詞】利用可能な、入 手可能な avoid【動詞】回避する B backup【名詞】バックアップ base【形容詞／動詞】ベースの、基 底の／〜に基づく（based on で） bit【名詞】ビット blank【形容詞】空白の block【名詞／動詞】ブロック／ブ ロックする boolean【形容詞
Firehoseで Parquet形式に変換したALBのアクセスログをAthenaで解析してみた | DevelopersIO
AWSチームのすずきです。 ALBのアクセスログ を Athena で効率の良い解析を行うため、 Lambda と Parquet形式への変換を有効にしたFirehose を利用する機会がありましたので、紹介させていただきます。 概要図 設定 今回のAWSリソース、CloudFormation で設置しました。主要な設定内容を紹介します。 利用したテンプレートは記事末尾にリンクします。 Glue Firehoseの変換データの出力先となる Glue Table の設定を行います。 TableInput 入出力フォーマットは「Parquet」を利用する指定とします。 TableInput: Owner: owner InputFormat: org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat OutputFormat:
※2022/9/24 UPDATE データ分析・集計でよく使うクエリを調べる時間を省くためにまとめています。 URLを階層で区切るページごとのPVやCTRを集計するときに、階層ごとに切り出して集計しやすくする時に使ったりします。 クエリ WITH data AS ( SELECT 'https://www.example.com/video/detail?id=100' url ) SELECT url, -- //からパラメータの間をマッチさせ/で分割 split(regexp_extract(url, '//[^/]+([^?#]+)'), '/')[SAFE_ORDINAL(2)] path1, split(regexp_extract(url, '//[^/]+([^?#]+)'), '/')[SAFE_ORDINAL(3)] path2 FROM data■SAFE_ORDINA
OBS Studioに関するメモを書いてる記事 ※「OBS Studioに関する個人的メモ」を移転しました。(現在は閲覧不可) 記事投稿日 2021年10月6日、最終投稿更新日 2024年04月06日 08時52分頃 文字数が凄く多いのでブラウザの検索機能をお使いください。 記事が見にくくて申し訳ありません。 (将来的に内容を細かく分けて記事にしたいと思っています。) ブラウザ検索ショートカット Windows : Ctrl + F macOS : Command + F この記事は下記環境を使用しています。 Linuxは使っていないのでメモしてません。 特定のデバイスがないと表示されないソースもメモしてません。 ★Windowsの場合 OBS Studio 30.1.2 (それ以下のバージョン、開発版も含まれます) OS : Windows 11 Pro 64bit (23H2) CPU
Redshift Federated Query for RDS/Aurora MySQL をつかったType-2 Slowly Changing Dimensionの実装 - KAYAC engineers' blog
こんにちは。技術部の自称データエンジニアの池田です。 Redshift Federated Query for RDS/Aurora MySQL(Federated Query for MySQL)がめでたくGAになりました。 Federated Query for MySQLを使うと、RedshiftからAurora MySQLにクエリを発行し、その結果をRedshift上で利用することができます。 今回は、この機能を使ったType-2 Slowly Changing Dimension(SCD2) の実装の話をします。 aws.amazon.com TL;DR Change Data Capture（CDC）を実装・運用するほどじゃないけど、State Sourcingなテーブルの変更履歴を追跡したいときには、SCD2を使うと嬉しいです。 Federated Query for MyS
本記事は PostgreSQL Advent Calendar 2019 の1日目の記事です。初日から遅れ気味ですすみません。。 久しぶりの記事ですが、最近はPostgreSQLをゴリゴリと触る感じでもなくなってきているため、本記事もゆるめの感じでお送りしたいと思います。 ■PostgreSQLの「パフォーマンス分析」とは PostgreSQLのパフォーマンス分析は、ざっくり言って、以下のようなステップで進められます。（PostgreSQLには限らないと思いますが） パフォーマンスの状況から、課題について仮説を設定する。 パフォーマンスに関連する何の情報を収集するかを決める。 情報を収集する。 収集した情報を加工し、分析しやすい形式に整える。 分析し、仮説を検証、ないしは何かを発見する。 より深堀り、確証を高めるために、再度情報集をしたり、データを加工、分析したりする。 何か対策を打って、
AWSオンラインセミナー「さあ、始めよう！AWS が提供するサーバーレス時系列データベース」資料・動画及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ AWSオンラインセミナー「さあ、始めよう！AWS が提供するサーバーレス時系列データベース」資料・動画及び QA 公開 先日(2023/9/14) に開催した AWS オンラインセミナー「さあ、始めよう！ AWS が提供するサーバーレス時系列データベース」の資料・動画を公開しました。今回のセミナーでは Amazon Timestream を利用した事例や、実際のデモをご覧いただきながら時系列データの活用方法をご紹介しています。 当日、参加者の皆様には数多くの QA を頂きありがとうございました。頂いた QA の一部についても共有しておりますので、併せてご参照ください。 【資料/動画】 時系列データのユースケースと Timestream 概要 資料 (PDF) | 動画 (Youtube) Demo for Beginners – 初めての T
DiscordとLINEをPython+FastAPI+Dockerで連携させる【その2】LINEからDiscordへテキストメッセージ - Qiita
DiscordとLINEをPython+FastAPI+Dockerで連携させる【その2】LINEからDiscordへテキストメッセージ 挨拶 こんにちは。マグロです。 前回の続きとなります。 今回はLINEからDiscordへテキストメッセージを送れるようにします。 設計 LINEBotはメッセージを受け取った場合、Developerサイトで設定したWebHookに内容が送信されます。 そのためFastAPIでサーバーを立ち上げ、WebHookを設定します。 しかしここで一つ問題があります。 そこからどうやってDiscordに送る？？ Discord.pyやPycordを使って送ればいいと思いますが、Botの起動が優先されてしまい、サーバーが立ち上がりません。 DiscordBot内にFastAPIを組み込む方法はあるようですが、cogでは使用不可の模様。 こうなると並列でサーバーを起動
To English Document. 2019年12月6日ごろ、GTMのコミュニティテンプレートギャラリーへ新たに「Elapsed Time」変数テンプレートが掲載されました。 これはざっくりと言うとページ表示からの経過時間を取得する変数テンプレートで、簡単に使い方などをご紹介しますね。 なお今回もグローバルに世界中からアクセスされる可能性があるため、本記事についても日本語と英語を併記させていただいております。 前半は日本語文章、後半は英語文章という構成になっておりますが、中身はなるべく同じものとしています。 コミュニティテンプレートギャラリーはこちら。GitHubはこちら。 Elapsed Timeはページ表示からの経過時間を取得する変数テンプレート インポート方法 使用例：GAでのユーザーアクションの計測時に経過時間を含める 進んだ使い方 数値の粒度をざっくりとしたものへまとめる
【文脈理解（履歴の記憶）に対応！】ChatGPT x GoogleAppsScript（GAS）でLINEbotを作ってみた - Qiita
【文脈理解（履歴の記憶）に対応！】ChatGPT x GoogleAppsScript（GAS）でLINEbotを作ってみた はじめに 本記事は、以下の記事の続編です。 こちらの記事で説明している内容については本記事では省略しますので、初めての方はまずはこちらをご確認ください。 こんなことができます 以下の要件を満たしたLINEbotが作れます。 ボットに人格設定可能 音声入力にも対応 スタンプの意味も解釈して返答可能 前の会話の文脈を踏まえて回答（←New!） 実装方針 記憶を持たせるということは、会話の履歴をどこかに保存しておく必要があります。 元記事ではすでに会話履歴をスプレッドシートに記録する仕組みを作成しているので、これを利用します。 また、「最大でどれくらいの記憶を持たせるか」、「いつまでの記憶を持たせるか」という点についても考慮していきます。 最大でどれくらいの記憶を持たせる
【製造業 IoT の第一歩】三菱電機のシーケンサ MELSEC から取得した設備データを AWS に保存するまで | DevelopersIO
製造業の IoT 導入はとても奥が深い世界です。実際に試してみた内容や考慮したポイントの一端をご紹介します。 概要 最近、製造業の設備データを収集して AWS で可視化・活用したいというお問い合わせを受けることが多くなりました。 特に、一定の規模以上の工場などでは、PLC （Programmable Logic Controller）という設備機器を制御する装置が利用されていることが多く、この PLC から直接データを取得したいというケースがあります。 そこで今回は、この PLC からデータを取得して、時系列データベースである Amazon Timestream に保存するまでの手順を紹介したいと思います。 余談 製造業においては、「シーケンサ」というと一般的に PLC 全般のことを指して表現されることが多いですが、シーケンサは 三菱電機の PLC 製品名です。 しかし、国内の PLC 製
Kafka入門 第2回 「Kafka Streamsを使ったストリーム処理アプリケーション開発」 - joker1007’s diary
以前にAWS Summitで似た様な話をしているので、こちらのブログとかも参考にしてください。 https://dev.classmethod.jp/articles/aws-summit-online-2020-cus-47/ 今回の内容も、公式のドキュメントを全部読むなら大体書いてあることなので、既にある程度知っているという方は、後半の「StateStoreの実態」以降の部分だけを読んでもらえれば特に注意すべきことが書いてあります。 参考 https://docs.confluent.io/ja-jp/platform/6.2.0/streams/index.html https://docs.confluent.io/platform/7.0.1/streams/index.html ストリームプロセッシングとは イベントストリームに対して、データが到着するたびに処理を行い、それが延
【Javascript】 Timestamp を yyyy/MM/dd HH:mm:ss 形式で 時刻に変換する - Qiita
// 引数 timestamp の単位はミリ秒であるとする const timestampToTime = (timestamp) => { const date = new Date(timestamp * 1000); const yyyy = `${date.getFullYear()}`; // .slice(-2)で文字列中の末尾の2文字を取得する // `0${date.getHoge()}`.slice(-2) と書くことで０埋めをする const MM = `0${date.getMonth() + 1}`.slice(-2); // getMonth()の返り値は0が基点 const dd = `0${date.getDate()}`.slice(-2); const HH = `0${date.getHours()}`.slice(-2); const mm = `0$
WebCodecs による H.264 を再生する Video Player パーツの改善と苦労の軌跡 - aptpod Tech Blog
こんにちは。Visual M2M Data Visualizer の製品開発を担当している白金です。 以前に、「WebCodecs の VideoDecoder を使用してH.264の動画を再生してみた」の記事を紹介させていただきました。 tech.aptpod.co.jp その後、弊社が提供するVisual M2M Data Visualizer に含む標準ビジュアルパーツ「Video Player パーツ」に WebCodecs の VideoDecoder を適用した結果、複数の課題が改善できましたので、改善結果と苦労の軌跡について紹介したいと思います。 Visual M2M Data Visualizer を利用した動画ストリーミング再生に興味がある方、または WebCodecs の VideoDecoder を利用中・利用したい方のお役に立てたら嬉しいです。 WebCodecs
NTPの次期バージョンとなるv5のドラフト(草案)が出たので目を通す。 はじめに NTPv5 Clientモード/Serverモードのみサポート UTC以外のtimescaleに対応 (leap smearもあるよ！) アルゴリズムの記述を削除 NTP Interleaved Modes用 Cookie Reference IDsの改善 32-bit 秒フィールドの高精度化 拡張 パケットフォーマット おわりに はじめに 2010年にRFC 5905としてNTPv4が標準化されています。それから10年たち、IETFのNTP WGではNTPv4の問題点を整理ながら、NTPv5をどのようにするか議論してきました。 そして11月23日にRed HatのMiroslav Lichvar氏から最初の草案となる「Network Time Protocol Version 5」が提出されました。 下記の
AWS のビデオ分析と Elasticsearch の全文検索を使って映像検索システムを作りました。 - Qiita
AWS のビデオ分析と Elasticsearch の全文検索を使って、映像検索システムを作りました。記録を残させていただきます。 報告する内容 検索サービス概略 Amazon Rekognition というビデオ分析サービスから得られる情報 得られる情報が英語なので、翻訳サイト Excite で翻訳して使うことにしました。 Elasticsearch のデータスキーマ 検索サービスのアルゴリズム 映像頭出し再生の HTML と Javascript ほかに考えられる映像検索サービス システムを構築したのが2年前くらいなので、Elasticsearch のバージョンが6くらいです。Java でプログラミングしてあり、今も動きますが、Java のバージョンも11です。なので、プログラムは掲載しません。エッセンスのみご報告させていただきます。 検索サービス概略 検索サービスを受け付けるページは
Nampスキャンの全コマンド・オプションを日本語解説|ネットワークのセキュリティーはNmapで抑えよう – Self branding
世の中にはたくさんのペンテスト・脆弱性診断ツールがありますが、全ての現場で利用されていたツールが２つだけあります。 「Nmap」と「Burp Suite」です。今回は「Nmap」の方にフォーカスを当てて解説していきたいと思います。 「Nmap」のイメージは一般のハッキングのイメージに非常にマッチしているため、マトリックスやダイ・ハード4.0などの映画のシーンにも利用されています。ただNampを利用する人でしっかり仕組みを理解している人は少数派です。なんとなくポートスキャンをするツールがこれほど世界的に利用されるツールになる訳がありません。 皆さんは「FTPバウンス攻撃を再現するオプション」「IPv6でスキャンすオプション」はご存知でしょうか。 Nmapでは実に多様な環境でネットワーク・プラットフォームの診断、ペンテストを行う機能を有しています。 また、NmapはNetwork Mapper
SYSDATE 関数を Oracle から PostgreSQL に変換する | Amazon Web Services
Amazon Web Services ブログ SYSDATE 関数を Oracle から PostgreSQL に変換する AWS クラウドで Oracle から PostgreSQL に移行するプロセスは何段階もあって複雑になりがちです。評価ステージから切り替えステージまで、さまざまなテクノロジーとスキルが必要になります。移行プロセスの詳細については、「データベースの移行 — 開始する前に知っておくべきこと」、「移行プロセスとインフラストラクチャの考慮事項」、「ソースデータベースの考慮事項」と「PostgreSQL 環境でのターゲットデータベースの考慮事項」を参照してください。 Oracle から Amazon RDS または Amazon Aurora PostgreSQL に移行する際に最もよくある問題の 1 つが、SYSDATE 関数にまつわる問題です。SYSDATE は、アプリ
アニメーションは画面の遷移やボタンの演出など、あらゆるウェブコンテンツやアプリケーションで利用されています。CSSならanimationやtransition、JavaScriptであればCreateJSやTweenMaxなどのJavaScriptライブラリを利用して制作している人がおおいでしょう。 私はFlashの全盛期に「Tween24」というアニメーションライブラリを自作していたこともあり、アニメーションには人一倍の思い入れがあります。しかし、その仕組みを理解している方は意外にも少ないのではないでしょうか。 ライブラリやフレームワークといったテクノロジーは、仕組みや原理を理解しておくことで備わっている機能をより活用でき、また応用の幅も広がります。今回はアニメーションライブラリの基礎部分の実装を交えながら、アニメーションの仕組みを紹介します。 ※この記事はアニメーションの原理の説明に焦
みんなtai64nを使おう。と言いたいところだけれど、サポートしてるところが見当たらないのでナシだ。 個人的に好きなのはナノ秒単位のUnixタイムスタンプだ。 OpenTelemetryのOTLPでもナノ秒タイムスタンプを使っている。 "logRecords": [ { "timeUnixNano": "1544712660300000000", (opentelemetry-protoのexample より) しかし、これはスキーマが厳密に定義されているOTLPだからこそできる事であって、普通にJSON linesのログをあちこちで扱うには問題がある。 レコード名が "time" や "timestamp" だとナノ秒なのかマイクロ秒なのかわかりにくい そもそも人間はUnixタイムスタンプを読めるようにできていない 整数の代わりに実数を使えば、精度はマイクロ秒に落ちてしまうものの、単位が
概要 APIサイドからJSONを通じてフロント側（JavaScript）でデータを受け取るとき、日付を比較したい時がある。 そんなとき、JSONから受け取ったcreated_atなどの日付データ（timestamp）はそのままJavaScript側では使えない・・。 そこでJSONのtimestampをJavaScriptでDateとして使えるようにしていく。 やり方 // 任意の方法でjsonからtimestamp型の値を受け取る // ここでは"timestamp"という変数として扱う console.log(timestamp); // 2021-09-17T06:21:00.101Z var date = new Date(timestamp); console.log(date); // Fri Sep 17 2021 15:21:00 GMT+0900 (日本標準時) //20
【Iceberg 1.5新機能】viewの紹介 - 共通メタデータ形式とバージョン管理が実現する新たな可能性 - 流沙河鎮
はじめに Iceberg view概要 一般的なクエリエンジンにおけるviewの役割 Iceberg viewを使ってみる Iceberg viewのコンセプト メタデータ形式の共有 viewのバージョン管理 Iceberg viewの構成要素と仕組み View Metadata versionsフィールド representationsフィールド 「create_changelog_view」プロシージャによるIcebergのCDC create_changelog_view create_changelog_viewの使い方 引数 アウトプット create_changelog_viewの実行例 Tips Carry-over Rows Pre/Post Update Images ユースケースのアイデア おわりに Appendix: Viewサポートに関連するPR はじめに 2024
はじめに 近ごろ IoT プログラミングしたい欲が再起動した e.mattsan です。 IoT とは言っても Raspberry Pi などではマシンパワーも小さくなく、外部にデバイスを接続する以外は PC のプログラミングとほぼ変わりありません。 今回の記事は、題名の通り、ブラウザ上に表示したボタンでブレッドボード上の LED の点灯状態を制御し、ブレッドボード上のスイッチでブラウザ上のアイコンの表示状態の変更をすることを試みます。 はじめに Elixir とウェブアプリケーションと IoT 用意するもの Nerves アプリケーションで LED を点滅させる GPIO パッケージを追加する LED を点滅させる スイッチで LED を点灯消灯する ソフトウェアインタフェースを追加する ウェブアプリケーションを作る ノードを接続する Nerves アプリケーション側のノードを設定する
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon DynamoDB での優先度付きキューの実装 | Amazon Web Services
最適なデータベースを選択するために考慮するべきこと - Qiita
メルペイDataPlatformのCDC DataPipeline | メルカリエンジニアリング
GA4+BigQuery ハンドブック / ga4_bigquery
第690回 BCCでeBPFのコードを書いてみる | gihyo.jp
検索エンジンをVespaへ移行しています - Stanby Tech Blog
Dive Deep Redis ~ 入門から実装の確認まで - hayashier Tech Blogs
BigQueryチートシート｜とくきち（tokukichi）
OBS Studio に関するメモ - すたいるのOBS情報メモブログ
Jupyter+Pandasを使ったPostgreSQLパフォーマンス分析
GTMでページ表示からの経過時間を取得する「Elapsed Time」変数テンプレート | アユダンテ株式会社
NTPの次期バージョンv5の標準化が始まる - ASnoKaze blog
JavaScript製アニメーションライブラリの原理を理解しよう - ICS MEDIA
構造化ログのタイムスタンプ形式 - methaneのブログ
JSONで受け取ったtimestamp型の値をJavaScriptでサクッとDateに変換 - Qiita
物理スイッチとウェブ UIを繋ぐ。Elixirで。 - ESM アジャイル事業部 開発者ブログ