LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、Data Platform室IU Devチームの島村です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員が活用できるように、データの収集、処理、分析、可視化を提供しています。私が所属するIU Devチームでは、「IU Web」を開発しています IU Webは、IUのデータを安全にかつ効率的に活用できるようにするData Catalog機能を提供しており、LINEグループのあらゆるサービスか
イギリスロンドン発のスマホメーカー、 F(x)tec は物理キーボードを搭載するスマートフォン、「F(x) Tec Pro1 X」を発表しました。 本製品はクラウドファンディング大手INDIEGOGOにて発表され、公開からわずか2時間で目標金額に達したとのこと。 スペックに関しては、前モデルのF(x)tec Pro1からメモリ関係が強化され、実行メモリは最大8GB（LPDDR4）、ストレージは最大256GBとなっています。搭載SoCはSnapdragon 835。3世代前のハイエンドスマホ向けチップとなっています。ここは残念ですね。 物理キーボードの配列オプションはQWERTY、QWERTZ、Scandinavianの3種類。さらに搭載OSは、Lineage OS、Ubuntu OS、Android OSの3種類から選択可能。 Pro1 Xをモニターに出力してデスクトップのように使うことも
条件 現職で管理している現行のデータパイプラインである Treasure Workflow（managed digdag on TD）+ Presto に適用できること ウェブでメタデータのドキュメントが公開でき、社内に共有できること Data Lineage 的なデータの依存関係がわかること dbt dbt は構築したプロジェクトとその内部のクエリを元にドキュメントを自動で生成してくれる。データの依存関係のDAGを可視化してくれるようで、良さそう。dbt docs serve というドキュメントサイトをホストする機能も提供しているが、現時点では本番稼働を想定していないものらしい。その代わりに dbt Cloud を使う、生成したドキュメントを S3 でホストするなどの方法を推奨している。 The dbt docs serve command is only intended for lo
チャパンゲーマーの皆さん，こんにちは！ 昔々，私が以前のドメインで Lineage2 のエミュ鯖を運営していた事はどっかに書いたと思うけども，それ以上の事は必要もないので特に公開はしていませんでした． が，HDD 漁ってたら，当時の「 新規ユーザー向けゲームガイド 」が出てきたんですね． まあ，システムそのものもディレクトリツリーがまるごと残ってはいるんだけど，もはや依存関係でサーバーもクライアントも動かないので，当時の状況を知るにはこれしかない訳です． もしかすると「あの鯖だったのか！」とか思ってくれる人がいるかも知れないし，本家しか遊んだ事のない人はエミュ鯖の変貌っぷりに驚くかも知れないし，このゲームに対して各自それぞれ思い出はあると思うんですよね． そんな訳で，今回はゆるい内容で，当時を懐かしむだけのお楽しみコンテンツにしてみようかと． 最後に，プログラムの中身の事など秘密もちょっと
※本稿はテックブログからの転載です。 こんにちは。株式会社JDSCエンジニアリングメンバーの秋山です。 最近、データリネージという言葉を耳にしませんか？ データのリネージ（出自血統）。要するにデータウェアハウジングにおいて、データの生成経路を明らかにして、複雑化するデータパイプラインのマネジメントやガバナンスを強化するというもので、堅牢なデータ基盤を構築するにあたって、これからどんどん深堀りされていくだろうことはわかります。 ▲今はまだ明確なトレンドになっていないけど、徐々に右肩上がりになりつつありますね…。 引用元：Google Trends 「data lineage」https://trends.google.co.jp/trends/explore?date=2016-01-01%202021-05-21&q=data%20lineage (参照 2021–05–21) 今回は、そ
GitHub - reata/sqllineage: SQL Lineage Analysis Tool powered by Python
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
About data lineage | Data Catalog Documentation | Google Cloud
Send feedback About data lineage Stay organized with collections Save and categorize content based on your preferences. Data lineage is a Dataplex feature that lets you track how data moves through your systems: where it comes from, where it is passed to, and what transformations are applied to it. Why do you need data lineage? Dealing with big datasets often involves transforming data into entiti
Genomic Surveillance in Japan of AY.29—A New Sub-lineage of SARS-CoV-2 Delta Variant with C5239T and T5514C Mutations
AbstractIn the present study, we report a new sub-lineage of the SARS-CoV-2 Delta variant called AY.29, which has C5239T and T5514C mutations. We investigated the monthly trend of AY.29 in Japan within 11,954 Delta variants downloaded on September 3, 2021. Among the total Japanese Delta variants, the AY.29 sub-lineage accounted for 88.4%. In terms of monthly changes, the sequences became predomina
Report 42 - Transmission of SARS-CoV-2 Lineage B.1.1.7 in England: insights from linking epidemiological and genetic data
Key info Date: 31 December 2020 Authors: Erik Volz1, Swapnil Mishra, Meera Chand, Jeffrey C. Barrett, Robert Johnson, Lily Geidelberg, Wes R Hinsley, Daniel J Laydon, Gavin Dabrera, Áine O’Toole, Roberto Amato, Manon Ragonnet-Cronin, Ian Harrison, Ben Jackson, Cristina V. Ariani, Olivia Boyd, Nick Loman, John T McCrone, Sónia Gonçalves, David Jorgensen, Richard Myers, Verity Hill, David K. Jackson
dbtにより生成されるドキュメントの「Lineage Graph」を使って各dbtコマンドの実行対象のmodelやsourceを確認する #dbt | DevelopersIO
さがらです。 dbtでドキュメントをコマンド一つで簡単に生成出来るということは、dbtを少し知っている方ならご存知だと思います。 そんなdbtのドキュメントですが、ドキュメント上のLineage Graphを使って、--selectや--excludeでオプション指定した場合に実行されるmodelを確認できることはご存知でしょうか？私はつい最近まで知らなかったです。 「これ便利だなー！」と感じたので、dbtのドキュメント上のLineage Graphに関して、--selectなどのオプション含め、出来ることをまとめてみます。 Lineage Graphの起動方法 起動はとても簡単です！ 対象のドキュメントを開いたら、右下のアイコンを押せば起動できます。 次章から、このLineage Graph上での各機能についてまとめていきます。 resources まず、一番左下のresourcesにつ
Preliminary genomic characterisation of an emergent SARS-CoV-2 lineage in the UK defined by a novel set of spike mutations
Preliminary genomic characterisation of an emergent SARS-CoV-2 lineage in the UK defined by a novel set of spike mutations Report written by: Andrew Rambaut1, Nick Loman2, Oliver Pybus3, Wendy Barclay4, Jeff Barrett5, Alesandro Carabelli6, Tom Connor7, Tom Peacock4, David L Robertson8, Erik Volz4, on behalf of COVID-19 Genomics Consortium UK (CoG-UK)9. University of Edinburgh University of Birming
GitHub - GoogleCloudPlatform/bigquery-data-lineage: Reference implementation for real-time Data Lineage tracking for BigQuery using Audit Logs, ZetaSQL and Dataflow.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Lineage-specific growth of SARS-CoV-2 B.1.1.7 during the English national lockdown
Lineage-specific growth of SARS-CoV-2 B.1.1.7 during the English national lockdown Preliminary report. Harald Vöhringer1, Matthew Sinnott2, Roberto Amato2, Inigo Martincorena2, Dominic Kwiatkowski2, Jeffrey C. Barrett2 and Moritz Gerstung1, on behalf of The COVID-19 Genomics UK (COG-UK) consortium3 1 European Molecular Biology Laboratory, European Bioinformatics Institute EMBL-EBI 2 Wellcome Sange
GitHub - tohjustin/kube-lineage: A CLI tool to display all dependencies or dependents of an object in a Kubernetes cluster.
$ kube-lineage clusterrole system:metrics-server --output=wide NAMESPACE NAME READY STATUS AGE RELATIONSHIPS ClusterRole/system:metrics-server - 30m [] └── ClusterRoleBinding/system:metrics-server - 30m [ClusterRoleBindingRole] kube-system └── ServiceAccount/metrics-server - 30m [ClusterRoleBindingSubject] kube-system ├── Pod/metrics-server-7b4f8b595-8m7rz 1/1 Running 30m [PodServiceAccount] kube-
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LINEの大規模なData PlatformにData Lineageを導入した話
Ubuntu Touch/Lineage OS選択可能スマホ！「F(x) Tec Pro1 X」 - すまほん!!
Data Lineage したい - satoshihirose.log
元鯖管が振り返る リネージュ2(Lineage2)エミュ鯖とはなんだったのか？旧プレイガイドを紹介
Data Lineageについて、調べてみました！｜株式会社JDSC