オートモーティブの大規模データ処理を支える技術 後編: 大規模地図データ構造の最適化 | BLOG - DeNA Engineering
はじめに こんにちは。システム本部 分析推進部の鴨志田良和です。 [DeNA TechCon 2020] (https://techcon.dena.com/2020/) にて発表する予定だった内容をBlog記事としてお届けします。 今回は「オートモーティブの大規模データ処理を支える技術」と題して、前後編でお送りします。 (前編は こちら ) 後編となる本稿では、 マップマッチ処理で使用される、大規模な地図データを効率よく格納して 扱うための工夫についてご紹介します。 大規模地図データを扱う上での問題 マップマッチ処理(生のGPSデータの誤差を補正して道路上の位置を推定し、経路情報を得る処理) においては、 道路同士の位置や接続関係をグラフ構造のデータとして格納した地図データ (以下、「道路ネットワーク」と呼びます)があらゆる段階で利用されます。 日本全国の地図のように、 扱うデータの規模
ラベル伝播アルゴリズム - Platform For AI - Alibaba Cloud ドキュメントセンター
ラベル伝播アルゴリズム (LPA) は、半教師付き機械学習アルゴリズムである。 頂点のラベル (コミュニティ) は、隣接する頂点のラベルに依存します。 依存度は、頂点間の類似性によって決定される。 データは、反復伝搬更新を実行することによって安定する。 Label Propagation Clusteringコンポーネントは、グラフ内のすべての頂点の収束後に各頂点のグループを提供できます。 アルゴリズムの説明グラフクラスタリングは、グラフのトポロジに基づいてグラフをサブグラフに分割するために使用されます。 したがって、サブグラフ内の頂点間のリンクは、サブグラフ間のリンクよりも多くなります。 このアルゴリズムは、一意のラベルを使用して各頂点を初期化し、頂点を反復し、コミュニティ内の隣接する頂点の中で最も頻繁に現れるラベルを頂点に割り当てます。 アルゴリズムは、各頂点がその隣接する頂点の中で最
ラベル伝播法・拡散法による半教師あり学習で少量のラベル付きデータから分類モデルを作る - Qiita
はじめに こんにちは，(株)日立製作所 研究開発グループ サービスコンピューティング研究部の露木です。 機械学習で一般的な教師あり学習の問題として，正解ラベルの付いているデータを大量に準備しなければならないことが挙げられます。この問題を解決するために，ラベルなしデータを活用することで必要なラベル付きデータの数を削減する半教師あり学習の分野があります。そして，半教師あり学習の一種にグラフベースのラベル伝播法があります。 ラベル伝播法は，あるデータのラベルをその近傍にあるラベルのないデータにコピーする (伝播させる) ことで，少量のラベル付きデータからモデルを学習します。また，「グラフベース」と呼ばれる理由は，ひとつひとつのデータをノード，データの類似度をエッジ (の重み) としたグラフを構成して，このグラフ上でラベルを伝播するからです。このとき，類似度の計算にカーネル法を組み合わせることで非
Label propagationとLabel spreading - でかいチーズをベーグルする
グラフベース半教師あり学習 (SSL) のLabel propagation (LP) とLabel spreading (LS) の違いを説明している文献があまりなかったのでそれについてちょっと書いてみる。SSL自体とかLP、LSについては以下の記事にまとめた文献がいい感じなのでそちらを参照。 半教師あり学習のモデル仮定 - でかいチーズをベーグルする LPの元論文はこれ (PDF) "Semi-Supervised Learning Using Gaussian Fields and Harmonic Functions", ICML2003 LSの元論文はこれ (PDF) "Learning with Local and Global Consistency", NIPS2003 まとめ LPとLSの超概要、ランダムウォークとしての解釈、最適化問題としての解釈を書いた 軽い実験をした
Balanced Label Propagation for Partitioning Massive Graphs - Meta Research | Meta Research
Balanced Label Propagation for Partitioning Massive GraphsACM International Conference on Web Search and Data Mining (WSDM) Partitioning graphs at scale is a key challenge for any application that involves distributing a graph across disks, machines, or data centers. Graph partitioning is a very well studied problem with a rich literature, but existing algorithms typically can not scale to billion
トポロジカルソート - Wikipedia
トポロジカルソート（英: topological sort）は、グラフ理論において、有向非巡回グラフ（英: directed acyclic graph, DAG）の各ノードを順序付けして、どのノードもその出力辺の先のノードより前にくるように並べることである。有向非巡回グラフは必ずトポロジカルソートすることができる。 有向非巡回グラフのノードの集合に到達可能性関係 R (ノード x から y への(各辺の向きに逆行しない)経路が存在するとき、またそのときに限り xRy とする)を定めると、R は半順序関係となる。トポロジカルソートとは、この R を全順序になるように拡張したものとみなせる。 トポロジカルソートの典型的な利用例はジョブのスケジューリングである。トポロジカルソートのアルゴリズムはPERTというプロジェクト管理手法[1]のスケジューリングのために1960年代初頭に研究が開始された
Neo4j と Google Cloud Vertex AI でよりスマートな AI 向けのグラフを使用する | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 1 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。 このブログ投稿では、ML 開発プラットフォーム Google Cloud Vertex AI とグラフ データベース Neo4j の 2 つのテクノロジーを一緒に使用する方法について説明します。これらのテクノロジーを組み合わせて使用することで、グラフベースの機械学習モデルを構築し、デプロイできます。 このブログ投稿の基盤となるコードは、こちらのノートブックで参照できます。 データ サイエンスにグラフを使用するべき理由ビジネス上の重大な問題の多くでは、グラフとして表現できるデータが使用されています。グラフはデータ構造で、データそのものと同様にデータポイント間の関係を記述します。 簡単に言うと、グラフは名詞と動詞の関係に似ています。ノード（名詞）は人々、場所、品物などの「も
gql.today
In this SpyMonster review, we will take a comprehensive look at the app, a powerful monitoring tool that helps parents and guardians keep track of their children’s online activities. We will explore its features, how it works, the platforms it supports, its advantages and disadvantages, the installation process, pricing, and subscription model, and some frequently
データマネジメント分野のリーダーが予想する2022年--注目したいトレンドやキーワード
Chris Preimesberger （Special to ZDNET.com） 翻訳校正： 村上雅章 野崎裕子 2022-01-14 06:30 データ管理分野の思想的リーダーらによると、2022年にエンタープライズデータについて語る際、われわれは新たな用語を使うようになっているという。 また、最高技術責任者（CTO）やITマネージャーもそのレベルにかかわらず、自社の本番ユースケースを語る際に、「コードとしてのデータ」や、「ジャストインタイム」データアナリティクスといった用語を定義したり、試用してみるようになるという。 さらに、データ管理分野では人工知能（AI）の活用が進み、コールセンターが顧客からより適切な情報を引き出せるようになったり、サプライチェーンのギャップを埋められるようになったり、ヘルスケアサービスをローカル環境とクラウド上の双方で強化できるようになる。 以下では、202
Introducing TensorFlow Graph Neural Networks
Posted by Sibon Li, Jan Pfeifer and Bryan Perozzi and Douglas Yarrington Today, we are excited to release TensorFlow Graph Neural Networks (GNNs), a library designed to make it easy to work with graph structured data using TensorFlow. We have used an earlier version of this library in production at Google in a variety of contexts (for example, spam and anomaly detection, traffic estimation, YouTub
How to Create Representations of Entities in a Knowledge Graph using pyRDF2Vec
Table of contentsRepresenting data with Knowledge GraphsRunning example: countries in DBpediaCreating entity embeddings with RDF2VecIntroducing pyRDF2VecBiased walking or sampling strategiesWalk modifications and transformationsLoading KGs with pyRDF2VecCreating our first embeddingsTuning the hyper-parametersTrying different walking strategiesSampling Deeper WalksShortcomings of RDF2Vec and resear
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Building Knowledge Graphs with Apache AGE
https://dl.acm.org/doi/abs/10.1145/3459637.3481916
グラフアルゴリズム実践活用術
Graph Theory
Google Graph Mining and Learning @ NeurIPS 2020: Label Propagation -- Allan Heydon
Balanced Partitioning and Hierarchical Clustering at Scale
エムスリーにおけるグラフ構造を用いたユーザ興味のタグ付け
PyTorch-BigGraph: Faster embeddings of extremely large graphs
GitHub - georgian-io-archive/Diffbot-Graph-Learning: Heterogenous Graph Representation learning on Diffbot's Knowledge Graph. Includes asynchronous BFS traversal on Diffbot's Knowledge Graph, Diffbot's enhance API to build custom graph dataset and models