PyCon JP 2022 2022-10-15 13:50-14:20 #pyconjp_5
タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
さまざまなデータを地理空間情報として重畳する上で有用なPythonのライブラリであるGeoPandas。前編ではGeoPandasを用いたデータの描画方法など基礎的な扱い方を紹介し、後編では衛星データと組み合わせて解析結果を可視化する方法を紹介します。 Pythonで地理空間情報を行う場合、GeoPandasの使い方を覚えておくととても便利です。 例えば、都道府県別の気象データを持っていたとします。そのテーブルデータ(csv)には地理情報と言えば、都道府県の名称くらいしかありません。このような場合、これを日本地図の上に重畳して可視化することはできません。 しかし、このデータに地図上に描画できる情報を与えることさえできれば、好きなデータを地図の上に重ねることができます。このようなことをしたい場合に、GeoPandasの使い方を知っておけば助けになります。 今回は、簡単な例を通じて、GeoPa
newmo では、地図データや地理情報を扱う場面が多くあります。 たとえば、タクシーやライドシェアでは、営業区域のような営業していいエリアといった地理的な定義があります。 また、乗り入れ禁止区域のようなタクシーが乗り入れてはいけないエリアといった定義も必要になります。 これらの地理に関する定義は GeoJSON のような地理情報を扱うデータ形式で管理されることが多いです。 しかし、GeoJSONなどの定義をテキストとして手書きするのは困難です。 そのため、地図上に区域を作図するエディタやその定義した区域が正しいかをチェックするような管理ツールが必要です。 管理ツールは、ウェブアプリケーションとして作った方が利用できる環境が広がります。 このような地理情報は一度に扱うデータが多かったり、空間的な計算処理が必要になるため、専用の仕組みを使うことが多いです。 このような技術を、地理情報システム(
Mac民にとってはめちゃくちゃ朗報かも GISをやる人ならわかってくれると思うんですが、MacでPythonを使ってGIS(主にgeopandasなど)をやる時依存関係の解決にかかる時間ヤバすぎ問題っていうのがありまして… 主にGDLAとかGDALとかがかなりやばくて偉大なる先人様のお知恵を拝借して鼻血出しながらなんとかかんとか実行環境を整えていました。 が!!!!!もうそんな必要はないのかもしれませんね!!!!!! 早速インストール Anacondaがインストールされている前提ですので、こちらの記事を参考にするなどしてインストールお願いします。 MacでGISデータ分析を始めるためにサクッとAnacondaとjupyter labをインストールしてみる で、インストールはこれだけ。 - python >=3.7 - black-jupyter - bump2version - carto
地理空間情報を扱う上で知っておきたいPythonライブラリ、GeoPandas入門~応用編・衛星データと組み合わせ~ 地理空間情報を解析する上で有用なPythonライブラリGeoPandas。後編では、衛星データとシェープファイルを組み合わせて解析することで、テーブルデータを作成することにチャレンジします。筆ポリゴンを任意の大きさのベクターデータで切り取り、切り取ったデータを用いて、衛星データをその範囲で取得し、NDVIの推移を求めます。 前編ではシェープファイルのような地図に重ねることのできる幾何的な情報を含んだデータと、単なるテーブルデータ(ただし、そのシェープファイルと同様のデータを含む場合。例えば都道府県の名称)を重ねて、作成したデータを描画するということを学びました。 後編となる本記事では、シェープファイルと同様に幾何的なデータを含みつつ、ラスターデータとして扱われているもの(代
本日のデモ 本日のソースコード タイトルには、文字数の限界で、DuckDB-Spatialという言葉を入れられなかったですわ。 もちろん、今回も、DuckDB-Wasmに加えて、DuckDB-Spatialも活用していますわよ。 はじめに わたくしは、学術的研究として、生成AIによるSQLクエリ生成、そして、生成AIによる地理空間情報の分析と可視化、といった事例が既に多数あることは知っていますわ。 しかしながら、いったい、どれだけの研究者が、そうした研究を、実際にどなたでもが触ることのできるWebアプリケーションやスマートフォンアプリケーションなどのソフトウェアプロダクトとしてデプロイして、本気で世界を変えたいという情熱を持っているのでしょうかしら? わたくしは、どのようなアイデアも、ソフトウェアプロダクトとして、どなたでも試せるようにデプロイしてこそ、ようやく世界を変える第一歩目だと考え
本日のデモ: 本日のソースコード: おっと、待たせたねぇ!今日は「DuckDB-Wasm」と「DuckDB-Spatial」についてご案内いたしやすよ! この記事を読めば、ブラウザだけで地理空間情報の分析をサクッとこなせすための環境構築や、便利な関数を使った地理空間情報分析の基本がバッチリわかるって寸法よ!これを知っときゃ、サーバーいらずで本格的な地理空間情報分析ができちまうし、つまずきやすいポイントもスッキリ解消!あんたもいますぐ地理空間情報分析の達人になれるこたぁ間違いなしだ!さぁ、江戸っ子の心意気で、いますぐその手で試してみな! Vite.js + React でやんでぇ!まず、Vite.js + React + TypeScriptを開発環境の基板とするってのは、問答無用で決まりだ!ほかにゃ選択肢はねぇってわけよ。Viteの速さ、Reactの使いやすさと豊富なライブラリのエコシステ
こんにちは、CX事業本部 IoT事業部の若槻です。 最近ドキュメントを見ていて知ったのですが、GitHubでは地理空間データを地図としてレンダリング表示できるようです。 Creating GeoJSON and TopoJSON maps - Creating diagrams - GitHub Docs 対応している記法はGeoJSONとTopoJSONの2つになります。この機能自体は公式ブログによると2013年頃からあったようです。 やってみる ここではGeoJSONを使って地理空間データのGitHub上でのレンダリング表示を試してみます。 Markdown文書で表示 Markdown文書内でレンダリング表示する場合は、タイトルにgeojsonと指定したコードブロックにGeoJSONでチリ空間を記述するだけです。 { "type": "FeatureCollection", "feat
米Googleは6月28日(現地時間)、これまで非営利の研究プロジェクトにのみ無償で提供してきた「Google Earth Engine」の、政府および企業向けの有償提供を開始すると発表した。 Earth Engineは、地球の状態を衛星画像によって可視化し、分析するためのクラウドベースの地理空間分析プラットフォーム。2010年に非営利団体への無償提供を始めた。70ペタバイト以上の分析可能な地理空間データを「BigQuery」や「Vertex AI」などのツールを使って解析できる。多数の団体が、リモートセンシング調査や伝染病流行の予測、天然資源管理などに活用している。 地球は危機的な気候変動に直面しており、異常気象対策の取り組みが急務になっているため、このプラットフォームを「Google Cloudを介したエンタープライズグレードのサービス」として提供するとしている。価格体系などについては
※この記事はAIが生成した文書を追記・修正した記事です。 この記事では、地理情報システム(GIS)の基本的な概念を紹介し、PythonとShapelyを使って地理空間情報の操作や可視化を実行する方法を学びます。このチュートリアルは、Pythonの実行環境が整っている方を対象にしています。 目次 GISの基本的な概念 座標系と投影法 GISデータ形式 PythonとShapelyを使ったGISデータの作成と編集 地理空間情報の可視化 地理空間データのバッファリング 地理空間オブジェクトの交差と結合 空間インデックスの使用 GISデータの読み込みと書き込み 1.GISの基本的な概念 地理情報システム(GIS)は、地理的なデータを扱うための情報システムです。GISを使用すると、地理空間データを収集、保存、分析、および可視化することができます。 主な概念: 点(point):地理空間データの基本的
IBMとNASA、AIプラットフォーム「Hugging Face」で地理空間基盤モデルをオープンソース化 米IBMとオープンソースAIプラットフォームを提供するHugging Faceは8月3日(米国時間)、NASAの衛星データから構築されたIBMの地理空間基盤モデル「watsonx.ai」が、Hugging Face上でオープンに利用可能になることを発表した。これは、Hugging Face上で最大の地理空間基盤モデルで、NASAと共同で構築された初のオープンソースAI基盤モデルになるという。 IBMとNASAが共同開発したこの基盤モデルは、米国本土の1年間にわたるHarmonized Landsat Sentinel-2データ(HLS)を使って学習され、洪水や火事の焼け跡のマッピング用にラベル付けされたデータでファイン・チューニング(微調整)が行われた。 この基盤モデルは、最先端の技術
『Pythonによる地理空間データ分析 ―例題で学ぶロケーションインテリジェンス』 Bonny P. McClain 著、廣川 類 訳 2023年9月20日発売予定 272ページ(予定) ISBN978-4-8144-0032-4 定価3,740円(税込) 地理空間データ分析は、地図や道路などのオープンな情報を分析することで、渋滞予測やナビゲーションなどの有用な情報を得る強力な手段です。さらに、衛星に搭載された各種のセンサーによる画像や国勢調査の情報などを組み合わせることにより、森林破壊や人種差別問題などの社会的課題に対する知見を得る「ロケーションインテリジェンス」として活用することができます。本書は、地理空間データ分析に必要な基本的な知識―GIS、データの種類、空間統計学、可視化技術などを紹介し、公開データとJupyter Notebookで提供されているさまざまな社会課題に関するサンプ
GIS(地理空間システム)について、できることや活用事例、ソフトウェアなど、使う際に必要な基本事項をまとめました。 (1)GIS(地理情報システム)とは GISはGeographic Information Systemの略で、日本語では地理情報システムと呼ばれます。 地理空間情報の基本と活用という書籍の中では、「コンピュータ上で空間データを収集・取得し、それらをデータベースとして構築し、管理し、検索し、分析し、統合し、表示し、伝達する一連のシステムである」とされています。 平たく言えば、位置情報の付いたデータを見たり、解析したりすることができるシステムといったところでしょうか。 私たちが良く知っているものだと、GoogleマップもGISの一種です。地図上でレストランの位置や営業時間を知り、そこまでの経路を検索したり、道路の混雑情報を調べたりすることができます。 GISの歴史 GISの起源
地理空間データは座標系やデータの種類、複数データの重ね方など、他のデータとは異なる点が多くあります。本記事では、そんな地理空間データの入門編として押さえて起きたいポイントをまとめました! 普段データを扱われるエンジニアの方でも、地理空間データは「少しハードルが高いな」という印象を持たれる方も多いのではないでしょうか。 座標系やデータの種類、複数データの重ね方など、他のデータとは異なる点が多くあります。 本記事では、そんな地理空間データの入門編として押さえて起きたいポイントをまとめました! ————— 本記事の作成にあたり、藤村英範様にご協力いただきました。 この場を借りて御礼申し上げます。 1. 地理空間データの種類 地理空間データとは 国土地理院によると、地理空間データ(地理空間情報)は以下のように定義されています。 地理空間情報とは、空間上の特定の地点又は区域の位置を示す情報(位置情報
地理空間データ分析は、地図や道路などのオープンな情報を分析することで、渋滞予測やナビゲーションなどの有用な情報を得る強力な手段です。さらに、衛星に搭載された各種のセンサーによる画像や国勢調査の情報などを組み合わせることにより、森林破壊や人種差別問題などの社会的課題に対する知見を得る「ロケーションインテリジェンス」として活用することができます。本書は、地理空間データ分析に必要な基本的な知識―GIS、データの種類、空間統計学、可視化技術などを紹介し、公開データとJupyter Notebookで提供されているさまざまな社会課題に関するサンプルコードと解説、QGISなどのオープンなツールを利用して実践的に理解を深めることができる一冊です。 はじめに 1章 地理空間データ分析入門 1.1 データの民主化 1.2 データに関する質問 1.3 空間データサイエンスの概念 1.3.1 地図の投影法 1.
地理空間情報課ラボとは 国土交通省地理空間情報課が行っている実験的取組を加速するため、『地理空間情報課ラボ』を設立しました。 私たちは、高い信頼性や安定性が求められる、国土数値情報の整備や不動産情報ライブラリの運営、データ連携環境の構築などに取り組んでいます。 一方で、生成AIの普及やビジネス・行政におけるデータ活用の深化など、地理空間情報を巡る技術動向やニーズは日に日に変化しており、私たちの取組も、これらの動向を踏まえて絶えずアップデートしていかなければ、時代遅れのものとなってしまいます。 そのような想いから、様々な実証事業に取り組んだり、社会に眠るアイデアの拾い上げや皆様との双方向のコミュニケーションを行ったりする『場』として、ラボを立ち上げました。 公式Xアカウント 「地理空間情報課ラボ」の公式アカウントを開設しました!当課の実証実験のリアルタイムな共有や課題解決アイデアの募集等を通
概要 HEREは、位置情報テクノロジープラットフォーム企業として、創業以来35年以上、世界中の企業やデベロッパーと位置情報に関する課題解決に取り組む会社です。 ジオファンの皆様と楽しいアドベントカレンダーを作るべく、今回は以下の2つの条件のいずれか(両方もOK)を満たす記事を募集します! 1.HEREの5つの企業バリューのいずれか(複数可)に則った記事 BeBold - OSSツール、弊社プラットフォーム、オープンデータ、HEREデータを使った地図づくり GiveBack - みんなの役に立つ地図づくり LearnFast - 新しいツールや技術を学べる地図づくり WinTogether - 同僚やコミュニティと取り組む地図づくり BeTrue - データのクレジットは必ず元のデータソースに与え、ライセンスを尊重し、IPやNDAで制限されたコンテンツに気を配った地図づくり 2. HEREソ
Pythonで地理空間データ (geography information system data, GIS data または geospatial data)(位置が緯度,経度で表された地球上のある値に関するデータ)を扱いたいと思ったことはありませんか?たとえば,気象データ(各地点のアメダスデータ,数値予報が出力する数値モデル上の格子点データ(GPVデータ))はGISデータの代表的なものの一つです。 別の記事でも folium というライブラリを使用してGISデータをプロットする方法を紹介しています。 今回はCartopyというGISデータを扱うためのパッケージとその基本的な使い方を紹介します。 Cartopyを使うと,例えば異なる図法(メルカトル図法,正角方位図法,ランベルト正角円錐図法…)でGISデータを非常に簡単にプロットすることができます。
はじめに この記事では、ChatGPT Code Interpreterを用いて地理空間情報の中でも3Dデータに対する処理がどこまで出来そうかを調査していきます。 記事を書こうと思った経緯や2Dのベクタデータに対する調査はこちらの記事に書いています。 調査 調査の概要 以下の3つの内容をChatGPTに依頼して調査していきます。 Project PLATEAUにて配布されているCityGML形式データの可視化 兵庫県が公開しているDSMデータの可視化 静岡県が公開している3次元点群データの可視化 1. CityGMLデータの解析 CityGML形式のデータをアップロードし、このデータの可視化を頼んでみます。 使用したデータ 国土交通省都市局「3D都市モデル(Project PLATEAU)東京都23区 CityGML」 指示した内容 1つ目の指示 この指示を実現には以下のようなことを行う必
はじめに 第1回 国土交通省 地理空間情報データチャレンジに関しては,以下をご参考ください. signate.jp 金融データ活用チャレンジでも実施していたように,今回もbaselineとなるようなnotebookを共有することができたらと思います. キックオフイベントにも参加させてもらいましたが,コンペ開催の目的など,とてもポジティブなものであり,コンペが盛り上がるといいなと思っております.(記事投稿の理由も少しでもコンペの活性化に貢献することを意識しており,最低限の実装とコンペを進める上で手詰まりを避けるためのアイデアをいくつか書かせていただきました.) 当該コンペはディスカッション(フォーラム)がなく,金融データ活用チャレンジでもbaselineコードなどの共有が少なかったため,コードを共有することにしました. また,ルールに書いてはありませんが,signateのコンペはたいてい前処
企業のマーケティング活動やプロダクト開発などにおいて欠かせない、データ分析。やみくもにデータを利用するのではなく、正しい方法で分析しなければ真価を発揮できません。富士通クラウドテクノロジーズ株式会社は、2019年7月度より衛星データ「Starflake」をはじめ、あらゆるエリアデータを提供しています。ウェビナー第1部では、株式会社日本データ取引所の上島邦彦氏が「データ流通市場の歩き方 – 地理空間情報を中心に」をテーマに、地理空間データ取引事業の潮流を語ります。 超速GISの歴史上島邦彦氏:さて、今日の本題です。弊社から見て地理空間情報の分野がどのように見えるか。ちょっと強気で「超速」と銘打たせていただきました。 GIS(地理空間情報)の歴史を1枚にまとめたのがこの表です。ざっくり半世紀くらい歴史がありまして、1950年代が創成期です。 第二次世界大戦後、軍事情報を各国内で集約する動きの中
Rによる地理空間データの可視化 目的:R言語を用いて地理空間データを地図上に示すこと 対象:大学生,ゼミナール生 チュートリアル 1. 都道府県別データによる人口の可視化 1.1 追加データの可視化 1.2 自作データの可視化 1.3 対数による可視化 1.4 ジオメトリの移動による日本地図の可視化 ←(北海道・沖縄県の位置移動) 1.5 地方区分データの可視化 2. 地域メッシュ統計による人口密度の可視化 2.1 コミュニティバス路線上の人口密度の可視化 2.2 OpenStreetMapを背景にした情報通信業事業所数の可視化 2.3 土地利用細分メッシュデータによる土地利用状況の可視化 2.4 商圏内の地域メッシュデータの可視化 2.5 六角形マップによる人口密度の可視化 2.6 標高・傾斜度メッシュデータの可視化 2.7 都市人口とランク・サイズ分布の可視化 3. 小地域統計による人
はじめに データアナリティクス事業本部のkobayashiです。 クラスメソッド BigQuery Advent Calendar 2020 の3日目のエントリになります。 BigQueryでは位置情報を用いた地理空間データの分析と可視化がBigQuery GISで簡単に行なえます。今回はその可視化ツールとしてBigQuery Geo Vizをつかって地理空間情報を可視化してみます。 BigQueryの公式ドキュメントには一般公開データセットを使ったチュートリアル(BigQuery GIS の概要 | Google Cloud )があるのでこれを実践してみても良いのですが、地理空間データBigQueryにインポートするところから作業してみたいのと単純に自分の趣味で地震の震源データのプロットを行ってみます。 参考 - BigQuery GIS の概要 | Google Cloud データの準
位置情報 (GPS) データ - 乗車エリアごとのNYCタクシー運行距離(時系列) 目次 はじめに 地理空間情報分析とは 実際に触ってみた 衛星画像 位置情報データ おわりに はじめに 皆さんは地理空間情報がお好きでしょうか。 「天網恢恢疎にして漏らさず」と老子は言ったそうですが、現代では「地理空間情報」と呼ばれる位置情報が付与されているデータが時々刻々と生み出されており、どこで何が起きているか教えてくれます。今回は世界で何が起きているかを解き明かす「地理空間情報分析」について紹介します。 対象読者: 衛星画像や位置情報を使ったデータ分析に興味のあるエンジニア/分析担当者 目的: 地理空間情報分析で取り扱われるデータ(衛星画像・位置情報)を把握する 留意事項として、今回はそれぞれの処理の詳細な説明はいたしません。ご興味のある方は LinkedIn や弊社ホームページなどからお問い合わせいた
IBMとHugging Faceは2023年8月3日(米国時間)、NASAの衛星データから構築された地理空間AI(人工知能)基盤モデルを、Hugging Face上で公開したと共同発表した。 環境条件が毎日のように変化する気候科学において、最新データへのアクセスは重要な課題だ。NASAの推定によると、2024年までに科学者は25万テラバイトのデータを入手することになるが、データ総量が増えているのにもかかわらず、科学者や研究者は、これらの大規模なデータセットの分析が難しいという課題に直面している。 関連記事 基盤モデル(Foundation Model)とは? 用語「基盤モデル」について説明。大量のラベルなしデータを使って事前学習し、その後、幅広い下流タスクに適応できるようにファインチューニングする、という2段階の訓練工程を踏んだ、1つのAI・機械学習モデルのことを指す。 コーディング用大規
CVPR23 Best Paper に選ばれた VisProg による Compositional Reasoning を用いた地理空間情報への応用 テーマ 大規模言語モデル × 地理空間情報 内容 VisProg をはじめとする compositional reasoning の紹介 Compositional reasoning における地理空間情報への応用 読者想定 ChatGPT などの LLM 製品開発に興味がある人 自然言語以外の自律駆動エージェントの開発に興味がある人 地理空間情報の開発に従事している人 おことわり 本記事で述べる所感はあくまで著者によるものです。 著者は地理空間情報などの分野に詳しくないため、的外れなことを述べている可能性があります。 00. 背景社会・技術的背景 ChatGPT や LLM Agent などの社会的な流行 OpenAI から functio
「地図」といえば紙媒体に印刷することを前提とした出力が一般的です。「地図」は現場で地物情報の状態や関係性を確認するために利用することが一般的です。しかし地図の情報量を増やすことは紙面を増やすことと同義であり、必要とする情報に応じて異なる地図を用意しなければなりません。 従来の紙地図に対して、コンピュータで見る地図(ここでは電子地図と呼びます。)は多くの点で異なります。地図を利用する人が興味・関心のある地物の情報を選別したり、縮尺を自在に変更したりといった操作が可能です。 ここではまず、Rの標準作図機能による地図の作成を行います。次にggplot2パッケージを使った例を紹介します。これらはいずれも印刷や画面上での表示に向いた静的な地図の作成方法です。次にウェブベースでのインタラクティブな操作が可能な空間データのマッピングについて学びます。 地図表現には表示媒体の違いだけでなく、興味のあるデー
※この投稿は米国時間 2021 年 4 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。 データには、住所、郵便番号、GPS 座標、ビジネスに重要な場所など、なんらかの形で地理的位置に関する情報が含まれている可能性があります。しかし、このようなデータを活用してさまざまな角度から主な指標を理解できているでしょうか。これまでは、これを行うために専門の地理情報システム(GIS)ソフトウェアが必要でしたが、現在ではこうした機能は Google BigQuery に組み込まれています。位置や経路、境界線を地理空間データ型で保存し、地理空間関数を使用して操作できます。人々がこのデータを探索し、地理空間パターンを見つけられるようにするには、地図上でそれを可視化する必要があります。そこで Google Cloud では、BigQuery の GEOGRAPHY ポリゴンの階級
発表・掲載日:2020/06/02 移動体データ形式「MF-JSON形式」が地理空間情報の国際標準として採択 -移動体データの流通を円滑化し、混雑緩和や災害時の効率的な避難誘導に貢献- ポイント 3次元形状の物体の移動データを簡潔に記述するMF-JSON形式を開発 地理空間情報の標準化団体OGCが移動体データ形式の国際標準として採択 人や自動車など様々な移動体の動的な空間情報を一体的に記録し、移動データの流通促進に貢献 国立研究開発法人 産業技術総合研究所【理事長 石村 和彦】(以下「産総研」という)人工知能研究センター【研究センター長 辻井 潤一】と株式会社 日立製作所【執行役社長兼CEO東原 敏昭】(以下「日立」という)は、人や自動車などの移動体(Moving Features)の位置情報の時間変化を表すOGC Moving Features Encodingを拡張した新たな移動体デー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く