NHKのニュースや番組をつくっている私たちが取材に込めた思いや取材手法などをお話します。一緒に「取材ノート」をつくっていきましょう。サイトはhttps://www.nhk.or.jp/d-navi/note/ 利用規約はhttps://nhk.jp/rules
国交省推進する「都市計画情報のデジタル化・オープン化」 都市計画とは、都市計画法に基づいて自治体が策定する街づくりのプランのことだ。土地利用(用途地域、地区計画など)や都市施設(道路、公園など)、市街地開発事業(土地区画整理など)に関する計画を総合的に定め、住民が住みやすく、働きやすい都市を目指す。 街づくりは行政のトップダウンですべてがうまくいくような簡単なものではなく、実現には民間事業者の理解と協力が欠かせない。そこで、自治体が都市計画を対外公表することで、事業者側がそこにビジネス機会を見いだし、街ごとのエコシステムが形成されていくことが期待される。 ただ、これまで都市計画のフォーマットは自治体によってバラツキがあり、事業者側にとって街ごとの特性や強みを比較しにくい状況があった。 都市計画のデータ化は以前から少しずつ進められてきた。国交省はすでに2005年には「都市計画GIS導入ガイダ
はじめに メディア研究開発センターの石井です。 データジャーナリズムのためのデータ分析、文章校正AI Typolessの開発などを担当しています。 あと数ヶ月で、また汗が止まらない季節がやってきそうですね。 日本の四季は素晴らしいですが、やっぱり夏は暑いし冬は寒い。 常に20℃で暮らしたい! 夏は北海道、冬は沖縄など、季節によって移動し続ければ、一年中快適な気温で過ごし続けることができるでしょうか? 今回は、日本の平年気温のデータを使って、日本全国適温マップを作ってみました! マップ作成までの流れまずは、日本全国の平年気温データをダウンロードします。 そこから、月ごとに適温(ここでは平年気温20℃)になる箇所を探します。 最後に、選んだ地点から全国マップを作ります。 今回扱うのは気温のデータですが、「位置」に紐づくものなので、ここでは緯度経度を含むGIS※データを扱うことになります。 ※G
QGISとは? QGISは、地理情報システム(GIS)のためのオープンソースソフトウェアで、地理データの閲覧、編集、分析を行うことができます。QGISは多くのプラットフォーム(Windows、MacOS、Linux)に対応しており、商用GISソフトウェアと比較しても多機能でありながら無料で利用することができます。 主な特徴としては以下があげられます。 多機能かつ柔軟性が高い: QGISは、地理データのインポート・エクスポート、地図作成、空間解析など、多くのGISタスクを実行することができます。 オープンソース: ソースコードが公開されているため、コミュニティの支援を受けつつ進化しています。また、カスタマイズや拡張が容易です。 豊富なプラグイン: サードパーティによって開発されたプラグインが多数あり、特定の機能を追加することができます。 GEEプラグインについて 今回紹介するGEEプラグイン
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. はじめに 地理情報システム (GIS) で、使用するデータとして「Shapefile 形式」でデータ提供されていることがあります。この記事では、この Shapefile が、どのような構造となっているのかについて、説明していきます。 1.1. トポロジ構造とは Shapefile について説明していく前に、まずは GIS データ等でよく利用される「トポロジ構造」について説明しておこうと思います。 例えば、トポロジ構造を持つファイルとして、次のようなものがあります。 .gdb: ESRIのファイルジオデータベースは、トポロジを含む複
GISことはじめ令和4年度から新しく必履修科目として設置された「地理総合」では,ESD,グローバル,防災と並び“GIS”が重要なキーワードになっています。 ここでは,帝国書院の定期刊行冊子『地理・地図資料』や『地歴・公民科資料 ChiReKo』で掲載したGISに関する記事のほか,教材作成にお使いいただける外部のWebGISサイトを紹介いたします。 GIS 講座1 GISって,何?―アナログGIS教材をつくろう― スマートフォンの地図アプリなどを例に,GISの基本的な事項を解説。地理院地図を活用して作成できるアナログGIS教材もご紹介しています。 地理・地図資料 2018年度 2学期号 ▶
コンピューティング基盤部の三吉(sankichi92)です。 アークエッジ・スペースでは、衛星リモートセンシング1による地球観測データ(以下、「衛星データ」)を活用したソリューションを提供する Web GIS2 アプリの開発をはじめました。 この記事では、プロジェクトの最初期にあたり、プロダクトのさまざまな可能性を高速に検証するために行った技術的な取り組みを紹介します。 Web GIS アプリをつくる背景 プロトタイプで検証するもの スモールスタートのための技術選定 SPA PMTiles GitHub Pages 開発をはじめてからの改善 React Router 導入 S3 + CloudFront 導入 Amazon Location Service 導入 プロトタイピングの結果 今後の課題と展望 データ基盤、ジョブ管理基盤 動的タイル生成への対応 解析の高度化 Web GIS エン
お久しぶりです。ANDPAD ZERO 研究開発Gの菊野です。 今年初めての投稿となる本記事では、PLATEAUやAR技術の拡張により、人気が再上昇しているGISについてわかりやすく説明してみたいと思います。 GISはかなり広い意味で使われる言葉ですが、日常生活で使うツールで言えばGoogle Map、そして最近よくニュースなどで耳にする国交省のプロジェクトPLEATEUや数年前に大流行したPokemon GOについてもGISの活用事例の一つとしてあげられます。 従来は研究者や本当に一部の専門家しか使わなかったツールですが、ここ数十年で活用シーンや利用者が大きく変わりました。この記事ではGISの起源までさかのぼりGISの変化について解説できればと思います。 GISとは?GIS(地理情報システム、Geographic Information System)とは、地図データや位置情報を使って、
MANDARA JSは、Webブラウザ上で動作するGIS(地理情報システム)で、Windows版MANDARA10のWeb版となります。Webブラウザ上で動作するので、OSと関係なくタブレット端末でも使えます。Google Chrome, Firefox, Edge, Safariなど標準的なブラウザで使えますが、古い Internet Explorerでは使えません。 圧縮データの展開に zlib.js を使わせてもらっています。 Excel上のデータを読み込む ・ExcelでMANDARAタグをつけたデータを設定しておき、コピーして、MANDARA JSの読み込み画面に貼り付けます。 ・コピーせず、範囲指定の領域をDrag&Dropもできます。 ・CSVファイルの場合は、ファイルをDrag&Dropします。 地図ファイル「日本市町村緯度経度.mpfj」を使う MANDARA JS Ve
・掲載データは、市町村又は都道府県から提出されたGISデータや総括図等の資料を用いて、国土交通省都市局都市計画課において整備したものです。 ・掲載データは、建築確認申請や不動産重要事項説明等の手続に用いることを保証するものではなく、参考情報として利用を想定しています。 ・掲載データに含まれる地区・地域の範囲は、概ねの位置を示すものであり、実際の都市計画の決定範囲等と異なる場合があります。 ・地方公共団体がGISデータを保有していない、あるいはGISデータとして公表できないといった理由から、都市計画決定があっても本サイトに掲載されていないデータがあります。 ・掲載データは、当該自治体の都市計画等の情報全てではないことがあります。 ・都市計画区域ポリゴンを、行政区域界、市街化区域界、市街化調整区域界から作成している自治体が一部に含まれております。 ・掲載データは、最新のものではないことがありま
はじめに 「GISエンジニア」というデカい主語で始まった本記事。最近話題のDuckDBですが、GISデータを扱うのに非常に有用で、今までGeoPandasやPostGISでやっていたような処理を、CLIで・最小の環境構築で・高速に実行できます。本記事では、GISデータのプロセッシングという観点で、使い方を紹介します。 DuckDBとは何か 正確な定義については私は間違えそうなので公式Webサイトなどをご覧いただくとして。 「DBというくらいだから、データベースなんでしょ?」正解です。しかしPostgreSQLなどのようなある種「重厚な」DBソフトウェアとはちょっと違います。PostgreSQLでいうとpsqlクライアントだけが利用出来るようなイメージです(厳密には永続的なデータベースも作成は出来るが)。 私の理解では、DuckDBは「DBクライアント」であり「CLIツール」です。DuckD
まずはこちらの動画をご覧ください。 Blenderで簡単に街並みを作成できています。 今回はこれを、可能な限りSTYLYで再現していきます。 完成したもの STYLYにアップロードしたものがこちらになります。 具体的な作成手順を紹介していきます。 アドオン「Blender GIS」をインポートする 最初の動画の街並みをモデリングのみで再現しようとすると、かなりの労力が必要になります。 しかしBlender GISというアドオンを利用することで、なんと「現実に存在する街並みをGoogle Mapから取得して配置する」ことが可能になります。 BlenderGISアドオンがすごい。ほぼワンクリックでOSMデータからマップを作成できちゃう。この渋谷は3分くらいで出来ちゃった。これが無料なんだからBlenderは楽しい!https://t.co/ffnxs0UZhn pic.twitter.com/
シェープファイルから衛星データを収集してみる シェープファイルから緯度経度を抽出する 前回の記事でも紹介しましたが、シェープファイルは図形情報と属性情報を持っています。この属性情報には座標系が含まれています。この座標系が緯度・経度を示す地理座標系の場合、そのまま衛星データの収集に利用することができます。 それでは、pythonでシェープファイルから衛星データを収集するプログラムをコーディングしてみます。以下に実装例を示します。 利用するデータ 前回の記事で作成したアカマツの植生データが入ったcsvファイルvegetation.csvを利用します。csvファイルは以下のディレクトリに格納します。 from functools import reduce import ee import geopandas as gpd import matplotlib.pyplot as plt impo
さて、本日はテキストエディタ上で地図を表示してみようと思います。使用するテキストエディタは Visual Studio Code です。 Visual Studio Code とは Visual Studio CodeはMicrosoftが開発しているWindows、Linux、macOS用のソースコードエディタである。デバッグ、埋め込みGitコントロールとGitHub、シンタックスハイライト、インテリジェントなコード補完 、スニペット、コードリファクタリングのサポートが含まれる。(出典:Wikipedia) VSCode Map Preview とは Visual Studio Code で使用できるプラグインで、様々な地図データを扱うことができます。 marketplace.visualstudio.com 対応フォーマット CSV files (as of 0.5.0) GPX Ge
本記事はPostgreSQL Advent Calendar 2019の7日目となります。 はじめに 私は普段PostGISを使っていますが、最近MySQL 8.0.xのGIS機能について調査する機会がありました。 本記事は筆者が調査の中で気づいた両者の違いをまとめたものです。 PostGISは2.x〜3.x、MySQLは8.0.17を対象としています。 両者は共にOpenGIS1やSQL/MMなどの標準に基づく実装を進めているため共通している部分も多いものの、独自拡張や実装の違いによりいくつかの違いもあります。 本記事の目的は両者の優劣をつけることではありません。 両者の違いを理解して、場面に応じた適切な使い方を選択するための一助となることが目的です。 所感 本文に入る前に、私の所感を述べておきたいと思います。 まず、普段PostGISを使っている人が、MySQLのGIS機能に乗り換える
GIS(地理空間システム)について、できることや活用事例、ソフトウェアなど、使う際に必要な基本事項をまとめました。 (1)GIS(地理情報システム)とは GISはGeographic Information Systemの略で、日本語では地理情報システムと呼ばれます。 地理空間情報の基本と活用という書籍の中では、「コンピュータ上で空間データを収集・取得し、それらをデータベースとして構築し、管理し、検索し、分析し、統合し、表示し、伝達する一連のシステムである」とされています。 平たく言えば、位置情報の付いたデータを見たり、解析したりすることができるシステムといったところでしょうか。 私たちが良く知っているものだと、GoogleマップもGISの一種です。地図上でレストランの位置や営業時間を知り、そこまでの経路を検索したり、道路の混雑情報を調べたりすることができます。 GISの歴史 GISの起源
900万レコードを20秒で空間結合しちゃうGISデータの分散処理基盤「dask-geopandas」で効率よくデータ処理しよう!PythongeopandasDaskQiitaEngineerFesta2022dask-geopandas 初めに こちらの記事などでを紹介していきましたが、ファイルを読み込んだ後には当然、何かしらの処理を行うと思います。 GeoPandasをやるならFlatGeobufより10倍早いGeoParquetを使おう! GeoPandas(GeoDataFrame)のread/writeなら1000万レコードを10秒で読み込めるpyogrioを使って高速に行おう! 大きなデータを処理する際に、数十GB級のデータだとデータの読み込み自体を高速で完了させたとしても、空間検索に膨大な時間を要したり、そもそもデータがメモリに乗り切らず処理できないということもあるでしょう。
はじめに警察庁がオープンデータとして公開している交通事故統計情報では、2019年以降に起きた交通事故の場所や状況が網羅的に記録されています。この貴重な情報を、地理情報の分析や可視化で扱いやすいように加工して再配布します。 作成したウェブ地図はこちら:交通事故発生箇所マップ データ出典元:警察庁ウェブサイト 加工したデータソース:データ (github) 関連記事:円グラフ付きマップとその解説記事 2023年8月に公開された2022年分データまでを統合済みです。 留意点として、2022年分を統合したデータは、昨年時点とは別のgithubリポジトリに格納しています。昨年時点のリポジトリはこちらをご参照ください。 警察庁の交通事故統計情報とはこの記事を執筆している時点で、2019年〜2022年に起きた130万件近い交通事故の記録が(個人が特定できない範囲で)公開されており、大変貴重な情報になって
この記事ではDuckDBを使用した地理分析や、Python上でLangchainを使ったモデルを利用することで話し言葉でSQLを実行させる例を紹介します。 Duckdb, Python, SQL, Data Analysis, Geospatial, LLM, langchain SQLの価値 2023年も残り数ヶ月ですが、2022年では最も人気あるプログラミング言語のアンケートでSQLはPythonを抑えて3位でありました(参照)。今年はどうなるでしょうか。ただSQLがここに位置するのは必要性が上昇しているからでしょう。 同僚もデータサイエンス分野ではPythonかRで良かった(はずな)のに、SQL学びなおすのかと笑いながら話していました。 軽く聞いたアンケートでも、多くの人がSQLは「まあできる」「ベーシックはわかるよ」と言います。でもアメリカ人のそれは「SELECT * FROM t
macOS Monterey(12.6), python3.10.7 Windows 11(21H2), python3.10.7, PowerShell(5.1) シェープファイルとは? シェープファイルとは、図形情報と属性情報を持ったベクターデータの一つでGISデータのファイル形式の一つです。シェープファイルを扱うことで、どこに、どれくらいの広さで、何があるかがわかります。日本では産総研が地質情報を、環境省が植生情報を配布しています。ほかにも色々な情報が配布されています。 シェープファイルの構成 シェープファイルはアメリカのESRI社が80年代に提唱した形式で、以下のような複数のファイルから構成されます。 .shp:図形情報が格納 .dbf:属性情報が格納 .shx:shpとdbfの対応関係が格納 他にもオプションとしていくつかのファイルが存在しますが、この3つのファイルは必須となって
「国境の長いトンネルを抜けると雪国であった。」 というのは小説「雪国」の有名な一節だが、これは川端康成が越後湯沢を訪れた際の経験をもとに執筆されたものだという。 川端が越えたのは上越国境。古くは上野国と越後国の境界であり、今は群馬県と新潟県の境界に当たる。中央分水嶺を超える箇所であり日本海側と太平洋側で気候が大きく異なるこの国境の特徴を、一言で端的に表現したのが冒頭の一文だろう。 この上越国境に、廃道マニアなら多分誰もが知る最強廃道、国道291号「清水国道」がある。 周辺状況の紹介この上越国境とその周辺、道路マニアにとってはなかなか因縁のエリアなのである。とりあえずこの地図を見ていただきたい。 画像のエリアがいわゆる上越国境と呼ばれるエリアである。ここを現在2本の道路と2本の鉄道路線が超えている。 上越国境を超えるルートとして活躍しているのが、次の4つのルートだ。 ①E17関越自動車道 関
この日記は、RDBMS-GIS(MySQL,PostgreSQLなど) Advent Calendar 2020 の16日目の記事です。 何をしたいか 先日の日記で雑に作成した大量のPOINTデータを使って、ある点から一定距離内にある点を検索します。普通にやると結構時間がかかりますが、空間インデックスがきちんと使用されて高速に検索できるところがポイントです。POINTの話だけに。 先日のデータ 先日の日記で書いたスクリプトを使って、テーブル sp1 に、約29万件のデータを作成しました。 mysql> select COUNT(*) FROM sp1; +----------+ | COUNT(*) | +----------+ | 286572 | +----------+ テーブル構造は、シンプルにこんな感じ。数値id と POINT型(SRID=4326)の sp の2カラムだけです
2021年10月、Geolonia は自社のオープンソースソフトウェア Charites (カリテス)を、国連ベクトルタイルツールキット(UNVT)プロジェクトに寄贈しました。Geolonia は今後、UNVT の GitHub Organization で Charites などのソフトウェアの改善、メンテナンスを行います。 国連ベクトルタイルツールキットとは 国際連合では、地図が整備されていない地域で活動する際などに、デジタル地図を自前で用意できる体制を整えています。国連の活動で、地理的な状況把握と分析、インフラの整備や管理、シミュレーションのための地図が必要とされているからです。また、プラットフォームの地図に依存したり、データを渡せないという地図のオーナーシップによる事情もあると思われます。 ところが地図エンジニアがいなくても、インターネット環境もよくない場所でも、自前でGoogle
BigQueryでのGIS活用 BigQueryでは、地理データを分析するために 空間関係関数(Spatial Predicate Functions) を提供しています。GEOGRAPHY型では通常の = 演算子による等価比較は定義されておらず、地理オブジェクト同士の関係を判定するために、専用の述語関数を使用します。 述語関数は、2つの地理オブジェクト間の空間的な関係(例えば、「包含しているか」「交差しているか」「一定距離以内にあるか」など)を評価し、TRUE または FALSE を返します。これらを WHERE 句や AND・OR 条件と組み合わせることで、柔軟な空間フィルタリングが可能になります。 また、地理データの操作・変換には 変換関数 が用いられます。これは述語関数が返す関係に対応する形で、新たなジオメトリを生成する機能を提供します。また、エリアの拡張(ST_BUFFER)、重
こんにちは!金融ソリューション事業部の山下です。 本記事では、オープンソースの3DCGソフトBlenderを用いて、現実の地形や建物を模した3DCGモデルを生成する方法を紹介します。 今回はBlender GISというプラグインを用いて、衛星画像、建物データ(OSM)、標高データ(SRTM)を利用してモデルを制作しました。 実施環境/ツール 実施手順 1. BlenderにBlenderGISプラグインをインストールする 2. 衛星画像データを取得する 3. 標高データ(SRTM)の取得、反映 4. 建物、その他データ(OSM)の取得、反映 5. 建物上部へテクスチャをマッピング 6. 建物側面へのマテリアルの適用 完成イメージ 所感 参考 実施環境/ツール OS:Windows 11 pro GPU:NVIDIA GeForce RTX 3070Ti Laptop DCC:Blender
さて、本日は Googleマップのタイムライン機能を使って自分の移動履歴を可視化してみようと思います。自分の移動履歴が見れるなんて面白そうですね! タイムライン機能とは? Googleマップの機能で自分がいる「場所」と「時間」を記録してくれるものです。 どのように記録したデータを利用するのか? ここから JSON としてタイムライン機能が記録したデータをダウンロードすることができます。ただし、タイムライン機能をオンにしておく必要があるので、使用してみたいという方は先に設定を確認した方がいいかと思います。 appllio.com どのように可視化するか 以下のエントリーと同じく PyShp と ArcGIS Pro を使用します。 www.gis-py.com 手順 タイムライン機能が記録したデータをダウンロード(KML と JSON をダウンロードできますが、今回は JSON をダウンロー
使用するデータ こちらの記事と同じデータを使用して、実装を進めます 必要ライブラリのインストール トラブルシューティング含め、こちらの記事を参照ください 具体的な実装例 Shapefileの読込、処理、保存、表示に分けて、 各ユースケースの実装法を解説します 読込1:Shapefileの読込 Shapefileの読込には、read_fileメソッドを使用します。 # 必要ライブラリの読込(読込以外で使用するライブラリも含みます) import geopandas as gpd from shapely.geometry import Point import pyproj import pandas as pd import numpy as np import re # 入力ファイルのパス DAM_PATH = './W01-14_GML/W01-14-g_Dam.shp' # 国交省ダ
オープンソースデータベースを加速する「キムラデービー」のブログです。カレー日記を兼ねてます。なお著者は2010-06-01より日本オラクルに在籍していますが、本サイト(ブログ、またはウェブサイト)において示されている見解は、私自身の見解であって、オラクルの見解を必ずしも反映したものではありません。 最近のRDBMSとGISザッピング この日記は、RDBMS-GIS(MySQL,PostgreSQLなど) Advent Calendar 2020 の15日目の記事です。 # 遅れて実際は2021-01-01に書いています。 最近はJSONが熱い! と思ってましたが、まさかのGISが熱いRDBMS界隈です。 なんかいろいろ試してみたかった本ブログエントリですが、ネタとそれにかける時間がなく、 テキトーにRDBMS & GIS でザッピングしてみましたー。 1.Oracle DB 去年のエントリ
本日は MeCab を使ってみようと思います。MeCab については最近、以下エントリーでインストール方法と簡単な使い方を紹介しましたが、本エントリーではより実践的な使い方を紹介したいと思います。 www.gis-py.com やってみること 「坊ちゃん」(夏目漱石)のテキストデータをダウンロード 正規表現で不要な文字を除去する(ここはなくても形態素解析が可能ですが、より正確に解析したかったので、この手順を入れました) MeCab を使用して頻出単語(名詞)TOP10を抽出する データ入手先 青空文庫さんで色々な小説のテキストデータをダウンロードすることができます。 青空文庫 Aozora Bunko 坊ちゃんのデータはここですね。 図書カード:坊っちゃん 中身はこんな感じです。《にさんち》のようにフリガナが入っていたり、ヘッダーやフッターも除去する必要がありますね 実行環境 Window
当エントリは、『クラスメソッド BigQuery Advent Calendar 2020』15日目のエントリです。 本アドベントカレンダーでは、12月01日〜12月25日までの25日間、弊社DA(データアナリィクス)事業本部のメンバーがBigQueryに関連するブログを公開していきます。 BigQueryはDWHとしての機能だけでなく、BigQuery GIS(地理情報システム)を用いて地理データ型と標準のSQL地理関数を使用して、地理空間データを分析および可視化を行うことが出来ます。 当エントリでは、標準のSQL地理関数の一部(測定系のみ)を紹介をしていきます。 測定系の地理関数 現時点(2020/12/15)で利用できる測定系の地理関数は5つあり、それぞれ簡単にまとめます。 標準 SQL の地理関数 ST_AREA ST_AREA(geography_expression[, use
点データの分析 本教材は、「点データの分析」の実習用教材です。QGISを用いて、点データの密度を可視化し視覚的に分析する手法や、点パターン分布を数理的に分析する手法について解説しています。理論の解説は、講義用教材の地理情報科学教育用スライド(GIScスライド)の4章が参考になります。 課題形式で使用する場合は、本教材を一読した後、課題ページへお進みください。GIS初学者は、本教材を進める前にGISの基本概念の教材を確認しておいてください。本教材を使用する際は、利用規約をご確認いただき、これらの条件に同意された場合にのみご利用下さい。 視覚的分析 点の分布密度 メッシュによる点密度の表示 行政区内の点密度 カーネル密度推計 数理的分析 平均最近隣距離法 標準偏差距離と標準偏差楕円 K-関数法 実習用データ 実習をはじめる前に、tokyoをダウンロードしてください。 スライド教材 本教材は、ス
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く