総務省統計局データをPythonで加工 e-Stat with Python(1)
政府統計の総合窓口e-StatのデータをAPI(Aplication Programing Interface)を利用して、DownLoad and Plotに挑戦します。冒頭の日本地図は全人口に占める各都道府県の人口の比率（割合）を示したグラフです。 参考にさせていただいたWEBPageは以下のとおりです。 URL：https://note.com/kiyo_ai_note/n/nac8c77768c07 （Kiyo-noteさんのPythonでやってみた１２：APIで統計情報取得（e-Stat）） こうしてみると、東京都に日本人口の10％程度が集中し、関東圏の都道府県と大阪は5から7％程度、北海道も比較的高め、同等程度で愛知、神戸、福岡が並び、その他の都道府県は軒並み4%程度以下というか、大部分が2％程度以下であるという印象です。 グラフ化までのPythonコードを掲載します。 １
PyTorchの気になるところ
はじめに PyTorchを普段触っているのですが、細かいところをなんとなくで今まで過ごしてきたので、今回しっかりまとめていきたいと思います。自分の備忘録になっていますが、少しでも参考になればと思います。 (Qiitaで書いていたものを引っ越してきたものです) この記事の対象者 .copy(), .detach(), .bachward()がよくわかっていない方 nn.Conv2dのweightやbiasの取得ってどうやんの？ model.eval()って結局何してる？って方 torch.no_grad(), torch.set_grad_enabled()の区別がわからない方 F.relu, nn.ReLUの違いなんやねんって方 コアなネタが多いですが、よかったら参考にしてみてください。 この記事の内容 1. Tensorの操作テクニック 2. Layerのweightやbiasの取得と初
【Python】geopandasで描画したシェープデータをflaskでhtml上に画像出力する - Qiita
シェープファイルをhtmlに表示させる方法を調べていくうちにPythonが持っているgeopandasという地図出力ライブラリだとshpの出力が可能だとわかり、シェープファイル（shp形式）を表示させてみました。 ところが、html上に表示させるためflaskを活用しようと思ったのですが、geopandas flaskで検索してもなかなか見つからず難航していたところ、shpファイルに対し、matplotlib内のcanvas機能を使って画像化する方法があることを知りました。そこで、flaskでその画像を表示できないか試行錯誤していくうちに、ひとまず方法を実現できたので、備忘録として記しておきます。 なお、このページではシェープデータは全部ポリゴン（図形）を使用しています（他にドット、ラインがあります）。 1:html上に画像化したshpを表示させる 画像を表示させる手順は以下の通りです m
Pythonで地理空間情報（GIS）やるために必要なパッケージ全部入りの「geospatial」が便利すぎた - Qiita
Mac民にとってはめちゃくちゃ朗報かも GISをやる人ならわかってくれると思うんですが、MacでPythonを使ってGIS（主にgeopandasなど）をやる時依存関係の解決にかかる時間ヤバすぎ問題っていうのがありまして… 主にGDLAとかGDALとかがかなりやばくて偉大なる先人様のお知恵を拝借して鼻血出しながらなんとかかんとか実行環境を整えていました。 が！！！！！もうそんな必要はないのかもしれませんね！！！！！！ 早速インストール Anacondaがインストールされている前提ですので、こちらの記事を参考にするなどしてインストールお願いします。 MacでGISデータ分析を始めるためにサクッとAnacondaとjupyter labをインストールしてみる で、インストールはこれだけ。 - python >=3.7 - black-jupyter - bump2version - carto
【PythonでGIS】GeoPandasまとめ - Qiita
使用するデータ こちらの記事と同じデータを使用して、実装を進めます 必要ライブラリのインストール トラブルシューティング含め、こちらの記事を参照ください 具体的な実装例 Shapefileの読込、処理、保存、表示に分けて、 各ユースケースの実装法を解説します 読込1：Shapefileの読込 Shapefileの読込には、read_fileメソッドを使用します。 # 必要ライブラリの読込（読込以外で使用するライブラリも含みます） import geopandas as gpd from shapely.geometry import Point import pyproj import pandas as pd import numpy as np import re # 入力ファイルのパス DAM_PATH = './W01-14_GML/W01-14-g_Dam.shp' # 国交省ダ
入門編！Pythonでの位置データ分析を活用しよう！（国勢調査のデータを扱います）｜IT勉強会・イベントならTECH PLAY［テックプレイ］
登壇者 小川 英幸 合同会社 長目 代表社員 https://chomoku.com/ 登壇者略歴 滋賀大学経済学部卒。証券会社でトレーダー・アナリストを経て、データテクノロジー企業合同会社長目を設立。証券アナリストの資格を持つ。 経済、企業関連のデータ分析から、位置データを活用しての気象、衛星データの分析まで、幅広い分野のデータが分析できる。 執筆: - Python インタラクティブデータビジュアライゼーション入門 -Plotly/Dashによるデータ可視化とWebアプリ構築- (朝倉書店) - WEB+DB PRESS VOL.118(特集2 Pythonデータ可視化入門) 登壇: - PyConJP 2019、PyCon China 北京 2019、PyCon mini Hiroshima 2020 スピーカー。 - PyConJP 2020 チュートリアル担当 「オープンデータを
[オンライン]Pythonで学ぶ初めてのGIS入門ハンズオン(2021/10/30) (2021/10/30 16:00〜)
お知らせ 【メンテナンスのお知らせ】4月25日(木)10:00から1時間半ほど、メンテナンス作業を予定しております。作業の間はconnpassのご利用が出来ません。ご迷惑をおかけしますが何卒ご了承ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。 2024年5月23日(木)以降より開始予定の「connpass 有料API」の料金プランにつきましてはこちらをご覧ください。 なお有料の対象となるのはAPIのみであり、connpassのサービスにつきましては今後も無料でご利用いただけます。 10月 30 [オンライン]Pythonで学ぶ初めてのGIS入門ハンズオン(2021/10/30) 初めてGISを使う方向けハンズオン形式イベントです。
![[オンライン]Pythonで学ぶ初めてのGIS入門ハンズオン(2021/10/30) (2021/10/30 16:00〜)](https://cdn-ak-scissors.b.st-hatena.com/image/square/60542fbd2fbac5dfef7125d897f8e4fb3ef4205c/height=288;version=1;width=512/https%3A%2F%2Fmedia.connpass.com%2Fthumbs%2F92%2F65%2F92655924393984cf5c03464b2e9d54bb.png)
foliumの基本的な使い方とオープンデータ活用 - Qiita
※ 初投稿になりますので、変な日本語や知識不足があるかもしれませんがご了承ください。 はじめに Pythonでデータ可視化といえばMatplotlibやpandasなど代表的なライブラリを使ってグラフプロットすると思います。 実際はデータによりけりですが、オープンデータ（特に緯度経度が含まれているデータ）を可視化するとなるとQGISやMANDARAなどのGIS（地理情報システム）ソフト、GeoPandasといったPythonのライブラリが挙げられます。 これらのソフトやライブラリは非常に使い勝手が良いのですが、.shpや.gmlといったファイル形式やレイヤー管理といったGISの知識が多少なりとも持ち合わせていないと苦戦してしまう部分があります。 そこで、緯度経度が含まれているデータをPythonで簡単に地図上にプロットしたい、簡単に傾向を見たいと思って調べてみた結果、foliumというPy
PythonでのShapefile（.shp）操作まとめ - Qiita
Pythonと地理データ 飛ぶ鳥を落とす勢いで利用が広がるPythonですが、地理データに関してもその傾向は同様です。 Pythonの主用途であるデータ分析と地理、一見関連が薄そうですが、 日本地図を作った伊能忠敬が偉人と言われるように、地理データは古来から重要な情報として活用され、現在では公的機関のサイトから良質のデータが無料で手に入るため、データ源として極めて有用です。 というわけで意気揚々と公的機関のサイトに乗り込み、ダウンロードしたファイルを解凍すると、多くの人は以下の困難にぶつかるかと思います。 「拡張子が・・・・わからん…」 こんな方のために、本記事では地理データの主要な形式であるShapefile（.shpファイル）をPythonで扱う方法を、実装例(GitHub)を交えて解説しようと思います。 本記事を読めばShapefileはひととおり扱えるというような、ポータルサイト的
Automating GIS 2020 輪読会 #6 (2021/06/30 20:00〜)
概要 ヘルシンキ大学のGIS講座「Automating GIS」の講義ノートを読む輪読会です。 こちらの講座の内容はオンライン上の公式サイトとGithubに講義の詳細が公開されています。 また実際の講義動画もYoutubeの公式チャンネルに上がっており、GIS初学者が学びやすい環境が整っています。 これらの教材を読みながら、地理空間データをPythonを使って解析する手法を学んでいきます。 今回の内容 今回からLesson 3 空間結合などのGeopandasを使った高度な地理空間情報の処理について学んでいきたいと思います。 公式サイト から Lesson 3 Spatial join Nearest Neighbour Analysis Spatial index - How to boost spatial queries? Nearest neighbor analysis with
地理空間情報を扱うなら知っておきたいPythonライブラリ、GeoPandas入門~基礎編~ | 宙畑
さまざまなデータを地理空間情報として重畳する上で有用なPythonのライブラリであるGeoPandas。前編ではGeoPandasを用いたデータの描画方法など基礎的な扱い方を紹介し、後編では衛星データと組み合わせて解析結果を可視化する方法を紹介します。 Pythonで地理空間情報を行う場合、GeoPandasの使い方を覚えておくととても便利です。 例えば、都道府県別の気象データを持っていたとします。そのテーブルデータ(csv)には地理情報と言えば、都道府県の名称くらいしかありません。このような場合、これを日本地図の上に重畳して可視化することはできません。 しかし、このデータに地図上に描画できる情報を与えることさえできれば、好きなデータを地図の上に重ねることができます。このようなことをしたい場合に、GeoPandasの使い方を知っておけば助けになります。 今回は、簡単な例を通じて、GeoPa
地理空間情報を扱う上で知っておきたいPythonライブラリ、GeoPandas入門~応用編・衛星データと組み合わせ~ | 宙畑
地理空間情報を扱う上で知っておきたいPythonライブラリ、GeoPandas入門~応用編・衛星データと組み合わせ~ 地理空間情報を解析する上で有用なPythonライブラリGeoPandas。後編では、衛星データとシェープファイルを組み合わせて解析することで、テーブルデータを作成することにチャレンジします。筆ポリゴンを任意の大きさのベクターデータで切り取り、切り取ったデータを用いて、衛星データをその範囲で取得し、NDVIの推移を求めます。 前編ではシェープファイルのような地図に重ねることのできる幾何的な情報を含んだデータと、単なるテーブルデータ（ただし、そのシェープファイルと同様のデータを含む場合。例えば都道府県の名称）を重ねて、作成したデータを描画するということを学びました。 後編となる本記事では、シェープファイルと同様に幾何的なデータを含みつつ、ラスターデータとして扱われているもの（代
Foliumで手軽に地理データを可視化する | DevelopersIO
はじめに データアナリティクス事業本部の鈴木です。 緯度・経度の情報が入っている地理データを確認する機会がありました。 手軽に確認するのに、Foliumというライブラリを使うと便利だったので紹介します。 Foliumとは pythonからLeafletを使ってインタラクティブな地図を作成できるライブラリです。LeafletはオープンソースのJavaScriptライブラリで、Web地図サービスでインタラクティブな地図を作成するのに使われています。 Foliumを使うと、緯度・経度の値を使って、地図上にマーカーを立てたり、そのマーカーに視覚的な効果を付け足すことができます。タイルはいくつかの選択肢がありますが、デフォルトではOpenStreetMapが使われます。 こんなときに使うと便利 データの観測地点の場所が知りたいとき 地図上にマーカーを作成できるので、データの場所を可視化できます。 必
Python での探索的データ解析には pandas-profiling を使おう - GIS奮闘記
さて、本日は pandas-profiling について紹介してみようと思います。機械学習をやっていると避けて通れないのが探索的データ解析ですが、かなり面倒な作業ですよね。ただ、pandas-profilign を使えばすごく簡単に探索的データ解析を行うことができます。 探索的データ解析とは 統計では、探索的データ分析は、データセットを分析して主な特性を要約するアプローチであり、多くの場合、統計グラフィックスやその他のデータ視覚化手法を使用します。（出典：Wikipedia） pandas-profiling とは Pandas のデータフレームを読み込んでそのデータに対して探索的データ解析を行ってくれるライブラリです。詳細は以下を参照してください。 github.com 必要なライブラリ pandas と pandas-profiling をインストールしてください。 環境 Window
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - shi-works/npa-traffic-accident-data-2022-converter: 警察庁 交通事故統計情報オープンデータ（2022年）を読みやすい形式（GISデータ）に変換するPythonスクリプト
【ArcGIS Pro 版】Python を使って作業の効率化を図ろう!③ : ジオプロセシング ツールの操作
PyTorchとYOLOv5で検出したオブジェクトの バウンディングボックスの座標情報を取得する | Murasan Lab
【ArcGIS Pro 版】Python を使って作業の効率化を図ろう!② : マップ・レイヤーの操作
Anaconda Announces Collaboration with Esri, Setting the Enterprise Standard for Python Across the Geospatial Community
地理情報システム学会FOSS4G分科会 - 第30回GIS学会 ワークショップ：FOSS4Gを使って3D空間データを扱ってみよう！！