※本記事は2020年4月に公開した内容です。 株式会社ディー・エヌ・エーのシステム本部CTO室の露木誠です。PythonやDjangoについて執筆した『パーフェクトPython』や『Django×Python』などの著書が技術系出版社から数冊出版されています。DjangoのAUTHORSファイルにも実は名前が掲載されています。 本記事では、Pythonを始めたいと思っている方向けに、Pythonの魅力をお伝えできればと思います。知っておきたいPythonの言語仕様や特徴的な考え方をご紹介しますので、参考にしてください。 Python関連のエンジニア案件を見てみる 自己紹介とPython、Djangoに関わる活動について ディー・エヌ・エーのCTO室に所属、元々は異業種からIT業界に参入 現在は、株式会社ディー・エヌ・エーのシステム本部CTO室で、エンジニア組織の課題解決を主な活動として、日
900万レコードを20秒で空間結合しちゃうGISデータの分散処理基盤「dask-geopandas」で効率よくデータ処理しよう！ - Qiita
900万レコードを20秒で空間結合しちゃうGISデータの分散処理基盤「dask-geopandas」で効率よくデータ処理しよう！PythongeopandasDaskQiitaEngineerFesta2022dask-geopandas 初めに こちらの記事などでを紹介していきましたが、ファイルを読み込んだ後には当然、何かしらの処理を行うと思います。 GeoPandasをやるならFlatGeobufより10倍早いGeoParquetを使おう！ GeoPandas(GeoDataFrame)のread/writeなら1000万レコードを10秒で読み込めるpyogrioを使って高速に行おう！ 大きなデータを処理する際に、数十GB級のデータだとデータの読み込み自体を高速で完了させたとしても、空間検索に膨大な時間を要したり、そもそもデータがメモリに乗り切らず処理できないということもあるでしょう。
NVIDIA RAPIDSを使ったデータ分析と位置情報分析の入門 皆さん、こんにちは、こんばんは。石黒慎と申します。 この記事では、NVIDIA RAPIDSを使ったデータ分析について、ご紹介させていただきます。 RAPIDSを使うと、データサイエンスに必要な前処理〜機械学習までを簡単に高速化できます。 本記事ではRAPIDSの導入方法・利用方法から、 RAPIDSを用いた位置情報データ分析までをご紹介します。 本記事を参考に、RAPIDSを用いた様々な分析にトライして頂けると幸いです。 本記事の目標: 読者にお持ち帰りいただきたいもの RAPIDSとはなにか？ RAPIDSの導入方法 RAPIDSの各種機能のご紹介 RAPIDSを使ったデータ分析入門 （タクシーデータに対して、dask-XGBoostを用いて機械学習） cuSpatialを使った位置情報データ分析 RAPIDSとはなにか
I. はじめに 「白地図を描こう」の第2弾です。今回は日本全体を描いた、都道府県界の白地図を作成します。前回の市区町村界の作成や、それ以前の世界地図の作成よりも需要のありそうな内容ですね。むしろ、何故これを1番最初の記事にしなかったのか？というくらい、GISを使って作業をするにあたって重要な内容かもしれません。 ここで、なぜ「都道府県界の白地図の作成」が重要なのか、なぜ1番最初の記事にしなかったのかを簡単に記しておきます。 まず、なぜ重要なのか。 1. 都道府県界の白地図の汎用性が高い。 2. 都道府県界のGISデータの汎用性がメチャクチャ高い。 この2点なのですが、2番目の方が圧倒的に重要です。つまり都道府県界のGISデータは白地図を描くために使えるのはもちろん、コロプレスマップにも使えるし、都道府県界を何らかの地図の背景図として使うこともできます。都道府県単位の空間的な検索や集計、マス
2024-04-12yuiseki.icon 【オフライン開催】個人開発祭り #3【配信もあり】 - connpass #個人開発祭り #3 自己紹介 yuiseki.iconyuiseki 好きな地図を好きに作りたいだけの、イカれた地図馬鹿だっ！！ 私はなぜ地図の個人開発をするのか 逆に止める方法がわからない 今から皆さんにはタダで地図を作ってもらいます 40秒で支度しな https://bit.ly/yuiseki-map-2024 趣旨 もっと地図の個人開発しようじゃん 課題 お手軽な地図データが知られていない お手軽な地図ライブラリが知られていない デモ 今日のために1時間くらいで作ったリポジトリ 青いボタンを押してください MapLibre GL JSとReact Map GLで、OpenStreetMapの地図ベクトルタイルを表示 Overpass APIで、中央区のポリゴンと
データフレーム上の緯度と経度を空間オブジェクトに変換する-🦉sfと🐍geopandasの例- - cucumber flesh
地理空間データを取り扱う際は、はじめにgeojsonやshapeファイルで受け取ることが一般的かと思います。 あるいはポイントデータの場合には、緯度と経度の値が各列に記録されるcsvなどの表形式のテキストファイルを起点とすることもあります。 前者のような地理空間データであれば、 R等のアプリケーションで読み込めば自動的に地理空間データとみなしてくれますが、 後者の場合はそうではありません。 座標の値はあくまでも数値です。なのでこうしたデータを地理空間データとして扱えるようにするには変換作業が必要となります。 今回の記事では、RおよびPythonでのデータフレームに記録された緯度経度の列を変換し、空間オブジェクトとして扱えるようにする方法を紹介します。 空間オブジェクトの形式としてRではsf、Pythonではgeopandasを対象にします。地理空間データに変換しておくと、データの空間的な配
統計GIS講座（基礎）－地域データの可視化と分析－
この講座は『受講登録する（無料）』ボタンを押すと受講開始となる『開始日可変型講座』です。 『開始日可変型講座』とは、受講者個々の受講開始日に応じて進行する講座です。 ご自身のスケジュールは、以下の講座スケジュール（PDF）を参考にご確認ください。 講座内容 本講座は、地域データ分析の入門的な講座で、統計データをGISで分析する際に必要な知識を紹介します。国勢調査の町丁字レベルの詳細なデータをGISに読込み、基本的な分析を行うことで、各地域の少子高齢化の実態やビジネス環境などを正確に知り、顧客の掘り起こしや新しい業態の検討など、必要な対策を立てることができます。 第3週以降の「ハンズオン」と示した講義は、実際に統計データを使って、GISの操作演習を行います。操作演習では、QGISというGISソフトウェア（ver. 3.22）を使います。QGISは無料で、誰でもダウンロード、インストールして使
I. はじめに 地理空間情報が利用可能な分析ツールは、GISのみならず各学問分野で提供されています。たとえばマルチエージェントシミュレーションツールであるNetLogoはShapeファイルを読み込むことができます。計量経済学で利用されてきた汎用統計ソフトのStataも、Shapeファイルを用いて空間計量分析を行うことができます。しかし、このようなツールは、地理空間情報の加工機能が備わっていなかったり乏しかったりすることが多く、分析に用いるデータを用意するために別途GISの力を借りることが少なくありません。 ここで扱うMaxEntもその1つです。MaxEntは、生物種の空間的な分布モデルを推定するソフトウェアです。分析には既知の分布データや地形や植生などの地理空間情報が必要になります。しかし、調査によって得られたデータやウェブサイトから集めたデータが、そのままMaxEntに使えるデータになっ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonを会得する考え方やポイント5選！ 『パーフェクトPython』著者が魅力を語る！ - FLEXY（フレキシー）
NVIDIA RAPIDSを使って前処理・機械学習・位置情報分析を高速化しよう - Qiita
【実習編】非専門家のためのQGIS ～白地図を描こう_都道府県界～｜はとば
あなたは地図を今すぐタダで作る 個人開発祭り 2024-04 - yuiseki
【実習編】生物の分布予測マップの作成 MaxEntの利用とQGISによる分析データの準備、可視化｜はとば