はてなブックマーク

先日こんな記事を書きました！ Rustの「Axum」というWebAPI用のフレームワークを利用して、レイヤードアーキテクチャでTodoアプリを作る記事になります。 その過程でちょっとこだわってDockerfileを作成したので、せっかくなのでこれをAWSのLambdaを使ってサクッとデプロイしてみようと思います！ Lambda Web Adapterという比較的最近リリースされた機能を利用すると、Dockerイメージをほんの数分でデプロイできるので、今回はこちらを利用していきます！ 参考記事 Lambda Web Adapter でウェブアプリを (ほぼ) そのままサーバーレス化する Dockerfileを作成 僕の書いた記事でも紹介していますが、今回はこちらのリポジトリを使っていきます。 Dockerfileは以下のようになっています。 FROM rust:1.74.1-slim-bul

Overture Mapsの建物データ（7億件）からDuckDBのPython APIで日本のデータだけ取得してみた！PythongeopandasduckdbOvertureMaps Overture Maps Foundationから、とうとうオープン地図データがリリースされましたね！ 世間一般ではどんな反応なのかわかりませんが、界隈では割と盛り上がっている様子です。 Overture Mapsは構造化され、品質が保証された使いやすい地図データをオープンにするべく、整備しているとんでもない規模のプロジェクトで、以下のようなビッグテックが開発を行なっています。 2023/07/26に「Overture 2023-07-26-alpha.0」という名称で初めてデータがリリースされました。 データは4種類に分かれており、個別にライセンスが適用されていますが、基本的には「概ね自由に利用できる」

こんなツイートを見て激震が走りました。 「え、めっちゃ簡単に建物ポリゴン抽出してない？」 ツイート主は界隈の有名人で、Pythonのコードを1行書くだけで誰でも手軽にインタラクティブな地図アプリを作れるLeafmapを使ってみようでも紹介したleafmapの作者でもあります。 恐る恐るNotebookを見ると、やっぱりめっちゃ簡単にセグメンテーションされていそうです。 しかも、leafmapを利用し、セグメンテーションの結果をjupyter notebook上で即可視化していますね。 こんなん見せられたらやってみるしかないですよね。 データのダウンロード このライブラリは、どうやら航空写真（オルソ画像）をセグメンテーションしてくれるライブラリのようなので、PLATEAUのオルソ画像を利用しましょう！ 東京都の40cm解像度のデータを、以下から入手することができます。 https://www

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? みなさんChatGPT使ってますかぁぁぁぁぁぁぁぁ！！！！ 今この世界で最もアツいツール。 それは、そう、当然「ChatGPT」 ご存じ世界最強のChatBotです。 ChatGPTとは、見たいなことはググればいくらでも見つかるのでここでは語りません。 この記事では具体的なChatGPTの利用方法と「業務利用」におけるその課題点について語っていきます。 GPTの利用方法 ChatGPT ChatGPTは以下から利用できます。 https://chat.openai.com/ GPT-3.5と呼ばれる旧来のモデルでも相当ヤバかったですが、

※この記事はAIが生成した文書を追記・修正した記事です。 この記事では、地理情報システム(GIS)の基本的な概念を紹介し、PythonとShapelyを使って地理空間情報の操作や可視化を実行する方法を学びます。このチュートリアルは、Pythonの実行環境が整っている方を対象にしています。 目次 GISの基本的な概念 座標系と投影法 GISデータ形式 PythonとShapelyを使ったGISデータの作成と編集 地理空間情報の可視化 地理空間データのバッファリング 地理空間オブジェクトの交差と結合 空間インデックスの使用 GISデータの読み込みと書き込み 1.GISの基本的な概念 地理情報システム（GIS）は、地理的なデータを扱うための情報システムです。GISを使用すると、地理空間データを収集、保存、分析、および可視化することができます。 主な概念: 点(point)：地理空間データの基本的

（※オープンナガサキのトップページ） くぅ〜〜〜〜痺れるトップページですね〜。 点群データ先進国家「SHIZUOKA」に引き続き長崎県も全域の点群データを公開してくれるそうです！ (一部地域はまだ調整中ですが…) （VIRTUAL SHIZUOKAの点群データはこちら) こうやってデータをバシバシ出してくれている以上は、我々エンジニアとしては有効活用させていただかねばなりません！！ と言うことで早速データをダウンロードしてGoogle Earthみたいな3D地球儀を作成できるJavaScriptライブラリである「Cesium」を利用して地球上に載せてみました！ （※この記事はPDALやpy3dtiles・Cesiumなど点群操作に慣れている人向けプログラマー向けですが、そうでない方も出来るようになるべく丁寧に記載してはいます。） データのダウンロード 何はともあれまずはデータをダウンロード

初めに ラスタータイル、というデータ形式をご存知でしょうか？ WebGISではとてもよく利用される概念ですが、以下のように背景となる地図（画像）をズームレベルという概念に沿って倍率を変え、ズームレベルが上がるごとに地図の詳細度が上がっていきます。 （地理院タイルについてより） 表示区画があらかじめ決まっているため、地図画像を事前に作成しておくことが可能で、軽量かつ高速に全世界分の背景地図をブラウザで表示することができます。 こんなラスタータイルですが、通常はhttps://cyberjapandata.gsi.go.jp/xyz/std/{z}/{x}/{y}.pngのように{ズームレベル}/{X座標}/{Y座標}.png（.jpg）のようなZXYのタイル座標を指定する形式で配信され、ブラウザなどから利用することを想定しています。 ただ、国土地理院が配信する標高タイルのようにピクセルの値そ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 初めに みなさんこんにちは！ 宇宙ビジネスってご存知でしょうか？ 「宇宙ビジネス」とだけ言われてもあまり想像がつかないかもしれませんが、GPSやロケットの製造や運用、打ち上げや制御のためのシステム・衛星テレビ配信サービスやその運用・それらを受診するためのアンテナや端末など、「宇宙」にまつわるものは案外たくさんあります。 リモートセンシングと呼ばれる衛星画像を取り扱った「地球観測」もその一つですね。 そんな宇宙ビジネスですが、こちらの記事によると2019年での市場規模は40兆円にまで到達しているそうです。 （宙畑より（https://so

iPhoneでも使えるようになったLiDARの標準ファイル形式「LAS」ってどんなデータなの？を、PDAL/Laspyを使って調べてみる。PythonLidarpdalQiitaEngineerFesta2022laspy lasデータってなんや ※掛川城の点群データをopen3Dで可視化したやつ 以前こんな記事を書きました。 ざっくり要約すると「lasデータをOpen3Dで可視化し、plyで出力する記事」なのですが、この記事で元データとなった「LAS」という形式についてちょろっとだけ触れています。 Leafmap/Open3Dを使って掛川城の大規模点群データ（5GB）をPythonで可視化してみよう！ ただ、「点群データだよ」と「LiDARの標準形式だよ」ということ以外にはほとんど触れなかったので今回はもう少し踏み込んだ上で、Pythonから色々触ってみて、さらに点群データの超軽量化まで

（今回作っていく広域点群データの完成図です） 3Dデータを有効に可視化したい PLATEAUのデータを利用することで、地図 + 地形データの上に詳細な建物データを配置するなど3Dデータを活用したリッチな表現が比較的簡単に出来るようになりました。 が、3Dモデルはテクスチャ（ビルの外観など）を貼り付けるとWeb地図上ではかなーり動作が重たくなってしまう上、モデルが整備されていない・もしくは整備されているが、詳細な形状がモデリングされておらず四角い箱になっていたり、テクスチャが存在しなかったりする都市だと、こんな感じでちょっと寂しい絵面になってしまいます。 そこに、詳細な色付き点群データを利用して乗っけると一気にリッチな感じになりますね！ 詳細な広域3Dメッシュモデルがテクスチャ付きで整備されていれば、それを利用すれば良い話ではあるのですが、全国分整備するにはお金も時間もかかります。 なので、

地図のWikipedia！OpenStreetMapのデータをPythonで簡単にダウンロードできるPyrosmとleafmapを使ってみよう！PythonOpenStreetMapQiitaEngineerFesta2022leafmapPyrosm OpenStreetMapって？ OpenStreetMap（以下、OSM）とは、誰でも自由に利用でき、なおかつ自分で編集することも可能な地図のWikipediaとも呼ばれるサービス・プロジェクトです。 OSMは例えば、自社サイトで本社の位置を示す時の背景地図として利用したり、検索機能を使って近隣のコンビニの位置を取得したり、登録された道路のデータを使って（めちゃくちゃ頑張れば）カーナビが作れたりするかもしれない、そういったプロジェクトになります。 印刷してプロジェクトの報告書の挿絵に使ったりもできます。 （GoogleMapは基本有料。）

（※東京駅周辺） みなさんこんにちは！ PLATEAUのデータ活用してますか！！！ PLATEAUとは国交省主催で、現在56都市分のビル群や地形などの3Dデータを整備し、街づくりや防災、デジタルシティやメタバースなどの分野で（それ以外にも）利活用を広げることを目的としたプロジェクトで、そのデータは誰でも自由に利用することが可能です。 また、今年もその他の都市を整備するみたいです！ （トップページかっこよすぎ） そんなPLATEAUの3Dデータですが、ARやVRで仮想空間にリアルな3Dデータを配置したり、3Dプリンターを使って家を作ったりしているこの時代に、あえて2次元で平面の画像を作っていきましょう！！！！！ 田舎まで含めて全国分整備されたら日本中どこでも、サクッと背景画像が作れちゃうからめちゃ便利な気がする！！！ まずはデータのダウンロード G空間情報センターというところでPLATEAU

3Dスキャンアプリの使い方はわかるけど、内部の仕組みが解説された記事はなかなかない まず、僕はiOSのエンジニアではないので、前提知識が足りていない部分があると思うのですが、それを抜きにしてもLiDARデータから3Dデータを作り出す過程が日本語で説明された記事ってほとんどないなぁと思いましたので、とにかく調べまくったことをまとめていきます。 基本的には「自分用メモ」です。 Scaniverseはどうやっているのか考察 iPhoneで利用できるようになったLiDARのデータを利用して3Dモデルを作成する「Scaniverse」というアプリがあリます。 使い方などはこちらが参考になると思います。 Scaniverseを使ってスマホで3Dスキャンをしよう！ こちらはざっくりこのようなことができます スキャンする範囲は0.5~5mまでで選べる そもそもiPhoneは5m先までLiDARを利用したス

最近Pythonで2次元/3次元問わずデータ処理を行うことが多いんですが、特に3次元データの方のライブラリが色々ありすぎて頭の処理が追いつかないのでちょっとだけ整理していこうと思います。 （随時更新予定…） PyVista https://github.com/pyvista/pyvista Visualization Toolkit (VTK)をnumpyでラップした高レベルのAPI VTK・SLT・OBJ・PLYなど一通りメッシュが読める 結構GUIツールが揃っている感じ？ 点群とメッシュの変換はできるらしい シミュレーション・レイトレーシング・GISで使えるとかなんとか Leafmap https://github.com/giswqs/leafmap lasを読み込める plyもいける？ lasを読み込んだ時はlaspyのインスタンスが出来上がる 2次元データ処理寄り Open3D

900万レコードを20秒で空間結合しちゃうGISデータの分散処理基盤「dask-geopandas」で効率よくデータ処理しよう！PythongeopandasDaskQiitaEngineerFesta2022dask-geopandas 初めに こちらの記事などでを紹介していきましたが、ファイルを読み込んだ後には当然、何かしらの処理を行うと思います。 GeoPandasをやるならFlatGeobufより10倍早いGeoParquetを使おう！ GeoPandas(GeoDataFrame)のread/writeなら1000万レコードを10秒で読み込めるpyogrioを使って高速に行おう！ 大きなデータを処理する際に、数十GB級のデータだとデータの読み込み自体を高速で完了させたとしても、空間検索に膨大な時間を要したり、そもそもデータがメモリに乗り切らず処理できないということもあるでしょう。

※公式サイトのデモ映像です。これがPythonのコード1行で作れます。 https://leafmap.org/ データ確認ってめんどくさくないですか GISデータってよくわからないな、なんだそれ。っていう方がいきなり上司に「いろんなデータが蓄積されてきたから、地図上に可視化して分析してみよう。」とか「誰でも手軽に閲覧できるように、Web上にサイトを構築しよう」なんていう話をされたら多分キレますよね？ GISデータを日常的に利用していてもそれはさほど変わらず… GISデータを取り扱う中で、主にデータの前処理などを行っている方は同じような悩みを抱えているんじゃないかなと思うんですが、データの可視化ってめんどくないですか？ いや、QGISとかデスクトップGISでデータ処理しているならサクッと見れちゃいますし、実際頻繁に使うんですが、サーバーで定期的に行うバッチ処理のためにローカルでプログラミン

GeoParquetとは GIS界隈では、AIやビッグデータ処理などデータサイエンスの分野で利用されるようになっている高速かつ効率の良いデータ処理手法などを全て取り込めてる訳ではなく、若干遅れをとっている状態と言われています。 これは地理空間情報というもの自体が複雑な仕様をもつためかとおもいますが、近年はGISでもGB/TB級のデータを取り扱う機会が増えており、Hadoopに代表されるような表形式データの分散処理基盤などを有効活用できない点において、「どげんかせんといかんなぁ」と考える方々も増えています。 そんなモチベーションからここ最近活発に開発されている形式のデータがGeoParquetです。 GeoParquet: https://github.com/opengeospatial/geoparquet Apache Parquetという、こちらも近年活発に開発されている形式のデータ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

モダンな技術で手軽に地図アプリを始めてみよう！！！（Next.js/TypeScript/Tailwind CSS/maplibre GL JS/Deck.gl）TypeScriptNext.jsdeckgltailwindcssMapLibre はじめに はい！！！今年もやってまいりましたMIERUNEアドベントカレンダー！！！ 記念すべき1日目は「何をするにもまずは環境構築からだよね！」ということで、モダンな技術をふんだんに使ってフロントエンド側の環境を構築し、簡単な地図アプリ用テンプレートを作成いきたいと思います！ 最新技術を利用すればめんどくさい環境構築も簡単に行えるようになるぞーっていうのを知ってもらえればなーと思います！ こちらに記載の手順を全部実行したテンプレートは以下のリポジトリで公開していますので、せっかちな方はこちらからどうぞ！ https://github.com/n

はじめに MIERUNEアドベントカレンダー22日目です！ いよいよ終盤ですね！ 今回はDockerのマルチステージビルドについてやっていきます！ いやいやGIS関係ないんかい！と思う方もいるかもしれませんが、そんなことはありません！ GISに関わるプログラミングをするときにPythonはもはや必須ですし、WebGISをやっていく上でDockerも必須です。 なのでまぁDockerの話題はほぼGISですね。 ということで早速やっていきましょう！ 作成するファイルはこちらに置いていますので、せっかちな方はご利用ください。 https://github.com/nokonoko1203/minimize-docker-image 必要なファイルを作成する まずは適当にディレクトリを作成しましょう！

はじめに みなさんこんにちわ！ つい先日、こんな記事を書きました。 国土地理院のサイト（基盤地図情報）からダウンロードしたDEMを利用してサクッと可視化するプラグインを弊社(MIERUNE)で作成したので、そちらを紹介した記事になります。 ところで！！！！！！ こちらの記事、大部分が基盤地図情報からデータをダウンロードする方法に費やされています。 基盤地図情報はよく整備されたサイトなので必要ないかなとも思いつつ、色々書かせていただきました。 が、そもそもの話、「標高を見たいだけなのに会員登録して地図見て選択してダウンロードしたファイルを加工したりしなきゃならんのか…！？」と思った方もいるんじゃないかと思います。 「もっと簡単な方法はねぇのかよ？」と思いますよね？？？？？ そうです！！！！！！！！！ あるんです！！！！！！！！！！！！！！ いいえ！作りました！！！！ それがこちら！ こんな感

国土地理院の標高データ（DEM）をQGIS上でサクッとGeoTIFFを作って可視化するプラグインを公開しました！（Terrain RGBもあるよ）PythonGISQGISDEM国土地理院 はじめに みなさんこんにちわ！ みなさんは突然「あーーーー地表面の形状を可視化してぇなーーーーー」と思うことはありますか？ 僕はあります。 地表面の標高データといえばパッと思いつくのは当然、国土地理院が作成しているDEMですよね？ GIS界隈の方でしたら知らない方はいないと思いますが、業界の外の方は聞いたこともないのでは、と思います。 DEM、とは「数値標高モデル」（Digital Elevation Model）の略語で、測量用の航空機を用いてレーザー測量を行い、建物などを除いた地表面の標高をある一定のルールで間引いたデータになります。 詳しくはこちら（国土地理院）から。 さて、このDEM。 精度の差

政府統計の総合窓口「e-Stat」のAPIを使って市区町村の境界データと目的の統計データをマージするツールを公開！PythonpandasGISe-Statgeopandas はじめに みなさま。今、世界で一番熱いWebアプリケーションをご存知でしょうか？ そう。 e-Statです。 政府の統計情報が分野・データ作成組織ごとに取りまとめられており、データの検索も可能。 さらにはグラフ・表など様々な形式で閲覧することのできるポータルサイトです。 APIも用意され、サイトデザインも可愛いくてモダンーな感じに仕上がっていますね。 また、統計データを地図上で可視化する統計GISという機能も用意されているようです。 こちらは国勢調査・人口動態統計・医療施設調査など、特定の統計データを選択して地図上で可視化できる機能のようです。 ステキ！ こういうアプリケーションを見るとGIS屋としては当然いてもたっ

ぼく「Djangoのリモートデバッグも出来ないエディターなんて…」VSCode「それ、できるで。」~docker-compose編~PythonDockerdocker-composeVSCode はじめに VSCode「そう。Remote Developmentならね。」 ぼく「なん…やて…」 目次 前提条件 Remote Developmentのインストール 設定ファイルの追加 リモートデバッグの開始 デバッグの開始 前提条件 VSCode「docker-composeでのデバッグをやっていくから、まずは下のわかりやすい記事を参考に環境構築を行ってな。」 ぼく「手前味噌やな。」 DockerでDjangoの開発環境を再構築！！！！ VSCode「フォルダ構成は以下の通りになっているはずやで。」 containers ├── django │ ├── Dockerfile │ ├── P

はじめに 以前、こんな記事を書きました。 Docker で Django の開発環境を構築！（Docker-compose/Django/postgreSQL/nginx） 元記事はだいぶ昔（1年くらい？）に書いたものですが、今では知見が溜まりもうちょっと良い感じの構成に出来るんじゃないかなーと思ってチャレンジしてみることにしました！ Dockerのインストールなどの細かい話はしないので、気になる方は元記事を見てみてくださいね！ (こちらなんかが参考になると思います。) また、以前の記事と明確に異なる点として、DjangoはAPI配信サーバーとして考え、フロントエンドの実装にはVue.jsやReactを想定しているので、静的ファイルの配信やtemplateの設定などは行わない点と、docker-compose.ymlとdocker-compose.yml.prodを作って本番環境と開発環境

はじめに ぼく「Pythonistaのみんなは当然、日々の開発にエクセレントなIDEであるPyCharmを器用に使いこなして爆速開発しとるやん？」 ぼく「かくいうワイもPythonistaの端くれとしてPyCharm沼にハマって早半年以上経ったで。」 ぼく「でもな、ここ最近。」 ぼく「みんなどうやらPyCharmのインテリジェンスっぷりをよく理解していないんか、無料だからーとVSCodeとかいうツールを使っとるしているで！！！」 ぼく「これはけしからん！！！！！我らがPyCharmはこんなにすごいんだぞ！！！！！と威張ってやろうと思っていたんですが調べてれば調べるほど…」 ぼく「あれ？プラグイン組み合わせたらVSCodeで十分じゃね…？しかもめっちゃ軽い…無料でいいのこれ…と、感じる日々…」 こうして、僕のVSCode→PyCharm化計画が始まった… 目次 目次 VSCodeに求める機能