「住所の揺らぎ程度のことにAIを使いたいだとかデジタル音痴」だの「住所の正規化なんてExcelで2時間あれば作れそう」だの、たいへんフットワークの軽やかな言説の数々に、位置情報界隈のみならず住所の正規化や名寄せに少しでも関わったことのあるエンジニアが総立ちでマサカリを投げていたのも記憶に新しい今日この頃ですが（2023年6月6日）、この手の騒動は周期的に起こってる印象です。 ということはつまり いつまで経っても解消されない、解決が困難な課題である その困難さが界隈以外に共有されていない であるわけで、その都度Twitterにトリビアが投下されてはTLが賑わい華やかではありますが、そろそろ自分の整理としてもどれだけ日本の住所システムがカオスで、その計算機的な処理がいかに困難かをメモっておこうかと思いました。 なおこの件については既にQiitaにGeoloniaの宮内さんが鼻血の出そうな良エン
経産省発の npm モジュール！住所や電話番号の正規化、ジオコーディングなどができる IMI コンポーネントツールを試した！
経産省発の npm モジュール！住所や電話番号の正規化、ジオコーディングなどができる IMI コンポーネントツールを試した！ Code for Japan の関さんが SNS でシェアしてて知ったのですが、経産省さんがなにやらオープンソースで住所や電話番号の正規化などなどをするツールを公開したとのこと。 https://info.gbiz.go.jp/tools/imi_tools/ 経産省が住所変換や法人種別名、電話番号の正規化に使えるIMIコンポーネントツールを公開しました。 ソースコードも公開。README にも使い方が丁寧に書かれていました。https://t.co/fPbV00EgZP 素晴らしい動き。こういう... #NewsPicks https://t.co/bew0qGKMFE — Hal Seki (@hal_sk) May 28, 2020 ぶっちゃけ当初はあまり期待
総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GIS、API機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開 性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS
PLATEAU [プラトー] | 国土交通省が主導する、日本全国の3D都市モデルの整備・オープンデータ化プロジェクト
3D都市モデルが実装されることで、未来はどのような展望を見せるのか。 インタビューやレポートを通じて、多角的な視点で3D都市モデル、そしてPLATEAUのさまざまな可能性を読み解きます。
![PLATEAU [プラトー] | 国土交通省が主導する、日本全国の3D都市モデルの整備・オープンデータ化プロジェクト](https://cdn-ak-scissors.b.st-hatena.com/image/square/3b8ccda54a01b6d1579c6a1b096c7d16aa149870/height=288;version=1;width=512/https%3A%2F%2Fwww.mlit.go.jp%2Fplateau%2Fassets%2Fimg%2Fogp.png)
絶版などで入手困難となった資料をパソコンやスマートフォンで閲覧できるようにするサービスを国立国会図書館が5月19日から始めることになりました。 対象となるのは、国立国会図書館が所蔵し、すでに電子データ化された書籍や雑誌、論文など150万点余りです。 こうした資料を閲覧するには国立国会図書館や連携する図書館に出向く必要がありましたが、新型コロナウイルスの影響などを受けてインターネットを利用したサービスの導入を求める声が上がっていたということです。 事前に利用者登録を済ませたうえで、国立国会図書館のウェブサイトにアクセスすれば、5月19日以降、個人のパソコンやスマートフォン、それにタブレット端末での閲覧が可能になります。 国立国会図書館サービス企画課の福林靖博課長補佐は「国会図書館でしか得られない情報を手軽に利用するきっかけにしてほしい」と話していました。 これらの電子データは、来年1月から印
GitHub上に公開された「東京都公式 新型コロナウイルス対策サイト」は危機が生んだ日本の奇跡 - 俺の遺言を聴いてほしい
東京都が奇跡を起こした。 僕たちは今、信じられない光景を見ている。 文章で説明するよりも、当事者たちのツイートを追った方がわかりやすいだろう。 心がザワザワしている時は、手を動かそうと思う。どんどん流れてくるニュースのシェアばっかりしてても、自分の心の安寧は得られない。コードを書こう！— Hal Seki (@hal_sk) February 29, 2020 東京都のアドバイザーを務めるCode for Japanの関さんが中心となって、 新型コロナウイルスの東京都が発表してきた情報をワンストップに確認できるダッシュボードができました！！！！ これは良い取り組み。ぜひ皆様ご確認ください。 ・東京都公式COVID-19対策サイトhttps://t.co/YUFZsI4dFQ— 藤井あきら🐈東京都議会議員🚴🏳️🌈 (@fujiiakiratokyo) March 3, 2020 本
キャッシュレス決済をすると金額の2～5％が還元される経済産業省の「キャッシュレス消費者還元事業」に関し、家計簿アプリを展開するZaim（ザイム、東京都渋谷区）が2019年9月4日、同事業の対象店舗を「検索」できるサービスを独自に開発・公開した。 同事業をめぐっては、対象店舗を公式サイトから探そうとすると全3608ページのPDFファイルに移動する仕様となっており、インターネット上では「探しづらい」と不満の声があがっていた。Zaimはこうした声を受け、「1日で」開発したという。 登録加盟店一覧はこちら→全国約18万店がズラリ 「キャッシュレス・消費者還元事業」は消費税増税に伴う施策で、10月1日から20年6月末までの間、登録加盟店舗で対象キャッシュレス決済手段を使って代金を支払うと、最大5％のポイント還元を受けられる。経産省が主導し、同省が監督官庁の一般社団法人キャッシュレス推進協議会が事務局
Mini Tokyo 3D 開発日誌
草薙 昭彦 @nagix 東京のリアルタイム公共交通デジタルマップを作り始めている。今のところ山手線と中央線にランダムに数両の列車を走らせてるだけだが、オープンデータがあるならリアルタイムに動かしてみたい。D3.js＋Leaflet。昔からこういうプラレールみたいのWebでやってみたかったのよ nagix.github.io/mini-tokyo/ pic.twitter.com/JYm6ZbR49K 2019-06-22 00:09:32
法律のデータ構造と検索
デジタル庁は、法令標準 XML スキーマに準拠した、現行の法令データをe-Gov法令検索というサイト上で公開しています[1]。今回、この法令XMLをパースするPythonライブラリ ja-law-parser をつくり、法令データの全文検索をしてみました。 この記事では、日本の法令とそのデータ構造、法令XMLパーサについて解説し、最後に、それらを使った法令データの全文検索システムを実装する方法をご紹介します。法令検索の実装についても、GitHubリポジトリで公開しています。 この記事は、情報検索・検索技術 Advent Calendar 2023の16日目の記事です。 法律と法令 法律とは 法律の制定と公布 法律と法令の違い 法律の改正 法令のデータ構造 e-Govの法令データ 法令標準XMLスキーマ 法令番号と法令ID 題名 本則と附則 条・項・号 編・章・節・款・目 法令XMLパーサ：
Torishima on Twitter: "まじかよ気象庁公式の天気予報APIができてるぞ、感激して大声で泣いちゃった https://t.co/2HQumqjel8"
まじかよ気象庁公式の天気予報APIができてるぞ、感激して大声で泣いちゃった https://t.co/2HQumqjel8
2022年04月25日 NDLラボのGitHubから、次の2件を公開しました。ライセンスや詳細については、各リポジトリのREADMEをご参照ください。 NDLOCR 国立国会図書館（以下、「当館」とします。）が令和3年度に株式会社モルフォAIソリューションズに委託して実施したOCR処理プログラムの研究開発事業の成果である、日本語のOCR処理プログラムです。 このプログラムは、国立国会図書館がCC BY 4.0ライセンスで公開するものです。なお、既存のライブラリ等を利用している部分については寛容型オープンライセンスのものを採用しているため、商用非商用を問わず自由な改変、利用が可能です。 機能ごとに7つのリポジトリに分かれていますが、下記リポジトリの手順に従うことで、Dockerコンテナとして構築・利用することができます。 リポジトリ : https://github.com/ndl-lab/
Yahoo! JAPAN Digital Hack Day 2021の技術紹介イベントでのプレゼン資料です。 https://hackday.yahoo.co.jp/ アーカイブ動画はこちらからご覧頂けます。 https://youtu.be/3e9OPS8qSA4?t=9890
『Soleil couchant sur la Seine à Lavacourt, effet d'hiver』Monet, Claude／Paris Musées POPなポイントを3行で パリの美術館に所蔵されている約10万点のアート作品 高解像度画像が無料でダウンロード可能に 「クリエイティブコモンズゼロライセンス」のもと商業利用も パリ市内にある14の美術館に所蔵されている10万点以上に及ぶアート作品の高解像度画像が無料でダウンロードできるようになった。 これは上記の美術館を統括する公的機関・ParisMuséesが1月8日に発表したもの。 印象派を代表するフランスの画家であるクロード・モネや写実主義画家のギュスターヴ・クールベらの歴史的価値の高い作品画像が、商業的使用の有無にかかわらず使用できる。 ※記事初出時に公開作品の数に関して「約1万点以上」と誤りがございました。正しくは
Geolonia 住所データ
Skip to the content. Geolonia 住所データ 全国の町丁目、大字、小字レベルの住所データ（277,543件）をオープンデータとして公開いたします。 本データは、国土交通省位置参照情報ダウンロードサービスで配布されている「大字・町丁目レベル位置参照情報」をベースとしていますが、「大字・町丁目レベル位置参照情報」データは年に一回更新であるのに対して、本リポジトリで配布するデータは毎月更新しています。 latest.csvをダウンロード latest.dbをダウンロード リリースノート 住所データ仕様 ファイルフォーマット latest.csv: CSV latest.db: SQLite3で読み込めるバイナリ形式 列 都道府県コード 都道府県名 都道府県名カナ 都道府県名ローマ字 市区町村コード 市区町村名 市区町村名カナ 市区町村名ローマ字 大字町丁目名 大字町丁目
国立国会図書館では、さまざまなオープンデータが公開されています。 その中に「図書館及び関連組織のための国際標準識別子（ISIL）」試行版LODがあります。 これは、日本全国の図書館に関する情報が網羅的にまとめられているRDFデータとなります。 提供されているデータはXMLファイルなので個別にデータを取得するためにはプログラムなどで処理する必要があるので、Webブラウザで各データを見やすく提供するWebサイト「図書館施設データポータル」を作成しました。 ここでは、 図書館施設データポータル を紹介します。 図書館及び関連組織のための国際標準識別子（ISIL）」試行版LOD とは 元データは、「図書館及び関連組織のための国際標準識別子（ISIL）」という図書館等につけられる国際的な識別子で、国立国会図書館では、このISILが付与される図書館の情報をオープンデータ(XMLファイルのRDFデータ)
AWS、MS、Metaらがオープンな地図データを実現する「Overture Maps Foundation」結成。2023年前半にはデータ公開へ
オープンソースを推進する非営利団体のLinux Foundationは、AWS、マイクロソフト、Meta、TomTomの4社がオープンな地図データを実現する「Overture Maps Foudation」を同団体の傘下に設立したと発表しました。 “We are excited to facilitate this open collaboration among leading technology companies to develop high quality, open map data that will enable untold innovations for the benefit of people, companies, and communities." - Jim Zemlin About Overture Maps: https://t.co/TpPey0gTS
そろそろオープンデータを無秩序に管理するのは卒業したいので📦データを管理するパッケージマネージャを開発した【ツール開発】 - Qiita
今回はdim(オープンデータパッケージマネージャ) v1.0のリリースに伴って開発したツールの紹介をしたいと思います。 オープンデータもパッケージマネージャ(apt、npm、gem、pipなど)と同じようにnpm install xxxxxのような形でオープンデータをインストールして管理すると良いのではないかという話です。 以前のバージョンに関しては以下の記事で紹介 【個人開発】パッケージマネージャーの考えを流用してオープンデータ管理ツールを作ってみた話 以前の記事を読んでいてv1.0からの変更点に関して読みたい方 dim v1.0 変更点 オープンデータを無秩序に管理するのはやめたい ソフトウェアやライブラリの管理は世の中様々な体系化された方法が確立されつつあります。ソフトウェアであればaptやbrewなど、ライブラリであれば言語ごとにnpmやgemなどが存在します。しかし、データに関し
読者の皆さんは「人工衛星データ」と聞いたとき、何を思い浮かべるだろうか。多くの人は「最先端」「いろんな事ができそう」というイメージを持ちつつも、「自分では利用できない」「敷居が高い」「専門家だけのもの」という感想を持つことだろう。メディアなどで人工衛星データの活用事例などを見かけることはあっても、自分自身で利用してみようという気にはならないかもしれない。 実は、そんなイメージに反して、現在では誰もが手元のパソコンで人工衛星データを簡単に利用できるようになっている。その原動力は、各種衛星データのオープン化と、衛星データ利用ツールの登場である。 例えば日本では、「Tellus（テルース）」というツールが経済産業省の「政府衛星データのオープン&フリー化及びデータ利活用環境整備・データ利用促進事業」の取り組みとして2019年より提供されている。また米Google（グーグル）はバーチャル地球儀システ
最終更新日： 2020年3月4日 AIの高まりとともにデータの大切さが再認識される今、オープンにさまざまなデータが公開され、気軽に活用できるようになっています。 オープンデータの存在は、膨大なデータから学習を行う機械学習にとって不可欠で、構築したいAIに合わせてオープンデータを選択し、活用することが必要です。 一方、オープンデータのみでは競合優位性のあるAIは構築できません。マクロなオープンデータと、独自に収集したミクロなデータを組み合わせて、独自のAIを構築していくことが重要です。 オープンデータを活用したサービスを構築する際には、サービスのUX（ユーザー体験）を高め、いかにユニークなデータを取得できるかが勝負なのでオープンデータに頼りすぎないようにしましょう。 今回、オープンデータ・データセットを6カテゴリに分類し、100個選出しました。自身のサービスやAIの構築に活かせそうなデータを
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
とにかく日本の住所のヤバさをもっと知るべきだと思います｜inuro
無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録
総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート
もやし（@w_coast_0330）さん / X
入手困難な絶版など パソコンやスマホで閲覧可能に 国会図書館 | NHK
経産省の「3600ページPDF」、たった1日で民間が地図化 Zaim「キャッシュレス還元マップ」公開
気象庁公式の天気予報API（？）が発見 ～Twitterの開発者界隈に喜びの声が満ちる／利用の際はいろいろ注意しましょう【やじうまの杜】
「登記所備付地図」の電子データを法務省が無償公開→有志による「変換ツール」や「地番を調べられる地図サイト」など続々登場【地図と位置情報】
OCR処理プログラム及び学習用データセットの公開について | NDLラボ
オープンデータ、使ってほしいけどオススメしづらい3つの理由
パリの美術館所蔵の10万点以上のアート作品画像が無料取得、商用利用が可能に
図書館オープンデータを使って図書館データポータルサイトを作りました - Qiita
誰でも使える「衛星データ」、新型コロナの影響を宇宙からふかん
【保存版】オープンデータ・データセット100選 -膨大なデータを活用しよう！ | AI専門ニュースメディア AINOW