国土数値情報ダウンロードサイトAll rights reserved. Copyright(c) National Land Information Division, National Spatial Planning and Regional Policy Bureau, MLIT of Japan
国交省GISデータ「全公開」の衝撃、企業はどう活用すればいいのか？
国交省推進する「都市計画情報のデジタル化・オープン化」 都市計画とは、都市計画法に基づいて自治体が策定する街づくりのプランのことだ。土地利用（用途地域、地区計画など）や都市施設（道路、公園など）、市街地開発事業（土地区画整理など）に関する計画を総合的に定め、住民が住みやすく、働きやすい都市を目指す。 街づくりは行政のトップダウンですべてがうまくいくような簡単なものではなく、実現には民間事業者の理解と協力が欠かせない。そこで、自治体が都市計画を対外公表することで、事業者側がそこにビジネス機会を見いだし、街ごとのエコシステムが形成されていくことが期待される。 ただ、これまで都市計画のフォーマットは自治体によってバラツキがあり、事業者側にとって街ごとの特性や強みを比較しにくい状況があった。 都市計画のデータ化は以前から少しずつ進められてきた。国交省はすでに2005年には「都市計画GIS導入ガイダ
GA4のよくある質問7つ（寄稿：小川卓） - はてなビジネスブログ
株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）です。 Google Analytlcs 4 (以下、「GA4」）に関するセミナーや勉強会などを行っていると、様々な質問を受けます。今までに1,000件以上の質問に回答してきました。 その中で、よく聞かれる質問と回答をピックアップいたしましたので、紹介いたします。ぜひ目を通していただき、GA4を正しく理解出来ているか確認してみましょう。 Q：GA4ではユーザーをどのように特定していますか？ Q：GA4のレポートで「しきい値」が発生するとデータの精度が下がるらしいですが、どのような仕様なのでしょうか？ Q：GA4のレポートで「サンプリング」が発生するとデータの精度が下がるらしいですが、どのような仕様なのでしょうか？ Q：GA4とサーチコンソールを連携すると、どのキーワードでコンバージョンしたのかわかりますか？ Q：流入元ご
Excelを用いたデータ分析のために日本株全銘柄のファンダメンタルを無料でデータ取得する方法
はじめに マケデコというMarket APIを活用した投資を話しあうコミュニティでExcelを用いてファンダメンタル分析のために日本株全銘柄を無料でデータ取得する方法をマケデコがSBIネオトレード証券のスポンサーで開発し、セミナーで発表しました。 ダウンロード、使い方など細かい情報は上のページを参照してください。J-Quants APIのアカウント(無料からあります)を必要としますので、そこだけ注意が必要です。ネオトレAPI for Excelとも連携します。 使い方のセミナー動画はこちらですが、長いので今後10分程度にまとめようとおもいます。 各種機能のちら見せ 銘柄リストをダウンロードするとこんな感じ 主要な指数は全部自動で計算されて全銘柄の比較可能な主要なフファンダメンタルが並びます こんな感じで分布の分位を確認しながらスクリーニングができます（Excel 2019では動かないようで
基礎から学ぶ統計学
本章では、二項検定を学びます。二項検定は、本書で学ぶ統計手法の中では、最も使用頻度が低い手法です。しかし、統計学の入門に最適な学習項目です。理由が3つあります。第一に、高校1～2年で学んだ数学だけで、この手法の原理を完全に理解できます。統計手法はたくさんありますが、唯一この手法だけは、全て手作りの計算で実行できます。第二に、面倒な検定統計量の計算を必要としません。第三に、二項検定には、検定の論理の全てが詰まっています。こうした理由から、読者のお父さんやお母さん、もしくは、お爺ちゃんやお婆ちゃんの世代では、二項検定は、高校の数学の教科書で解説されていました。この「とても分かりやすい」という長所を、活用しない手はありません。本書では、統計学の学習を、二項検定から始めます。本章では、当時の大学入試の頻出問題をさらに簡単にした例題を使って、学びます。… 本書の使い方 統計学を学ぶ心がけ／予備知識／
ノア・スミス「気候変動をよく理解したいならグラフをいろいろ見てみることだ。解決するのに脱成長なんか必要ないよ」（2024年２月13日）
気候変動に取り組むうえでの大きな困難の一つは、世の中に悪い情報源が蔓延していて、悪質な情報もばらまかれていることだ。左派の気候変動活動家たち（気候変動問題について何かしようと自身の時間と労力を費やす傾向が最も強い人たち）は、「100社の企業が世界の排出量の70％を引き起こしている」とか「10％の富裕層が排出量の半分を占めている」といった馬鹿げた主張をする疑似左派的な情報を入手してしまいがちだ。それから右派。彼らは、以前だと気候変動を否定することにやっきだったけど、最近になってグリーンエネルギーへの巨大な不信感（金融関係者を除けば、グリーンエネルギーは「恐怖、不確実性、疑わしい」）を煽り立てている。こうしたとりまく事象から、クタクタになってしまうんだ。結果、多くの人たちが、気候変動への議論を避けがちになってるんだと思う。 こうした状況には、本当にイライラしてしまう。世の中には、本当にたくさん
DB初心者が自作DBMS始めてみた - Qiita
この記事は DeNA 24 新卒 Advent Calendar 2023 の 23 日目の記事です。 TL;DR DBMSの基本的な仕組みを知るのに有益だったリソース CMUのDBMS講義 先人の素晴らしい自作DBMSの解説記事&ソースコードリーディング 小さな小さな自作DBMSの設計と実装 最小限SELECTやINSERTなど基本的なSQLが動く この記事のゴール データベースの内部構成を超ざっくり理解するために有用なリソースを知り、そして（全開発者のロマンである）自作 DBMS に一歩踏み出すきっかけになればうれしいです。 モチベーション 自分は普段業務でアプリケーションのような割と高レイヤーな開発がメインなこともあって、ミドルウェアやOS、ネットワークと言った低めのレイヤーに憧れを持っており、この気持ちをまずは自作DBMSをやってみることによって解放してあげようと思ったことがきっか
国立国会図書館サーチ、「メタデータ流通ガイドライン」＜研究データ編＞を公開
2023年3月30日付で、国立国会図書館サーチが「メタデータ流通ガイドライン」＜研究データ編＞を公開しています。 同ガイドラインは、デジタルアーカイブ、蔵書目録等のデータベースのメタデータ設計の関係者が、各機関の特性に応じた適切なメタデータの作成、流通経路の選択ができるように作成されました。2022年3月にドラフト版として＜共通編＞を公開していました。 国立情報学研究所（NII）・科学技術振興機構（JST）・国立国会図書館（NDL）連絡会議の「メタデータの相互運用性に関する検討ワーキンググループ」において、NII、JST、NDL、オープンアクセスリポジトリ推進協会（JPCOAR）、これからの学術情報システム構築検討委員会が共同で作成しました。＜研究データ編＞では、主に研究データのメタデータで採用される項目について説明しています。 今後も、メタデータ項目を随時追加・更新する予定であるとしてい
行政の統計資料のような非構造化データをGPTで構造化データに変換する｜mah_lab / 西見 公宏
今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP
データの民主化とこれからのAI組織｜ばんくし
はじめにStable DiffusionだとかChatGPT、LLMみたいな「大規模モデル」って考え方が機械学習業界から出て、スケーリング則に基づいてまだまだ精度が上がるとされている昨今。 （スケーリング則はどうのこうの諸説あるが）さておき、「マルチモーダルに」「あらゆるデータを学習した」「大規模なモデル」が今後数年リードしていく事は間違いないと思う。 そんな中で、我々機械学習エンジニアやデータサイエンティスト、アナリスト、データエンジニア、MLOpsエンジニアみたいな、いわゆるAI屋として働いている人たち、皆が所属するAI組織ってどうなっていくのかな、という話を書いてみる。 データの民主化AIの民主化とデータの民主化AI業界では「AIの民主化」というワードがある。 便宜的にAIというワードが広く使われるようになった辺りで出てきたワードで、OSSやプラットフォーム、ハードの発展によって「A
データ活用が事業貢献していることを示すための取り組み
2023年2月16日開催、サイバーエージェント メディア事業部主催のデータ活用に関する勉強会「メディアサービスにおけるデータ・AIの活用事例 #2」登壇資料です。 https://cyberagent.connpass.com/event/270224/
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
No. 漫画名 作者 発行部数 巻数 1巻当たり発行部数 1 ワ..
No. 漫画名 作者 発行部数 巻数 1巻当たり発行部数 1 ワンピース ONE PIECE 尾田 栄一郎 4億9000万 103 4,757,282 2 ゴルゴ13 さいとう たかを 2億6000万 206 1,262,136 3 ドラゴンボール鳥山明 2億5000万 42 5,952,381 4 ナルトNARUTO岸本 斉史 2億5000万 72 3,472,222 5 名探偵コナン青山剛昌 1億5650万 102 1,534,314 6 こちら葛飾区亀有公園前派出所秋元 治 1億5000万 201 746,269 7 鬼滅の刃吾峠呼世晴 1億3500万 23 5,869,565 8 美味しんぼ雁屋哲 1億2029万 111 1,083,694 9 スラムダンクSLAMDUNK 井上雄彦 1億2000万 31 3,870,968 10BLEACH ブリーチ久保帯人 1億 74 1,35
総務省「社会人のためのデータサイエンス演習」リニューアル開講 無料で学べる
総務省は10月4日、無料のオンライン講座「社会人のためのデータサイエンス演習」をリニューアルして開講した。AI技術などの最新動向を踏まえ、一部を改訂した。開講期間は12月13日まで。 2016年の開講からのべ5万7000人が受講した講座。データサイエンスに携わる専門家や大学教授が、データサイエンスを基礎から教える。 MOOC講座プラットフォーム「gacco」で、1回10分程度の講座を5～7回で提供。さらに、補講・演習（10分程度×11回）もある。 リニューアルで最新トピックスを追加したほか、仮説検定や統計解析ソフトを使ったデータ分析方法を紹介するなど、内容を一部刷新した。 登録すれば誰でも無料で受講できる。受講登録は12月5日まで。 関連記事 総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート 総務省が「誰でも使える統計オープンデータ」を開講。統計オープンデータを活用したデ
GovRep|政府報告書の検索サイト
政府の各府省庁が、コンサルティング会社やシンクタンクなどに委託して作成した委託調査報告書や審議会のとりまとめ報告書、その他ガイドラインなどを一括して検索することが可能です。各府省庁の政策動向を調べたり、特定分野を詳しく知りたいときにご利用ください。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs
面倒な「ダミーデータ作成」をChatGPTに任せる〜Code Interpreterの限界までリアリティを追求した作業の記録【イニシャルB】
プログラマーを苦しめてきた郵便番号データ「KEN_ALL.CSV」が改善！ 扱いやすい新形式／従来形式のデータも引き続き利用できるから安心してネ【やじうまの杜】
「登記所備付地図」の電子データを法務省が無償公開→有志による「変換ツール」や「地番を調べられる地図サイト」など続々登場【地図と位置情報】
もやし（@w_coast_0330）さん / X
