市区町村マスタを手に入れろ、そして更新し続けろ - エムスリーテックブログ
全国の市区町村の名前とコードをデータベーステーブル化したもの、すなわち市区町村マスタはITシステムを作っていれば何かしらの場面で必要になるものです。 ではその市区町村マスタを作るための元データはどこから手に入れたらいいものか。 そして「作る」というのもありますが、市区町村は再編されるものですから最新の変更にどう追従するか、しかもそれを自動化できるかというのも大いに気になるところですね。 エムスリーエンジニアリンググループ三浦(@yuba@reax.work) [記事一覧 ]です。 Unit1（製薬プロモーション）およびUnit9（治験臨床研究支援）のエンジニアです。 今回は私も皆様とまったく同じように市区町村マスタのデータ源に悩んでいろいろ調べましたので、それで得た知見を共有させていただこうと思います。今回は代表的な3つのデータソースをご紹介し比較していきます。 ほしいのはこんな感じのデ
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
バス路線廃止 実態を可視化！ 背景には運転手不足・人口減少・高齢化？ - クローズアップ現代 取材ノート - NHK みんなでプラス
吉田樹さん /福島大学経済経営学類准教授 地域公共交通の戦略的マネージメントを研究 マップを見るポイント: 隣接する町の状況も確認を! ―今回のバス路線減少マップはどんなデータを基に作成したものですか? 今回のマップは国土交通省のHPにある国土数値情報の「バスルートデータ」を基に作成したものです。青線のルートは最新発表（2022年度）の定期運行バス路線、赤線は2011年度から2022年度の間に廃止、もしくは予約型のデマンドバスのほか、自治体等が自家用車で輸送する、いわゆる白ナンバーのバスで運行される部分です。バス会社が定期運行する路線が減少したことが分かります。 ―赤線であってもデマンドバスや白ナンバーのバスが運行していれば問題はないのでは？ 過去の例から、デマンドバスや白ナンバーのバスに切り替わった後、利便性が低下してしまうことが少なくありません。白ナンバーのバスは、費用を自治体が丸抱え
「仮説ドリブン」という名の甘い罠 - 渋谷駅前で働くデータサイエンティストのブログ
今回の記事では、ちょっと感覚的でふわっとした話をしようと思います。それは「『仮説ドリブン』という考え方には往々にして落とし穴があるのではないか？」という問題提起です。 そもそも、「仮説ドリブン」（仮説駆動型：hypothesis-driven）というアプローチは実験科学分野出身の我が身にとっては、個人的には馴染み深いものです。まだ僕がポスドクだった頃、国際会議に際して日本人研究者同士で集まる会が毎回あったのですが、その席上でお話を聞く機会があった当時のトップ研究者の先生から「この世の森羅万象は網羅しようとするにはあまりにも広大過ぎる、故に森羅万象を区切って『仮説で白黒つけられる範囲』に絞り、これを検証するということを繰り返して前に進むべき」ということを聞かされ、感銘を受けたのを覚えています。 実際、仮説ドリブンの考え方は非常に有用なものであり、今現在僕自身が主戦場とする広告・マーケティング
【格ゲー】『俺を獲れ』ウメハラがデータ収集のGeminiさんに厳しい対応をしていた理由が判明！「オレ自身が自分のプレイをデータ収集に近い感じでSF4から見てた」「だからこそ言いたい。メチャレベル低いすよって」 | まじっく ざ げーまー - ゲームのレビュー、攻略、情報サイト
ストリートファイター6 格ゲーマートーク 【格ゲー】『俺を獲れ』ウメハラがデータ収集のGeminiさんに厳しい対応をしていた理由が判明！「オレ自身が自分のプレイをデータ収集に近い感じでSF4から見てた」「だからこそ言いたい。メチャレベル低いすよって」 今回は、先日おこなわれたウメハラさんの企画「俺を獲れ」での、配信裏話を取り上げます。コメント欄の読者さんから情報を提供してもらいました。 取り上げるのは、SFL2021のデータを収集し、分析した情報を紹介していたGemini（ジェミニ）さんに関する話です。 以下、配信書き起こしです。 ソース元リンク：俺を獲れ振り返り（ウメハラさんのツイッチチャンネル） （アーカイブ50分付近のトーク） トークが長かったので要約で済ませようと思ったのですが、あまりに良い話が出てきたので結局書き起こした部分もあります。カギ括弧内は全てウメハラさんの発言です。 ウ
基本4情報での名寄せは難しい｜MORIDaisuke
先日は住所の件でお楽しみでしたね。 私も楽しくなってしょうもないツイートをしたところ、@masanorkさんから有用な情報をいただいてしまいました。 異体字に加えて外字も根深いですし、日付型に収まらない住基の生年月日とか、屋号を含んだ個人事業主の口座名義とか、外国人氏名における住民登録のアルファベットと口座名義のカタカナとの解離とか、旧姓併記の例外処理とか、文字列型に刻まれたバッドノウハウの塊ですね https://t.co/GOaytijfst — Masanori Kusunoki / 楠 正憲 (@masanork) June 6, 2023 このとき、私はごく簡単な「名寄せの難しさ」の社内研修資料を作っている最中だったのですが、この情報が大変参考になりました。 一方、私だけが得をしているのがなんとなくムズムズしてきたので、ここにアウトプットしてスッキリしようと思います。 なお、住所
気温には棒グラフを使わない - データ可視化ミニ講座（７）｜荻原 和樹 / Kazuki OGIWARA
棒グラフと折れ線グラフは似た表現方法です。しばしば交換可能なものとして使われる両者ですが、使うべきポイントには違いもあります。 代表的な例が気温です。気温は棒グラフではなく、折れ線グラフで表現するのが正しいです。 そもそも棒グラフは、棒の長さ（≒ 棒部分の面積）の比率と数値の比率を対応させることで視覚的に数値を比較するものです。したがって、数値が2倍なら棒グラフの長さも2倍になります。棒グラフにおいて、縦軸を省略してはいけないのはそのためです。 しかし、気温において「X倍」に意味はありません。気温が10℃から20℃に上がっても「10℃上がった」とは言いますが「2倍の暑さになった」とは言いませんよね。気温とは、水が凍る温度を0℃、水が沸騰する温度を100℃とする相対的な指標です。気温がマイナスになることはしばしばありますが、これは本当に何かがマイナスになっている、失われているのではなく、水が
統計学の講義資料(2022年度) | Logics of Blue
帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 目次 本資料について 統計学の講義資料 1．本資料について 帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 もとの講義資料とは異なる点もあるのでご注意ください。 万が一何か問題があれば、当ブログにコメントをいただけますと幸いです。 スライドにも記載の通り、以下の利用を想定しています。 想定①：講義の受講者が復習に利用する 想定②：未受講者が統計学入門資料として利用する 基本的には想定①ですが、文系の学生をメインターゲットとした統計学の本格的入門資料は少ない印象です。 未受講者の方にも役に立つかもしれないと思いWeb上で公開することにしました。 本資料は1年間にわたる講義資料となっています。数回
【保存版】株のトレーディング手法まとめ｜UKI
はじめにこんにちわ、UKIです。 金融引き締めによって株式投資に苦しい期間が続いていると思いますが、いかがお過ごしでしょうか。 今回は少し長めの記事を書いてみましたので、お付き合い下さい。 結論だけ知りたい方は、目次の「株のトレーディング手法まとめ」まで飛んでください。 マケデコについて本記事は、マケデコ&J-Quants Advent Calendar 2022の最終日の記事となります。 マケデコとは、Market API Developer Communityの略称で、簡単に言うと「東証が公式データを提供しますので、しっかり相場分析して投資に活かしてください」というコミュニティです。 ディスコードでのディスカッション、APIやラッパーに関する最新情報の共有、初心者や上級者向けのセミナーの開催などが行われています。 マケデコの協賛は、日本取引所（JPX）のデータ部門子会社である株式会社J
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
東工大が無料公開しているPython解説サイト初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。基本的な文法、データ構造、ファイル入出力やオブジェクト指向、NumpyとMatplotlibの使い方などをひと通り学べる。
QDくん⚡️AI関連の無料教材紹介 @developer_quant 金融技術職/ChatGPT等の生成AI,機械学習,データサイエンス,プログラミングの勉強に役立つ情報を発信/良質な無料教材,スライド,動画,サイトを紹介/金融工学x機械学習ブログ運営700記事 quantcollege.net /C++/Python/Julia/Rust/Amazonアソシエイト参加中 note.com/quantdeveloper QDくん⚡️AI関連の無料教材紹介 @developer_quant 東工大が無料公開しているPython解説サイト chokkan.github.io/python/index.h… 初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。 基本的な文法、データ構造、ファイル入出力やオブジェクト指向、NumpyとMatplotlibの使い方などをひと通り学べる。
｢魚が獲れない｣は世界で日本だけという衝撃事実
サンマ、サケ、スルメイカをはじめ、漁獲量の減少に関する報道が後を絶ちません。時折「前年よりも増加」などという報道もされますが、それはすでに、ものすごく減少した漁獲量に対してである場合がほとんどです。10～20年単位でみていくと大した増加ではなく、それどころか、ほぼ全魚種が減少を続ける傾向にあります。 「日本の漁獲量が減少している」という報道はされても、「世界全体では増加している」という報道を耳にした記憶がありません。そこで、日本と世界では漁獲量の傾向がまったく異なることをファクトベースで説明します。そしてどのような対策が必要なのかについてもお話しします。まずは「知る」ことが大切です。 実は世界では漁獲（生産）量が増加している
正規分布の公式と特徴まとめ ｜AVILEN
正規分布（ガウス分布）に関するあらゆる特徴を、分かりやすくまとめました。目次から気になるトピックをご覧ください。 また正規分布の関連記事はこちらからご確認ください。 正規分布（ガウス分布）とは正規分布とは、統計学を理解する上で最も大切な確率分布の一つです。 正規分布はガウス分布と呼ばれることもしばしばあります。これは18世紀から19世紀に渡って活躍した数学者C.F.ガウスに由来します。ガウスは天文学の観測データの研究から測定誤差がある法則に従うことを導き出し、誤差理論を確立しました。これが正規分布の基礎となったと言われています。 正規分布の基本的な性質正規分布には以下のような基本的な性質があります。 平均値と最頻値と中央値が一致する。平均値を中心にして左右対称である。（直線x=μに関して対称）x軸が漸近線である。分散（標準偏差）が大きくなると、曲線の山は低くなり、左右に広がって平らになる。
腕に針を刺して体内の血糖値を常時記録する「フリースタイルリブレ」で糖質と血糖値の関係を徹底的に調査した
腕にセンサー付きの針をぶっさしてスマホで体内の血糖値をモニタリングできるデバイスを使って、食事と血糖値の関係を調査してみました。 目的は、ダイエットと健康のために食事と血糖値の関係を正しく知り、血糖値をコントロールできるようになること。 特に血糖値が急激に上がる「血糖値スパイク」というのを恐れてます。血糖値スパイクはその名の通り血糖値が急激に上がり血管にダメージを与えるもの（らしい）。血管を大切にしたいのでどうしたら血糖値スパイクを避けられるのか知りたい！ フリースタイルリブレとは 極細の針がついたセンサーを腕につけっぱなしにして2週間常時体内の血糖値を計測できるというもの。2週間たったら新しいものに取り換えが必要。（電池交換式等ではなく、2週間の使い捨てです。） 腕に針をさすと言っても、刺す瞬間ちょっと痛いくらいで日常生活は何ら支障ありません。針もめっちゃ細くて下の写真のようにアプリケー
国会の「丁寧に説明」を可視化する - 日直地獄
「丁寧に説明する」や「丁寧な説明を心がける」の印象がとにかく悪い。というのも、偉い人がこういうだけで、特に丁寧な説明が行われた試しがないと感じるからだ。誰も彼も「丁寧に説明」と言うだけで、それを履行しないというメソッドがはびこっている印象があるのだ。これをデータで確認したい。 「丁寧な説明」の運用と私が持っているイメージ データの作り方 「丁寧な説明」発言ダッシュボード 見どころ 与党は丁寧に説明しがち 第二次安倍政権は丁寧に説明しがち 安倍さんと岸田さん 「丁寧な説明」メソッドを発明したのは誰だったのか 注意事項 「丁寧な説明」の運用と私が持っているイメージ 最近もこういう感じで「丁寧な説明」が出現していた。 まあこれは組織として動け、みたいな観点での批判を入れたいのでちょっと違う気がするが、各議員から丁寧な説明がされてるとは感じない。 「丁寧な説明」というと安倍さんが連発していたイメー
元Googleデータ科学者「人生をうまくやるコツってめちゃシンプルだよねー」
► 2024 ( 110 ) ► 04/14 - 04/21 ( 3 ) ► 04/07 - 04/14 ( 8 ) ► 03/31 - 04/07 ( 8 ) ► 03/24 - 03/31 ( 7 ) ► 03/17 - 03/24 ( 7 ) ► 03/10 - 03/17 ( 9 ) ► 03/03 - 03/10 ( 7 ) ► 02/25 - 03/03 ( 8 ) ► 02/18 - 02/25 ( 6 ) ► 02/11 - 02/18 ( 8 ) ► 02/04 - 02/11 ( 7 ) ► 01/28 - 02/04 ( 9 ) ► 01/21 - 01/28 ( 8 ) ► 01/14 - 01/21 ( 8 ) ► 01/07 - 01/14 ( 7 ) ► 2023 ( 395 ) ► 12/31 - 01/07 ( 7 ) ► 12/24 - 12/31 (
無料で地図データを分析できるソフトウェア「QGIS」とは？ダウンロード方法や基本の使い方を解説
データのじかんトップ > 新着記事一覧 > データ活用 > 無料で地図データを分析できるソフトウェア「QGIS」とは？ダウンロード方法や基本の使い方を解説 ビジュアライズされた地図からマーケティング計画を練る、災害発生時のBCPを俯瞰的な視点から練り上げる……。 メタバースの世界が拡大しているとはいえ、まだまだ職場や自宅の存在する“土地”に根差して生活している我々にとって、地図データはときに非常に有用なデータとなります。 そこでこの記事で、有用な無料ツールとしてご紹介したいのが「QGIS」。その取得方法やメリット、簡単な利用法についてデモとともに解説いたします！ QGISとは？ ダウンロードする方法は？QGISとは、無料で使えるオープンソースのGISソフトです。 Windows、Mac、Linux、Unix、Androidなど、iOSを除く主要なOSのほとんどに対応しており、機能は有償ソフ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
もやし（@w_coast_0330）さん / X
https://twitter.com/iolingjapan/status/1551548984883351552
APIを探して、試して、使える - APIbank