神戸市がやってくれました！ 全国規模の人口移動・就業状況の「ダッシュボード」、全国の誰にでも無料公開。Tableau使いの市職員が作成、オープンデータの可視化・活用方法として提案【地図と位置情報】
「餃子を焼くと焦げるフライパン」だけ集めたWebサイト、味の素が公開 全国の3520枚を3Dデータ化
冷凍餃子を焼くと焦げてしまうフライパンだけを集めたWebサイトが登場した。味の素冷凍食品が10月13日に公開したもので、全国から提供を受けた3520枚ものフライパンの3Dデータを閲覧できる。 サイトは「冷凍餃子フライパンチャレンジ」というプロジェクトの一環で作成されたもので、「味の素の冷凍ギョーザがフライパンに張り付いた」というTwitter（X）に投稿された声をもとに、同様の経験があるユーザーからフライパンを提供してもらい、研究開発に生かすことを目的としている。キーエンスの協力を得て3Dデータ化し、「我々の研究の途中報告」としてWebサイトで公開したものという。 サイトにはユーザーから提供された各フライパンが並んでおり、クリックすると3Dスキャンされたフライパンを360度自由に見ることができる。提供エリア、直径、フライパンの厚み、重さなどを一覧で表示。「焦げ付き」という項目もあるが、大半
東京の夏は着実に｢暑く･長く｣なっている
各セルをタップまたはマウスホバーすることで詳細な気温データを確認できます。 画像をダウンロード（png） データをダウンロード（JSON） このヒートマップは、夏期（６月から９月）の東京における過去140年間の日別平均気温を表したものだ。横軸は月、縦軸は年（1876年から2018年）を示している。つまり、ヒートマップの下に行くほど現代に近づく。それぞれのセルの色はその日の平均気温が色で表現されている。「18度未満」「18度以上20度未満」「20度以上22度未満」……「30度以上」と、２度刻みで青から黄緑・黄色を経て赤へと変わっていく。たとえば平均気温が20度なら黄緑、31度なら濃い赤となる。元データとなる日別の平均気温は気象庁のウェブページから入手した。ヒートマップの画像生成にはJavaScriptライブラリのP5.jsを用いている。 ヒートマップを見ると、夏の気温は1920年代から徐々に
統計検定準1級 合格体験記 - Qiita
はじめに 統計検定準1級は(一財)統計質保証推進協会が実施、(一社)日本統計学会が公式認定する「2級までの基礎知識をもとに、実社会の様々な問題に対して適切な統計学の諸手法を応用できる能力を問う」試験です。現在はCBTでの実施となっています。 主観を込めて言いますと、2級と準1級では難易度に雲泥の差があります。 強調して言っておきます。まったく違います！ 準1級では統計的推定や検定に加えて、多変量解析(重回帰、PCA、主成分分析、数量化)、時系列解析、マルコフ連鎖、確率過程、分散分析、ベイズ統計、MCMC...と範囲が広いのが特徴です。 以下、かなりの長文になりましたが、受験して得た知見をかなり具体的に記述しました。読者の皆様の合格への一助となれば幸いです。 目的 私はとある私立中高で物理と情報を教えています。統計の勉強を始めたのは、教科「情報」を教えるにあたってのスキルアップが目的です。も
行政の統計資料のような非構造化データをGPTで構造化データに変換する｜mah_lab / 西見 公宏
今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP
彼女のデジタル収集癖がヤバイレベルだった
「iPhoneの容量が足りなくなった」 とか言ってたので見させて貰ったんだけど 1TBの容量の90%が写真データ で、その写真データはほぼ全部がBTSの写真 イベントで撮った写真に加えてダウンロード、スクショがむちゃくちゃ多い しかもiCloudにアップされてて2TBの容量全部使い切ってる アップロードされた奴はiPhoneから消えてるから合計で3TBある ニワカには信じがたいので話を聞いたらWebでBTSを見かけたら全部スクショ インスタのストーリーだろうがTwitterだろうがとにかくスクショ 撮った奴を見返してるの？って聞いてみたけど、まぁ見てるわけがない 他にもテレビのレコーダーは2TBのHDDは当然ながら録画で埋まってて ダビングというかムーブしたBDが山ほどあるらしい 散らかってるとかいう理由で家に行ったことがないんだけど、どうやらBDは箱単位であるとか ちょっと恐ろしいので今
SSD・HDD・テープのメモリー3媒体、揺らぐ境界 - 日本経済新聞
世界中で爆発的に増加するデータをどう保存すればいいだろうか。毎年、ZB（ゼタバイト）という膨大な単位で増え続けるデータの記憶媒体は進化を迫られている。ハードディスク駆動装置（HDD）やソリッド・ステート・ドライブ（SSD）などの記憶媒体は従来それぞれの特徴ですみ分けていたが、その境界が揺らぐ変動期に入った。「急速なデータ量の増加には歯止めがかからない」。メモリー大手、キオクシアホールディングス
クレジットカードのインターチェンジフィーの標準料率が公開されました （METI/経済産業省）
公正取引委員会は、令和4年4月8日に、「クレジットカードの取引に関する実態調査報告書」を公表し、経済産業省は、同年3月22日に、令和2年度及び令和3年度に実施した「キャッシュレス決済の中小店舗への更なる普及促進に向けた環境整備検討会」のとりまとめを公表しました。 これらの中では、 クレジットカードや他の決済方法の加盟店管理市場において、加盟店・アクワイアラ間の加盟店手数料の交渉や、アクワイアラ間の競争を促進する観点から、自らがカード発行や加盟店管理を行わない国際ブランドにあっては、我が国においても、インターチェンジフィーの標準料率を公開することが適当である 等との考え方を示したところです。 上記を踏まえ、公正取引委員会及び経済産業省では、国際ブランドにおけるインターチェンジフィーの標準料率の公開に向けた取組を進めてきたところ、今般、Mastercard、Union Pay （銀聯） 及びV
元Googleデータ科学者「人生をうまくやるコツってめちゃシンプルだよねー」
► 2024 ( 110 ) ► 04/14 - 04/21 ( 3 ) ► 04/07 - 04/14 ( 8 ) ► 03/31 - 04/07 ( 8 ) ► 03/24 - 03/31 ( 7 ) ► 03/17 - 03/24 ( 7 ) ► 03/10 - 03/17 ( 9 ) ► 03/03 - 03/10 ( 7 ) ► 02/25 - 03/03 ( 8 ) ► 02/18 - 02/25 ( 6 ) ► 02/11 - 02/18 ( 8 ) ► 02/04 - 02/11 ( 7 ) ► 01/28 - 02/04 ( 9 ) ► 01/21 - 01/28 ( 8 ) ► 01/14 - 01/21 ( 8 ) ► 01/07 - 01/14 ( 7 ) ► 2023 ( 395 ) ► 12/31 - 01/07 ( 7 ) ► 12/24 - 12/31 (
「Python」と「Google Colaboratory」で株価データ分析に挑戦
「Python」と「Google Colaboratory」で株価データ分析に挑戦：「Python」×「株価データ」で学ぶデータ分析のいろは（1） 日々変動する株価データを題材にPythonにおけるデータ分析のいろはを学んでいく本連載。第1回はPythonを実行する環境とデータの前準備について。 はじめに 連載第1回は「Google Colaboratory」でサンプルプログラムを実行するための環境を用意する方法や利用するPythonのライブラリを説明します。「Google Chrome」と「Googleアカウント」を用意して読み進めてください。 なお、連載の趣旨がデータ分析であるため、Pythonの言語仕様や文法の詳細を割愛する場合があることをご了承ください。 Google Colaboratoryの準備 Google Colaboratoryとは、Googleが提供するブラウザ上でPy
人は知ってることしか見えない - いつか博士になる人へ
大学院に入ったばかりの頃、配属された研究室で研修を受けた。 僕は先輩について回って、実験機器を使ってみたり、実験ノートのとり方を教えてもらったりした。 ある日、先輩が先生たちとミーティングをするというので見学させてもらった。 そのときのことは今でもよく覚えている。 最初に、先輩が実験でとれたデータについて説明した。 先輩の堂々とした説明を聞いて、僕はとても感銘を受けた。 ふんふんとうなずきながら、はたして自分はこんなふうに説明できるだろうか（いや、できない）と思っていた。 でも先輩の説明が終わったとき、 「なんか変だね」 と助教さんが言った。そして、 「普通はこうなるはずなんだけど」 と、他のデータとの違いを指摘した。 先輩と僕は他のデータを知らなかったから、そこが変だと気がつかなかった。 なぜこのデータは変なんだろうねと、皆でうんうん考えていると、 「３次元でグラフを描いてみて」 と先生
無料でデータを可視化して効率化できる！Google Data Studioとは
「データを上手くまとめる方法を知りたい」と思っている方は多いのではないでしょうか。 Excelなどで表を作っても視覚化して分析するのは大変ですよね。Google Date Studioはそんな悩みを解決してくれます。データを視覚化できるのでプレゼンテーションや分析に役立つツールです。 今回はそんなGoogle Date Studioについて基本的な情報や特徴を紹介します。さらに実際の使い方も解説しているのでぜひ最後までお読みくださいね。 Google Data Studioとは？ Google Data Studioは、Googleが無料で提供しているデータ収集・分析・解析ツールです。 Googleの既存ツールであるGoogle AnalyticsやGoogle AdWordsなどのデータ、さらには表計算ツールとして多くの人に支持されているスプレッドシート、MySQLなどのデータもそのまま
40代前半男性の所得中央値
2017年の『就業構造基本調査』の結果が公表されました。昨日の14：30でしたが，私は10分ほど前からパソコンの前にへばりついて，今か今かと待っていました。 http://www.stat.go.jp/data/shugyou/2017/index.html このブログでは幾多の官庁統計を分析していますが，『就業構造基本調査』は最も活用しているものの一つです。この調査の目玉は有業者の所得を調査していることで，所得をキーにしたクロス集計表も多数アップされています。性別・年齢層別の所得分布，所得階層別の未婚率など，いろいろなことを明らかにできます。 本調査でいう所得とは，「賃金，給料，手間賃，諸手当，ボーナスなど過去１年間に得た税込みの給与総額」をいいます（用語解説）。税引き後の年収とは区別される概念です。 私は，2017年のデータが公表されたら，今の自分の世代の所得がどうなっているかをまず明
データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！ ビッグデータ、データサイエンス、人工知能など、統計学を主軸においた分野が隆盛ですが、統計学には高いハードルを感じる方も少なくないでしょう。k平均法を実際に手を動かしながら理解することで、データ分析を身近に感じることができます。 はじめまして、藤井健人（@studies）と申します。イタンジ株式会社でデータ基盤周りの運用を担当しています。 「ビッグデータ」「データサイエンス」「人工知能」といったバズワードに代表されるように、統計学を主軸においた分野の隆盛が日常となって久しいです。 しかし「統計学は学問的な要素があり難しい」という印象を持たれやすく、「実務に活かすのはハードルが高い、怖い」と感じる方も少なくないのではないでしょうか。 そういった方を対象に、今回は統計学の手法の一つであるk平均法を学んでいただ
日本の不動産テック企業のほとんどはただのスクレイピング屋である - ヤドリギ
「不動産テック業界 カオスマップ 最新版」「不動産テック業界 資本金グラフ」公表 | Limar Estate 日本において「ビッグデータでAIで機械学習でマーケティングのブランディングでディープラーニングのリードナーチャリングだ！」でごまかせる業界はもう不動産しかないのか、今年に入ってから「不動産テックでデータ可視化で物件価値の向上でウッハウハですよ！」な会社から融資をお願いされることが増えました。 しかし、残念ながら今のところ投資に値する会社はありません。というか適当すぎてやばい。話聞いてる途中で「え、え、ちょっと待って、それテクノロジーって言えるの？」と遮りたくなるレベルの会社だらけでびびります。 不動産テックはアメリカの話を聞いていると面白いんですが、日本の不動産テックはがっかりを通り越してテック名乗るな馬鹿野郎と言いたくなることばかりです。 他社サイトからスクレイピングしすぎ 融
90年代アニソンの歌詞にフライアウェイ多すぎ問題、その解答。 - プリキュアの数字ブログ
先日、はてな匿名ダイアリーにてこんな記事がありました。 anond.hatelabo.jp 「90年代のアニソンの歌詞にフライアウェイ多すぎ問題」 当ブログに検証して欲しい、との事でした。 確かに面白そうだったのでちょっと検証してみました。 （自分、冗談を真に受けるタイプなのです） 検証方法 「歌詞の検証」なので、歌詞検索サイトを利用して「フライアウェイ」で検索、アニメ作品のみを抽出すればいけるだろうと思い、「うたまっぷ」「歌ネット」「歌詞ゲット」「JOYSOUND」などの「歌詞検索サイト」を色々と見てみました。 しかし各種歌詞検索サイトにより検索結果が異なり、さらに1000を越える曲からアニソンのみのデータを抽出するのに、ものすごく苦戦して挫折しそうになりました。 *1 なんとか気を持ち直し、 今回はJOYSOUNDの歌詞検索を使用させていただきました。 カラオケ・歌詞検索｜JOYSOU
日本のアニメ主人公に「学生が多い」「社長が少ない」は本当か？ - プリキュアの数字ブログ
最近、こんな記事を読みました。 www.itmedia.co.jp 日本ヒーローの主人公に社長が少なく、学生や公務員が多い。それは太平洋戦争の影響である、という謎の？記事でした。 戦争うんぬんは置いておいて、こういう記事見ると、 日本のアニメヒーローは米国作品に比べて本当に 「社長が少ないのか？」 「学生が多いのか？」 などが気になって気になって仕方が無いのです。 とういわけで、調べてみました。 （上記の記事では「ヒーロー」という定義ですが、日本アニメからヒーローもののみを取り出すのは困難だったので「日本のアニメ全体」での調査を行いました。 別に上記記事の検証を行っているわけではありません。ただ、どんな程度なのか調査してみただけです。） データ取得 無作為抽出による標本調査 抽出データ群 結果 日本アニメ主人個の性別 日本アニメ主人公の職業 米国（アメコミ）の主人公はどうなのか？ アメコミ
「TVアニメ1話はパンチラで視聴者を釣る」は本当か1943作品から検証した。 - プリキュアの数字ブログ
プリキュアには縁もゆかりもない「アニメにおけるパンチラのお話」で申し訳ない。 プリキュアばかり見ていると世の中のアニメにパンチラなんぞ存在しないのかと思ってしまいますが、実際の所、アニメはパンチラに溢れています。（ここで言うパンチラは主に女性キャラのものとし、本記事では男性キャラのパンツは含みません。） 特に深夜アニメなどでは「1話ではセクシーなシーンを入れて視聴者を釣り、以後、継続視聴させる」といった手法がある、といった話を聞きます。 しかし本当に「アニメの1話ではセクシーなシーンで視聴者を釣って」いるのでしょうか？ 本記事では、パンチラ表現の有無からそれを調べてみました。 日本アニメにおけるパンチラ率 まず初めに「日本のＴＶアニメにおいてパンチラが出てくる確率」はどれくらいなのかを調べました。（全て調べるのは膨大な時間がかかるので、まずは2006年～2016年の11年分を調べました）
「CiNiiから論文が消えた」 研究者に困惑広がる
CiNiiは、国立情報学研究所（NII）が運営している、論文などの学術情報で検索できるデータベースサービス。1997年以降、紙の論文を電子化し、CiNii上でPDFデータを無料公開する「電子図書館事業」（NII-ELS）を進めており、430万論文を電子化・公開してきた。 だが、NII-ELSが17年3月で終了し、国からの支援が途絶えた。国は、論文の電子化支援について、科学技術振興機構が運営する「J-STAGE」に一本化する方針で、CiNiiの掲載論文もJ-STAGEなどに移行するよう各学会に推奨した。 これを受けCiNiiは、17年3月28日に論文PDFの公開を停止した。だが、J-STAGEへの移行作業は遅れており、多くの論文が移行できないままこの日を迎えてしまった。移行作業は各学会に任されおり、学会によって“移行度”にばらつきがある状態だ（学会誌の移行先と移行準備年度一覧）（紀要の移行先
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ブログや企画書を書く時に役立つ情報サイト - はてな村定点観測所
