データ分析の敵“汚いデータ” やらかす人への対策、どうすればいい？
データ分析の敵“汚いデータ” やらかす人への対策、どうすればいい？：CEDEC 2023（1/2 ページ） BIツールの価格が劇的に低下し、事業の担当者でもツールに触れられるような時代になってきた。「Tableau」や「Microsoft Power BI」のようなBIツールを使えば、データを直感的な操作で可視化できる。ただし、その前提となるデータの記述や加工の段階で、データ処理初心者がやってしまいがちな“落とし穴”がある。 パシフィコ横浜で8月23日から25日にかけて開催されたゲーム開発に携わるITエンジニアやデータサイエンティストが集まるカンファレンス「CEDEC 2023」では、データ分析に携わることになった初心者向けに、データ記述やデータ加工の悪例と、その対策を解説する講演が開かれた。 登壇したのは、コンサルタント会社truestar（東京都渋谷区）の戸崎茂雄さん。戸崎さんは、デー
国交省、Unity・Unreal Engine向けに3D日本都市モデルを無償配布 東京をゲームやシミュレーションの舞台に
国土交通省と3D地図技術を手掛けるシナスタジア（東京都品川区）は2月28日、ゲーム制作ツール「Unity」と「Unreal Engine」で使える日本の都市の3Dモデルと連携ソフトウェアを無償公開した。ゲームや都市シミュレーションのための舞台として利用できる。 素材名は「PLATEAU SDK for Unity」「PLATEAU SDK for Unreal Engine」。国土交通省が主導してきた都市3D化プロジェクト「PLATEAU」の成果として公開する。3Dモデルデータだけでなく、都市計画決定情報、土地の用途、橋梁などに関するデータも格納している。 GitHubの他、Unity用素材の販売サイト「Unity Asset Store」で無償配布する。日本の政府機関が同サイトで素材を公開するのは初という。国土交通省は「Unity向けのPLATEAU SDKの開発および公開は、オープンデ
GitHubでは地理空間データ（GeoJSON/TopoJSON）を地図としてレンダリング表示できる | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 最近ドキュメントを見ていて知ったのですが、GitHubでは地理空間データを地図としてレンダリング表示できるようです。 Creating GeoJSON and TopoJSON maps - Creating diagrams - GitHub Docs 対応している記法はGeoJSONとTopoJSONの2つになります。この機能自体は公式ブログによると2013年頃からあったようです。 やってみる ここではGeoJSONを使って地理空間データのGitHub上でのレンダリング表示を試してみます。 Markdown文書で表示 Markdown文書内でレンダリング表示する場合は、タイトルにgeojsonと指定したコードブロックにGeoJSONでチリ空間を記述するだけです。 { "type": "FeatureCollection", "feat
GitHubが「2022年に最も使用されたプログラミング言語」ランキングを発表
ソフトウェア開発プラットフォームのGitHubが、2022年に同プラットフォーム上で使用されたプログラミング言語に関する統計データをまとめたレポートを公開しました。2022年に最も使用されたプログラミング言語は「JavaScript」で、最も成長著しいプログラミング言語は「HCL(HashiCorp Configuration Language)」、使用率が減少したプログラミング言語は「PHP」です。 The top programming languages | The State of the Octoverse https://octoverse.github.com/2022/top-programming-languages GitHub上で使用されているプログラミング言語をまとめたレポートによると、2022年の最も使用されたプログラミング言語トップ10は以下の通り。 1位：Ja
ぼくのかんがえる最高のデータ分析基盤 / strongest-data-architecture-discussion
# みんなの考えた最強のデータアーキテクチャ https://datatech-jp.connpass.com/event/258157/ ## イベント説明 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました！ たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 ぜひ奮ってご参加ください！ ## 発表概要 広告配信システムで発生する大量で多種多様のデータ。そして、人間の多種多様なデータへのニーズに耐えるために至ったデータアーキテクチャに
データセットダウンロード | MADB Lab
データセットについての説明はこちらを御覧ください。 マンガ マンガ単行本 json-ld (39.4MB) turtle (35.8MB) マンガ雑誌各号 json-ld (6.8MB) turtle (6.3MB) マンガその他 json-ld (359KB) turtle (344KB) マンガ単行本シリーズ json-ld (14.2MB) turtle (13.0MB) マンガ雑誌 json-ld (423KB) turtle (400KB) マンガ雑誌掲載履歴 json-ld (2.1MB) turtle (1.9MB) マンガ雑誌内容細目 json-ld (23.6MB) turtle (21.3MB) マンガ所蔵 json-ld (18.1MB) turtle (17.3MB) アニメ アニメテレビ番組 json-ld (8.7MB) turtle (8.2MB) アニメビデ
構文のことは忘れて、JSON, S式, XMLのデータモデルを比較する
データをシリアライズするには、独自のフォーマットを定めるよりも、基本的な定義済みの構造を組み合わせてフォーマットを作るほうが望ましい場合が多いです。 そのような仕組みとしてJSON, S式, XMLなどが存在しますが、これらは 「基本的な構造」として何を選ぶか、という観点からそれぞれに個性を持っています。 本記事では、具体的な構文のことは基本的に忘れて、各フォーマットが採用するデータモデルの違いに焦点を絞って比較します。 JSON data JSON = Value data Value = -- Compounds Array [Value] | Object (Map String Value) -- Scalars | Null | Boolean Boolean | String String -- UCS-2 | Number IntegerOrFloat -- no NaNs
Amazon・Google・Microsoftのクラウドのパフォーマンスを比較した2022年度クラウドレポートが公開される
商用データベース管理システムを開発するソフトウェア企業のCockroach Labsが、クラウドのパフォーマンスをベンチマークで比較した「2022年度クラウドレポート」を公開しました。 2022 Cloud Report | Cockroach Labs https://www.cockroachlabs.com/guides/2022-cloud-report/ Cockroach Labsは2017年以降毎年クラウドのベンチマークテストを実施してきましたが、2022年度はユーザーからの質問が多かった「小規模だが数が多いノードと大規模だが数の少ないノードのどちらを使用するのが良いのか」に焦点を当てて調査したとのこと。そこでAmazon Web Services(AWS)、Google Cloud Platform(GCP)、Microsoft Azureの3つのクラウドサービスで、OLT
NHK全国ハザードマップ
１ この規約は、「NHK全国ハザードマップ」（以下、「本サイト」と言います。）の利用に関して、利用者とNHKとの間の一切の関係に適用されます。また、この規約に定める事項以外については、「NHKインターネットサービス利用規約」が適用されます。 １ 本サイトを利用するためには、この規約に同意していただく必要があります。 ２ 本サイトの背景に表示している地図は、国土地理院が公開する「地理院タイル」と株式会社ゼンリンの「ZENRIN Maps API」にて提供される地図および施設検索コンテンツを使用しています。したがって、本サイトを利用するには、ゼンリンの「地図利用規約」に同意していただく必要があります。ゼンリンの「地図利用規約」では、「ZENRIN Maps API」にて提供される地図および施設検索コンテンツの著作権、使用許諾、禁止事項等について定めています。 １ 本サイトは国や都道府県から提供
中学卒業した1000人…大学卒業→ 正規雇用→ 3年間離職ナシの「普通」と語られるルートを辿れるのはたった163人
高島屋麗子・バイリンガル教育・塾無し小受🌸・共働きワーママ @hbmama14 中学卒業した1000人のその後… →高校進学970人 →高校卒業896人 →4年生大学現役進学413人 →大学を4年で卒業331人 →正規雇用240人 →正規雇用後、3年間離職なし163人 「普通」と語られがちなルートを辿れるのは、実は中学卒業1000人とすると163人 『現場で使える教育社会学』より(2009年データ使用) 2022-03-19 17:36:03 高島屋麗子・バイリンガル教育・塾無し小受🌸・共働きワーママ @hbmama14 ここまでいいねを頂いていて、非常に申し上げ辛いのですが…私の書き方が大変悪くてですね…「2009年のデータ」は「2009年3月に中学を卒業した人のその後のデータ」でして…つまり…4年制大卒後、3年離職なしのデータは…比較的最近のものです🙇♀️書籍は2021年10月
はじめに — マンガと学ぶデータビジュアライゼーション
はじめに# データビジュアライゼーションとは，数値や文章などのデータに基づいた情報を，人間が理解しやすい形に視覚化する技術を指します． このサイトは，文化庁のメディア芸術データベース・ラボ（MADB Lab）で公開されている四大少年誌（ 週刊少年サンデー， 週刊少年ジャンプ， 週刊少年チャンピオン， 週刊少年マガジン ）のデータを用いて，データビジュアライゼーションの学習を手助けすることを目指しています． データビジュアライゼーション（に限らずデータ分析全般）の学習において重要なのは，分析対象のデータに興味を持てるかどうかです． 本書では約47年の四大少年誌のマンガ作品データを採用しているため，モチベーションを保ちつつ学習を進めることが可能です．
自然な日本語ダミーテキストを生成するWebアプリを作りました
こんな感じの文章を自動生成できます。 二人の男女を一様に観察していました。私は仕方なしに立って、再び封の中へ、自分の左右前後を見廻して母の頭は陛下の病と父の病と父の病とを結び付けて考えるのが変に気味が悪かったのです。固よりそこにはまるで解りませんけれど、おそらくそんな意味じゃないでしょう。私の考えは行き詰まればいつでも両方が同時に奥さんのいる事をとうから自覚していました。先生の附近で盗難に罹ったものが、僻んだ私の眼を擦りました。それでも鷹揚に育った私は、もっと海の中で遊んでいられるか、宅へ帰って食卓に向った時、両親の死に断えた私の卒業する前に、また一種の弛みができても、決して強い言葉で説明しました。 モチベーション 同じようなツール・サービスはいくつも公開されていますが、ほとんどが以下の 3 つの方式を採用しており、個人的にはあまり満足できていませんでした。 短い定型文の繰り返し: 一種の
FacebookからOAuthを停止されてわかった今時のセキュリティ - Uzabase for Engineers
NewsPicksの高山です。 この記事はUzabase Advent Calendar 2021の23日目の記事です。昨日は我らが赤澤剛さんによるAWS Organizationの記事でした。 去る2021年10月12日に突然NewsPicksのサービスでFacebookログインやFacebookへの投稿ができなくなりました。この状態は12月13日まで2ヶ月もの間継続していて、ユーザーさんには不便を強いてしまいました。 米Facebook本社とメールでやりとりしていましたが、メール返信に何週間も待たされ、Facebook日本法人に助けてもらってようやく解決に至ることができました。 この苦労話はいくらでもできるのですが、今回はセキュリティの切り口で書いていきます。 Facebookの「データ保護評価」 データセキュリティ項目 「すべてのプラットフォームデータストレージ(すべてのデータベース
一週間で構築できる！ お手軽データウェアハウス
Legalscape (リーガルスケープ) アドベントカレンダー 2021 の 12/16 (木) のエントリです。 本日のエントリは、突貫工事的に一週間程度1で構築したデータウェアハウスについてお送りいたします。 データウェアハウス構築前夜 2021 年 6 月に予定をしている Legalscape 正式版リリースが刻々と迫り、みなが慌ただしく仕事をしている 5 月下旬、ビジネス上の様々な理由からユーザのアクティビティログを保持して分析・集計するデータ基盤、すなわちデータウェアハウスが必要になりました。 Legalscape ではそれまで、プロダクト上でのユーザの行動に伴って発生するアクティビティログはすべて (書籍の全文検索に用いているものと同じ) Elasticsearch クラスタにインデックスしていました。アクティビティログを利用する際は、このインデックスに対して Kibana
GTFS.JP
「標準的なバス情報フォーマット」は、バス事業者と経路検索等の情報利用者との情報の受渡しのための共通フォーマットです。国土交通省により2016年から標準化が進められています。公共交通データのデファクトスタンダートであるGTFSを元に作られた、交通事業者と開発者の双方に優しいフォーマットです。
「うぽつ」が定着し始めたのは2011年、「草」が流行り出したのは2016年──約56億のコメントデータからニコニコ動画15年の歴史を振り返ってみた
本日（2021年12月12日）、ニコニコ動画は15周年を迎えた。 もともと、YouTubeの動画にコメントを付けるサービスとして始まったニコニコ。この15年の間に書き込まれたコメント数は「約56億」にも及ぶ（生放送は除く）。 単純計算で、1年に約3.6億、1日に100万を超えるコメントが書き込まれているわけだが、実際にはどのようなコメントがよく書き込まれていたのか。流行っていたのか。 そんなちょっとした好奇心をきっかけに、今回はニコニコ動画に書き込まれた15年分のコメントデータを抽出。年別で書き込み数の多いコメントTOP10や、「うぽつ」や「草」などおなじみのコメント数の書き込み数の推移など、コメントからニコニコ15年の歴史を振り返っていく。 文／竹中プレジデント ―あわせて読みたい― ・ニコニコ動画15周年の日に、ほぼ毎週ずーーっと動画投稿している筋金入りのニコ厨にサービス開始からの思い
データマネジメント知識体系ガイドDMBOK要約・解説｜よしむら＠データマネジメント担当｜note
データマネジメントを実施したい人には必読の本「データマネジメント知識体系ガイド DAMA DMBOK」の要約・解説記事を書いてます。まとめて読めるようにマガジンとしてまとめました… もっと読む
安心して利用できる図書館データの紹介 - Qiita
先日、私が公開しているWebサイト 図書館施設データポータル について紹介した以下のQiitaの記事 が、はてなブックマークにて、200を超えるブックマークをいただき、TwitterなどSNS等でも多数の共有をいただけたようで、多くの方に私の公開するWebサイトを知っていただきとてもうれしかったです。 また、私の想像よりも図書館が持つデジタルデータに興味を持っている方々がたくさんおられるのだなと思いました。その反面、過去の騒動の影響か図書館のデータの利用に不安を持たれている方も少なからずおられるようでした。 図書館施設データポータル で使用しているデータは、先のQiitaの記事でも書いていますが、各館のWebサイトをスクレイピングしたものではなく国立国会図書館が公開する「図書館及び関連組織のための国際標準識別子（ISIL）」試行版LODのデータセットをダウンロード・加工して使用しています。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソフトウェアメトリックス調査・IT運用コストメトリックス調査 | JUAS 一般社団法人 日本情報システムユーザー協会
企業IT動向調査 | JUAS 一般社団法人 日本情報システムユーザー協会