東京都がオープンデータのAPIを公開 約3万5000件のCSVファイルにアクセス可能に
東京都は2023年3月30日、「東京都オープンデータカタログサイト」の掲載データのうち、アプリケーション開発などに利用されるCSVファイル約3万5000件を全てAPI形式で提供すると発表した。 行政データをAPI形式で提供 その狙いは？ 東京都オープンデータカタログサイトは、東京都と区市町村が保有する2次利用可能で機械判読性の高い行政データを公開するサイトだ。約5万4000件のデータを掲載している。 API形式での提供は、デジタル庁が公開する「政府相互運用フレームワーク」（GIF）の連携・交換のためのデータ参照モデルに準拠している。デジタル庁は同フレームワークを「デジタル・ガバメント推進標準ガイドライン」のもと、データの活用や連携がスムーズに実施される社会を実現するための技術的体系としている。 東京都は、APIを活用することでオープンデータを利用するシステム開発の行程を簡略化可能だとしてい
30分でわかるデータ指向アプリケーションデザイン - Data Engineering Study #18
600ページを超える書籍である「データ指向アプリケーションデザイン」の要点を最近の話題を交えながら解説します。 Data Engineering Study #18 の発表資料です プレゼンテーション https://www.youtube.com/watch?v=ZiKWXc0fSCw イベントURL https://forkwell.connpass.com/event/269125/ データ指向アプリケーションデザイン https://www.oreilly.co.jp/books/9784873118703/
『みんなのデータ構造』でデータ構造の基礎を学んだ - valid,invalid
データ構造とアルゴリズムの学習の一環として『みんなのデータ構造』を読んだ。これまでで最も良いデータ構造の学習になった。 みんなのデータ構造 作者:Pat Morin発売日: 2018/07/20メディア: 単行本（ソフトカバー） 日本語訳がWebで公開されているので気になる方は無料で読める。が、著者や訳者や出版社応援の意味も込めて購入すると良いと思います。また、ラムダノート社のサイトから買うと紙書籍と電子書籍のセットがお得。 内容 データ構造とアルゴリズムに関連する本はアルゴリズム寄りのものが多いが、データ構造に焦点を当て続けていることが本書の特色。 内容の依存関係 p.21より 大学の教科書のように、正確性を優先したハードコアな内容。 アルゴリズムの内容も少しだがある。「11章 整列アルゴリズム」ではそれまでの章で学んだデータ構造がどのように使われるかを一瞥でき、「12章 グラフ」では深
"Designing Data-Intensive Applications"は濃密すぎる一冊だったので2018年の自分にも読んでもらいたい
"Designing Data-Intensive Applications"は濃密すぎる一冊だったので2018年の自分にも読んでもらいたい 分散システムに関する理解を整理するための一冊として素晴らしい、という声があり気になっていた "Designing Data-Intensive Applications" を一通り読んだ： https://twitter.com/frsyuki/status/846431130437890049 僕のような「用語としては知っている」程度の新人に「なぜそれが大切なのか」「なにが難しいのか」といったポイントを丁寧に説明してくれる、学びの多い充実の一冊だった。 冒頭では『早すぎる最適化（不要不急のスケーラブルなシステムの構築）は制約が増えてシステム設計が不自由になるだけなので無駄』という事実に触れ、適切なツールを選択することの重要性を説いている。本書が50
【朗報】できるビジネスマンはExcelから「R」へ移行中 : IT速報
ビッグデータ需要など、データ分析がビジネスシーンでも重要視されており、ExcelからRへの移行が増えているという。 Rは、統計分析に特化したプログラミング言語です。プログラミング言語、というくくりではありますが、統計分析に特化したシンプルな作りになっています。 取っ付きやすさの大きな要因になっているのは、データフレーム、という考え方です。データフレームは列と行という表形式になっていて、Excelで扱うデータ形式と似ているため、Excelに慣れ親しんでいる人であれば、少し使ってみるだけでRに対する違和感はすぐに消えることでしょう。 （1）大規模データでも軽快に動く （2）分析手順が残るので、やり直しも簡単 （3）最新の分析ツール（アルゴリズム）が使える 詳細はソース元で http://gendai.ismedia.jp/articles/-/54570
トレタにおけるBigQueryの活用法について - トレタ開発者ブログ
サーバーサイドエンジニアの芹沢です。 トレタは検索用のデータストアとしてBigQueryを使用しています。 奇抜な使い方はしていませんが、トレタにおけるBigQuery活用法を紹介します。 システム構成 BigQuery周りのシステム構成を１枚の図にまとめるとこんな感じです。珍しいものは使っていませんがその分安定した構成かと思います。 BigQueryにimportしているデータ 大きく分けて以下2種類のデータをBigQueryにimportしています。 1.APIが参照しているRDBのデータ APIが参照しているRDB(Amazon Aurora)のslaveからデータをimportしてデータ分析や調査用のデータ検索業務に使っています。 2.各種ログ 以下のログをfluentdでBigQueryに保存しています。 nginxのaccessログ railsで1リクエスト単位で出力しているカ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
