タグ

Dataとitに関するnyopのブックマーク (39)

  • 無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録

    無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録
    nyop
    nyop 2020/08/20
    え、何この神データ。すごい。
  • オープンデータの意義

    オープンデータの意義 - Download as a PDF or view online for free

    オープンデータの意義
    nyop
    nyop 2018/11/17
  • Data Models

    Data Models: A Comprehensive Guide to Structuring Information for Optimal Insights and Decision-Making In the realm of data management, the use of effective data models plays a pivotal role in organizing and representing information in a structured and meaningful way. Data models serve as the blueprint for databases, facilitating efficient data storage, retrieval, and analysis. This article delves

    Data Models
  • JDMC、2017年度データマネジメント賞が決定

    JDMC、2017年度データマネジメント賞が決定 ~大賞/データ統合/データ基盤/データガバナンス/アナリティクス/先端技術活用など各賞を発表~ 一般社団法人 日データマネジメント・コンソーシアム(略称:JDMC、東京都江東区豊洲、会長:栗島聡)は、データマネジメントにおいて、他の模範となる活動を実践している企業・機関などの中から優秀なものを選定しデータマネジメント賞として、大賞と各賞を決定いたしました。今回は、その第4回として実施しました。大賞には、日たばこ産業が受賞したほか5社が各賞を受賞しました。 各賞の選定にあたっては、JDMC運営委員会内に審査委員会を組織し、評価の上、決定いたしました。 この賞を通じ、様々なデータや情報のマネジメントに関する社会的認知を高め、企業・機関などでデータマネジメントを実践する人や組織の活性化を促進し、日企業・組織の競争力強化へ寄与するものとJDM

    JDMC、2017年度データマネジメント賞が決定
    nyop
    nyop 2017/03/07
    ふむふむ。
  • 整然データとは何か|Colorless Green Ideas

    整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d

    整然データとは何か|Colorless Green Ideas
  • システム再構築のカギ、「エンタープライズデータモデル」を作ろう

    ソフトウエアの構想、企画、設計、開発、保守のやり方をどう良くしていくのか。ソフトウエア人材の将来像はどのようなものになるのか。日製ソフトウエアを輸出できないのか。連載『ソフトウエア、それが問題だ~Software Matters』では、ソフトウエアの諸問題と対策を日や世界の論客の方々と考えていく。 第1回として米カリフォルニア大学バークレー校のRoberte E.Cole(ロバート・コール)名誉教授の寄稿を掲載した(「日のリーダーはソフトウエアの質を理解していない」)。第2回は新谷ITコンサルティングの新谷勝利代表に執筆いただいた(「自己研さんは重要、だがそれだけで人は育たない」)。 今回は企業情報システムとそれを支えるソフトウエアを再構築する際に重要な役割を果たすエンタープライズデータモデルに関する寄稿を紹介する。なお、連載に関する感想、ソフトウエアに関するご意見のある方はI

    システム再構築のカギ、「エンタープライズデータモデル」を作ろう
    nyop
    nyop 2016/10/06
  • 機械学習に使える、オープンデータ一覧 ※随時更新 - Beginning AI

    機械学習をやりたいんだけど、データがない!他のデータ使ってみたい! そんな方のために、機械学習に使えるオープンデータを集めました。 他にも、このデータセットオススメ!というものがあれば、是非ご紹介して頂けると嬉しいです。m(__)m UC Irvine Machine Learning Repository カリフォルニア大学アーバイン校が公開した、データセット。351件のデータセットがあり後述する DATA GO に比べれば少ないが、ほとんどがMachine Learning用のデータ・セットなので、かなりオススメ。 UCI Machine Learning Repository かの有名なあやめの花(iris)のデータセットもここから見ることができます。 国立情報学研究所 情報学研究データリポジトリ データセット一覧 yahoo,楽天,ニコニコなどのデータがあります。 DATA.GO.

    nyop
    nyop 2016/08/27
  • エラーページ - ヤフー株式会社

    指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。

    エラーページ - ヤフー株式会社
    nyop
    nyop 2016/03/10
    東京は電車利用が多い→スマホ検索等のWeb利用時間が長い→Webのトレンドが東京寄りになりがち?面白い。
  • 「番号」設計のあるべき姿 〜 年金番号漏洩事件によせて

    年金番号漏洩事件では、「漏洩した番号は全て変更する」のだそうです[1]。個人的には「あーあ」という感じでありんす。昨日の記事[2]でも書いたとおり、適切に運用していれば、番号自体の漏洩は大したリスクではなく、一緒に漏れた住所氏名他が変えられない以上、年金番号だけ変えてもあまり意味が無いからです。 逆に、設計の古い年金番号は、変えるとなると、連動して変えなければいけないところがあった場合にうまく変わらないことが想定され、そのことがかえって被害を産む恐れもあります。 「番号」(当は識別子と呼ぶべきですが、ここでは便宜的に「番号」と呼びます)の設計というのは、想定される利用形態によって様々な考慮点があります。したがって、『「番号」設計のあるべき姿』はある意味ケースバイケースということにはなります。しかし、一方では、最低限満たすべき要件というものもあるのですね。 という訳で、ちょっとリストアップ

    「番号」設計のあるべき姿 〜 年金番号漏洩事件によせて
  • 集約、エンティティ、バリューオブジェクト

    Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。このでは、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

    集約、エンティティ、バリューオブジェクト
    nyop
    nyop 2015/02/23
  • [IPA] 見積の元ネタに「ソフトウェア開発データ白書」がありがたい件 [ハイパー上流] | oshiire*BLOG

    お前は「[IPA] デスマらないために「超上流から攻める IT 化の原理原則17ヶ条」が思った以上に使える件 [要件定義] | oshiire*BLOG」で味をしめたからといって、また「IPA 独立行政法人 情報処理推進機構」ネタなのかと言われそうですけれども、そうじゃない、だってそうじゃない。 基的に、その日にあった、または最近あった出来事を元に blogのネタを日々書いているので、実は、毎日 blog書くのは結構大変です。そんなに、毎日、なにかあるわけじゃなく、ナニゴトも無く穏やかに過ごす日だってあるわけで、なかなか大変なのです、これでも。ただ、落書きしてるわけじゃなくて、これでもすこしは頭を使ってるんです…( ゚д゚ )クワッ!! さて、それはおいといて、「今年は見積もりしないぞ」と固く誓った割には年始からずっと見積の手伝いとかしています。なぜだ。しかも、インフラ屋さんにも関わらず

    [IPA] 見積の元ネタに「ソフトウェア開発データ白書」がありがたい件 [ハイパー上流] | oshiire*BLOG
    nyop
    nyop 2015/01/22
    これは便利そう。
  • データとして登録されるビジネスルール - 設計者の発言

    nyop
    nyop 2014/08/27
    ちょっと思ってたのと例が違ったけど概ね同意。スクラッチ系だとビジネスルールをテーブル化するの嫌がる人多いんだよね。
  • 第5回 設計,入力,運用で闘う:組織的な品質の管理を徹底--キヤノン

    キヤノンやプロクター・アンド・ギャンブル(P&G)はデータの品質維持を徹底するため、データ体系を全世界で統合。これにより個別最適のデータ管理から脱却した。さらにデータ品質の経年劣化を防ぐために、データの「ガバナンス(統治)」体制や教育プログラムに力を注ぐ。全世界に事業を展開するこれら2社は、製品マスターデータのコードを全世界で統合した後も、継続的にデータ品質を維持・向上する取り組みを続けている。 管理ルールをシステムと研修で徹底 キヤノンにおけるマスターデータの品質維持・改善で、すべての基になるのがマスターデータの管理ルールである(図1)。 図1●マスターデータの統合後も、継続的にデータ品質を維持・向上していくための取り組みが欠かせない キヤノンは製品マスターデータを統一しただけでなく、発番ルールの順守やシステム化などによって、データ品質の維持・向上に努めている [画像のクリックで拡大表

    第5回 設計,入力,運用で闘う:組織的な品質の管理を徹底--キヤノン
    nyop
    nyop 2014/06/06
    すげー。データマネジメントのお手本みたいな世界。後はメタデータ管理をまでやってるかが気になる。
  • 郵便番号データのサマライズ - おぎろぐはてブロ

    登録系フォームで、郵便番号を入力してもらって、郵便番号データから引っ張った候補住所を選択してもらうというUIがあるのだけれど、「ここの選択してもらう」という作業を無くしたい。郵便番号入れたら、検索した住所が埋められて、あとは番地を入力するだけでいいような感じ。 なぜ「選択してもらう」というステップが必要なのかというと、郵便番号は、一意の住所に紐付く訳ではなくて、複数の住所に紐付くため。たとえば、011-0951だと、 郵便番号 都道府県 市区町村 町域 011-0951 秋田県 秋田市 土崎港相染町 011-0951 秋田県 秋田市 土崎港古川町 と相染町と古川町どちらも同じ郵便番号である。そのため、この中から選択してもらう必要が出てくる。 複数の住所に紐づけられた郵便番号の数 平成19年(2007年)3月30日版の郵便番号データの場合 データ数(郵便番号-住所の組み合わせ): 121,8

    郵便番号データのサマライズ - おぎろぐはてブロ
    nyop
    nyop 2014/04/26
  • 郵便番号 - Wikipedia

    郵便番号(ゆうびんばんごう、英語圏共通: postal code . アメリカ英語: ZIP code)とは、郵便物の分類に役立てるために、宛先に加えて記された、数字や文字である[1]。 概説[編集] 郵便番号はその性質上、全国的に統一されたコード体系が用いられている。ただし、コード体系は各国独自であり、日のように数字のみで構成される体系や、イギリスのようにアルファベットと数字を組み合わせて構成される体系もある。 歴史[編集] ウクライナのキーウの郵便番号 郵便番号は1857年に、ロンドン市内を10の郵便地区に区分けし、それぞれにアルファベット1文字または2文字のコードを割り振ったところから始まる。このシステムは1864年にはリバプールでも導入され、その後第一次世界大戦を契機にイギリスからヨーロッパ各地の大都市に拡大して行った。この当時はあくまで限られた大都市の中の区分けであり、国全体の

    郵便番号 - Wikipedia
    nyop
    nyop 2014/04/26
    成る程、配達する郵便局の設置場所に応じて郵便番号を決めている訳か。コード設計としてはわからんでもないけど、一工夫入れたいところ。
  • データマネジメント 2014 で異彩を放っていた @okachimachiorz1 さんの「正確なデータをもとに明日を予測する 〜ノーチラスが提案する新しい予測の形〜」のメモ - #garagekidztweetz

    データマネジメント 2014に参加してきたレポートの最後は、以下のセッションのみをひとつ切り出しました。 14:00-14:40 C-5 『正確なデータをもとに明日を予測する 〜ノーチラスが提案する新しい予測の形〜』 ノーチラス・テクノロジーズ 理由は簡単で、この @okachimachiorz1 さんのセッションが今回のデータマネジメント 2014 の中で、わたしが一番面白いと思い、かつ異彩を放っていたなぁ、と思っているからです。 ゼヒ、資料が slideshare 等にアップされてほしいなぁと思っていますが、わたしのとれた範囲内でメモを公開させていただきます。 C-5 『正確なデータをもとに明日を予測する 〜ノーチラスが提案する新しい予測の形〜』 ノーチラス・テクノロジーズ 自己紹介 DM というよりも業務系で Hadoop を使う OSS を中心に Asakusa を開発したりしてい

    データマネジメント 2014 で異彩を放っていた @okachimachiorz1 さんの「正確なデータをもとに明日を予測する 〜ノーチラスが提案する新しい予測の形〜」のメモ - #garagekidztweetz
    nyop
    nyop 2014/03/14
    これこれ。会場ですごい笑わせて頂きました。さすがです。
  • 福井県鯖江市>オープンデータ(XML)

    〒916-8666 福井県鯖江市西山町13番1号 電話 : 0778-51-2200(代表) / FAX : 0778-51-8150 メール : SC-HishoKoho@city.sabae.lg.jp

    nyop
    nyop 2014/03/13
  • Featured Video: Becoming a Data-Centric Organization - DATAVERSITY

    nyop
    nyop 2014/02/24
  • ビッグデータかサンプリングか--起き始めている発想の転換

    印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「全量のデータを解析する“ビッグデータ”は効率が悪い」 ここにきて、IT専門メディア以外でも話題にするようになってきたビッグデータ分析だが、1つ多くの人が指摘する事柄がある。 売り上げや在庫といった従来型のトランザクションデータだけでなく、ソーシャルメディアの書き込みなどを分析し、未来の売れ筋商品や在庫リスク要因などを予測するといった使い方がビッグデータに期待されている。 ここで、従来型の統計手法で実施していたサンプリングの手法と比較されるのである。対象範囲の全量データを集めて分析するビッグデータ解析よりも、無作為抽出などの手法でサンプルを集め、全体の構成内容を推理するサンプリング調査の方が、コストや手間がかからずに済むという指摘だ。

    ビッグデータかサンプリングか--起き始めている発想の転換
    nyop
    nyop 2014/01/23
    本文中にあるような単純な傾向分析や検知なんかの現状認知系のと、One to Oneマーケみたいな気づきを与える仕組みは分けて考えた方がいいと思うな。前者はサンプリングで十分では?
  • サイボウズが目指す「M2M2H」とは何か

    企業のクラウド導入が進む中、その使われ方も多様化しつつあるようだ。2011年にクラウド事業に乗り出したサイボウズの青野社長は「M2M2H」とも言える導入事例が生まれていると話す。 企業のクラウド導入が格化しつつある。IDC Japanが2013年9月に行った調査によると、情報システムの構築にクラウドを利用している国内企業はすでに17.3%を占め、導入を検討している企業は19.0%に上るという。 「クラウド利用企業のすそ野が広がっている」――こう話すのはサイボウズの青野慶久社長。同社が2011年11月から提供しているクラウドサービス「cybozu.com」の有料契約社数は約2年で5000社を突破し、その後も月間200~300社のペースで増え続けているという。「クラウドは今まさに普及期にある」と話す青野社長に、ユーザー動向や2014年の展望について聞いた。 クラウド化に意欲的な“2つの顧客層

    サイボウズが目指す「M2M2H」とは何か
    nyop
    nyop 2014/01/23