タグ

Dataとossに関するslay-tのブックマーク (4)

  • Xz format inadequate for long-term archiving

    Abstract One of the challenges of digital preservation is the evaluation of data formats. It is important to choose well-designed data formats for long-term archiving. This article describes the reasons why the xz compressed data format is inadequate for long-term archiving and inadvisable for data sharing and for free software distribution. The relevant weaknesses and design errors in the xz form

  • OSSのコードに触れてゆったりRails力アップ!《devto: Data Upate Scripts編》

    OSSのコードに触れてゆったりRails力アップ!《devto: Data Upate Scripts編》 駆け出しRailsエンジニアの方や、忙しくてスキルアップにリソースを割けないエンジニアの方向けに、 「良質なOSSから無理なくゆったりと学ぶためのガイド」というコンセプトで書いたです。 OSSの題材としては爆速な技術記事投稿サービスとして有名なdevtoを選んでみました。 https://dev.to また、書は「devtoからRailsを無理なくゆったりと学ぶためのガイド」というコンセプトでどういったコンテンツが作れるかを試した試作品でもあります。 試作品ということで、投げ銭形式(有料設定にした上で全編無料で公開)をとってみました。 書を読んでみて価値を感じて頂けたなら、LIKEや購入をして頂けると編を書く励みになります!

    OSSのコードに触れてゆったりRails力アップ!《devto: Data Upate Scripts編》
  • Geolonia 住所データ

    Skip to the content. Geolonia 住所データ 全国の町丁目、大字、小字レベルの住所データ(277,543件)をオープンデータとして公開いたします。 データは、国土交通省位置参照情報ダウンロードサービスで配布されている「大字・町丁目レベル位置参照情報」をベースとしていますが、「大字・町丁目レベル位置参照情報」データは年に一回更新であるのに対して、リポジトリで配布するデータは毎月更新しています。 latest.csvをダウンロード latest.dbをダウンロード リリースノート 住所データ仕様 ファイルフォーマット latest.csv: CSV latest.db: SQLite3で読み込めるバイナリ形式 列 都道府県コード 都道府県名 都道府県名カナ 都道府県名ローマ字 市区町村コード 市区町村名 市区町村名カナ 市区町村名ローマ字 大字町丁目名 大字町丁目

  • Fluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログ

    ゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドでも自然言語処理や機械学習を中心としたデータ解析処理がサービスの生命線となっていますし、サービスの裏側でも戦略を立てる上で効果測定や諸々のデータの分析は非常に重要な位置を占めています。 記事では主にサービスの裏側で求められるデータ解析において、いかにカジュアルにデータを解析するか、の一例として、掲題のような組み合わせによるデータ可視化の事例を簡単にですがご紹介したいと思います。 データ解析基盤を作る側の視点からすると、システムとして求められる要件は以下のようなものだと理解していま

  • 1