タグ

dataに関するOooのブックマーク (29)

  • Elasticsearch for Hadoop

    Search and analytics, data ingestion, and visualization – all at your fingertips.

    Elasticsearch for Hadoop
  • DATA GO JP/open data

    データセット データセットとは、ファイルやURLなどの「オープンデータ」が登録された入れ物を指します。 データポータルでは、複数の切り口からデータセットを探すことができます。

  • D3.js の Data-Driven な DOM 操作がおもしろい

    D3.js は「ビジュアライズ用のライブラリー」だと紹介されがちなんだけども、意外にも D3.js にはグラフを描画する機能がない。 D3.js のトップページには次のように書いてある。 D3.js はデータからドキュメントを生成するためのライブラリーです。D3 は HTML, SVG, CSS を使ってデータに命を吹き込みます。Web 標準を重要視しているので、独占的なフレームワークに縛られません。強力なビジュアライズ用のコンポーネントと data-driven な DOM 操作手順を組み合わすことで、モダン ブラウザーの能力を最大限に活用できます。 D3.js is a JavaScript library for manipulating documents based on data. D3 helps you bring data to life using HTML, SVG

    D3.js の Data-Driven な DOM 操作がおもしろい
  • GitHubのエラー・ページ

    GitHubのStyleguideにエラー・ページのセクションがあるのを知った。それによると外部ファイルに依存しないように書いているらしい。CSSはstyle要素で、JavaScriptはscript要素で、画像ファイルはBase64エンコードしてData URIで、それぞれHTMLに直接埋め込むというスタイル。 実際に404のテンプレートでもちゃんとそうなっていた。フロントエンド脳なので、HTTPリクエストを減らして、エラー・ページのコストを下げたいのかなと単純に考えてしまったけど、Not Foundの連鎖を避けることとか外部ファイルがCDN経由の場合の確実性を上げることとかの方が強い理由のようだ。エラー・ページを単独で機能するようにしておき、エラー時に余計な負荷を与えないようにすることにより、より速やかに復帰できるように、ということになりそう。 HTTPエラー・ページの意味も重要だけど

    GitHubのエラー・ページ
  • Chrome の拡張 JSONView が便利ですね - latest log

    この記事の賞味期限は2013年内です。10秒で読めます。 (ε・ ワ ・)з 勘違いがありまして、文の趣旨が変わり Chrome の拡張 JSONView の機能紹介になりました JSONView をインストールした状態でhttp: や https: スキームで始まる JSONファイルを開くと、改行やスペースを含まない(圧縮された状態の)JSONも、適切に展開した状態で見ることができます。 この状態で、マウスを各要素にホバーさせると、画面下の薄い紫の部分に、要素にアクセスするためのパスが表示されます。 紫色の部分: tree[0].attrs.frame[3] xpath のようなこれは、json path とでも呼ぶのでしょうか? また、各ノードの左側にある - や + をクリックすると展開と折りたたみが行われます。 以下のパスを JSONView をインストールした状態で開くと、お試

    Chrome の拡張 JSONView が便利ですね - latest log
  • 第5回 Spring環境におけるDBアクセス(2) 〜 Spring Data篇 | DevelopersIO

    よく訓練されたアップル信者、都元です。前回は散々説明しといて「こんなの使わないッスよね(クッチャクッチャ」っていう酷いオチでごめんなさいごめんなさい。えっと、今回が命です。これが、私が日常的に使ってるデータアクセスの仕組みです。間違いねえっす。 ただし、前回の最後の注釈でも指摘した通り、便利で高水準なAPIは黒魔術的要素が強くなります。APIの水準と裏側の見通し *1はトレードオフですので、プロジェクトメンバーのスキル等も勘案しつつ、慎重な選択が必要なところかと思います。連載の読者の皆様は基的にSpringを学び始めて間もないと思っていますので、今まではSpringの中でもそこそこ見通しの良い(まだ魔術とは言えないような)機能を中心にご紹介してきました。一方、今回は比較的黒いです。なので今回はこのエントリを通じて、Spring Dataの高水準のデータアクセスAPIを学ぶだけではなく

    第5回 Spring環境におけるDBアクセス(2) 〜 Spring Data篇 | DevelopersIO
  • Cassandraサーバのディスク容量減少アラートが飛んできた!ってときにどう対処するか - oranie's blog

    乗るしか無い、このビッグウェーブに。 (このエントリとこのエントリの三番煎じです。) - 追記 Cassandraはデータ領域のDisk使用量が50%でクリティカルと記載しましたが、いきなりズドンと落ちるとかでは無く、compactionを実行した時にテンポラリーファイル作成します。これは対象のSSTableのサイズに依存します。で、このテンポラリーファイルが作成できなくなる可能性がある閾値が50%です。 http://wiki.apache.org/cassandra/CassandraHardware_JP から引用 MemtableSSTableで述べているように、コンパクションは最悪の場合、一時的にひとつのボリューム(つまりデータディレクトリ)に対して最大そのデータと同じだけの空き領域を要求します。 - まずCassandraでDisk空き領域が減少する可能性があるのはほぼ2つ。ア

    Cassandraサーバのディスク容量減少アラートが飛んできた!ってときにどう対処するか - oranie's blog
  • DRBD:What is DRBD

    Reliable, high-performing, highly available enterprise storage

    DRBD:What is DRBD
  • 研究用にニコニコ動画のコメント約300GBを公開‐ニコニコインフォ

    ニコニコ動画をご利用いただきありがとうございます。 去る4月末、第四回ニコニコ学会β開催を記念し、国立情報学研究所 情報学研究データリポジトリ(IDR)ご協力の元、ニコニコ動画のメタデータ「ニコニコデータセット」を公開しました。 データはニコニコ動画に昨年11月初旬までに投稿された約830万件の動画のメタデータ(タイトル、説明文、タグ、投稿日時、再生数等)約12GBと、それに対するコメントデータ(コメント文、投稿日時、コメント位置等)約300GBです。動画データ体および個人を特定するユーザIDは含まれません。原則「すでに公開されているデータ」をとりまとめており、非公開のデータは含みません。 データが公開されることにより、スクレイピング等を行わなくともニコニコ動画に関する研究が行えるようになります。 また、学術機関に所属する研究者が検証可能な形で公式に研究発表しやすくなるものと考えられ