Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
第11回 ログでアプリケーションの改善プロセスを回す（3） | gihyo.jp
ログの管理 ログを書き出し始めると、次に気になるのはログのファイルサイズの増大でしょう。大規模なサービスでは数日分のログを保存するだけでディスク容量を使い切ってしまうことがあります。大規模ではないWebサービスでも長く続けていればログは数十GBの単位で溜まっていることでしょう。ログの容量が大きくなると、記録されている内容を確認することが難しくなります。そこでログを検索しやすく、またディスク容量を大きく使わないように、ファイルの切り分けと世代管理をすることが重要です。 ログローテーション ログファイルが肥大化してサーバのディスク容量を圧迫することを防いだり、ログの検索を行いやすくするために、ログを一定のサイズや間隔で分割し、またログファイルの世代管理を行い設定された保存期間を過ぎたログファイルを削除することを、一般的にログのローテーションと言います。アプリケーションによってはログの分割だけを
機関リポジトリのアクセス数をいかに数えるか？：カウント方式の標準化に関する国際会議（International Seminar on Standardization of IR Usage Statistics: How we count the access to institutional repositories） - かたつむりは電子図書館の夢をみるか（はてなブログ版）
特に年末年始だからと言って何かが変わるわけでもなく、文献を読んだり論文の草稿を書いたりデータを分析したりしているうちに気付けば2011年も11日目に入っておりました・・・ 皆様あけましておめでとうございます。 今年もたぶんこんな感じでまったりお送りしようかと。 年始の挨拶も早々に、新年１発目のイベント記録は国立情報学研究所で開催された「機関リポジトリのアクセス数をいかに数えるか？：カウント方式の標準化に関する国際会議」についてです！ イベント公式ページ 機関リポジトリのアクセス数をいかに数えるか？〜カウント方式の標準化に関する国際会議〜 機関リポジトリのアウトプット評価において，統計データの標準化は非常に重要な課題であり，その重要性は欧米でも認められていくつかのプロジェクトが活動しています。 ROAT (Repository Output Assessment Tool) プロジェクトでは
１０億のアクセスログが描く人類の知の現況図
ロスアラモス国立研究所のDigital Library Research and Prototyping Teamがつくった「学問の地図」は、論文間の引用統計ではなく、オンライン上の論文やジャーナルを人々がどのように利用したかという実績にもとづいて作成されたものである。 あるデータベースのあの論文やデータを利用した人間の多くは、別のデータベースのあるデータを良く利用している、といった関係から、人の知と情報がどのようなクラスターをつくっているのかを、マップは鮮やかに描き出している。 大学や研究機関等から得た大量（10億件;2006～2008年）の利用ログの分析から浮かび上がる研究（利用）活動の姿は、論文の著者（研究社）のみならず、研究成果のユーザーである実務家などを含む活動が反映されていると考えられる。 とにかく絵を見て(さらにクリックして拡大）。 現在の学問の間の連関が、天球儀のように、あ
図書館利用データのビジュアル化による利用行動分析の最終報告（英国）
英国のレスターシャー・カウンティとシティ・ユニバーシティ・ロンドンの研究者が共同で取り組む、カウンティ内の図書館の利用データをビジュアル化し、利用行動の分析や政策決定に役立てようというプロジェクト“vizLib”の最終報告がまとめられ、公開されています。 Report : vizLib: The visualization of Leicestershire library usage data http://www.lsr-online.org/reports/vizlib_the_visualization_of_leicestershire_library_usage_data Library usage data visualisation – new report launched – LIBRARY & INFORMATION UPDATE 2010/3/5付けの記事 http
CA1666 – 動向レビュー：機関リポジトリの利用統計のゆくえ / 佐藤義則
機関リポジトリの利用統計のゆくえ 1. はじめに “OpenDOAR（Directory of Open Access Repositories）”(1)に登録されているリポジトリの数は2008年4月29日現在で1,131に上り、着実に増加を続けている。日本では、81の機関リポジトリが公開または試験公開されており(2)、国立情報学研究所の“JuNii+”(3)を通じて利用できるコンテンツ数は28万件を超えるに至っている（2008年4月16日現在）。 こうした拡大のなかで、機関リポジトリの評価への関心が高まっている。最も基本的な評価指標としては、どのような種類のコンテンツがどれだけ集まっているのかということがあげられる。機関リポジトリの目的の一つがデジタル・コンテンツの「収集と保存」にある以上、コンテンツの数は常に重要であり続ける。また、機関リポジトリがオープンアクセス運動に代表される「学
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
