Department of Computer Science - Old Dominion University
The College of Sciences remains committed to the success of our students during these challenging times. Our faculty and staff have worked incredibly hard to move classes online and address student concerns. We continue to support our students through on-line tutoring and academic advising. Together we will persevere under these circumstances to ensure continued learning and student success. Go M
Surfing Modern Web With Ancient Browsers | Virtually Fun
(note this is a guest post by Tenox) [Update: A full HTTP Proxy version has been made in this post.] I spend a fair amount of time working with legacy operating systems. Apart from being obsolete themselves they suffer from a common problem – the web browsers are simply unusable on a present day Internet. You start by getting JavaScript error on google.com and it only gets worse once you go furthe
13.保存用ファイルフォーマット WARC | ウェブアーカイブのしくみ｜国立国会図書館インターネット資料収集保存事業
ウェブアーカイブでは、ウェブページから収集したファイルをそのまま保存するのではなく、ウェブアーカイブに適した保存用ファイルフォーマットにして保存します。その理由としては、収集時の情報やファイルのメタデータが同時に保存できるため長期保存対策が可能であること、差分収集に対応しているフォーマットであることなどが挙げられます。 WARCファイルとは WARCは世界のウェブアーカイブ機関で広く採用されている保存用ファイルフォーマットで、その名称は「Web Archiving」に由来します。IIPCの主要メンバーであるインターネットアーカイブが採用していたファイルフォーマットARCをもとに、2004年にIIPCにより汎用的に使える形式に拡張されました。 2009年5月には、国際標準機構(ISO)の国際規格ISO 28500:2009となっています。 (参考) IIPCのウェブアーカイブ保存形式"WAR
- Big UK Domain Data for the Arts and Humanities
Web archives are an increasingly important resource for arts and humanities researchers, yet we have neither the expertise nor the tools to use them effectively. Both the data itself and the process of collection are poorly understood, and it is possible only to draw the broadest of conclusions from current methods of analysis. The project will work with the dataset derived from the UK domain craw
Websites change. Perma Links don't.
About Perma.cc Perma.cc is a service that helps anyone who needs to cite to the web create links to their references that will never break. Perma.cc prevents link rot. What is Perma.cc? When a user creates a Perma.cc link, Perma.cc archives the referenced content and generates a link to an archived record of the page. Regardless of what may happen to the original source, the archived record will a
UK Web Archive | 世界のウェブアーカイブ｜国立国会図書館インターネット資料収集保存事業
UK Web Archiveの成り立ち 英国図書館では2004年から、ウェブサイト管理者の許諾に基づく選択収集を行っていましたが、個別の許諾が必要なため収集可能なサイト数が限られていました。 そこで、2013年4月5日に2013年法定納本図書館（非印刷体）規則が制定されました。これは2003年法定納本図書館法に基づいて策定された、非印刷出版物（non-print publication）の納本に関する規則です。 この規則改正は2013年4月6日に施行され、英国における納本制度の対象に、英国においてインターネット公開されたウェブサイトや電子書籍等が加わりました。 この改正により、英国で発信されたことを示す国別トップレベルドメインである「.uk」をもつウェブサイトを網羅的に収集するバルク収集が開始されました。 バルク収集で収集したウェブサイトのインターネット提供は認められていないため、英国の法
Archiving the Mobile Web
The document discusses archiving mobile web pages using Heritrix, an open-source web crawler. It describes modifying Heritrix to support crawling both desktop and mobile versions of sites. The Mobile Finder web service identifies if a given URL has a mobile version. Heritrix was configured with two crawl options - using desktop or mobile user-agents. URLs were crawled using both options and differ
3. ウェブを収集するしくみ | ウェブアーカイブのしくみ｜国立国会図書館インターネット資料収集保存事業
ウェブアーカイブでは収集ロボット（クローラ）と呼ばれる自動プログラムを用いて、ウェブサイトを収集します。 収集ロボットによる収集 収集ロボットは、最初にスタート地点となるウェブページ（起点URL）にアクセスをします。そして、そのページのhtmlファイルを収集すると同時に、htmlファイル内のソースを解析して文書、画像、音声、動画、スタイルシートなどのファイルを収集します。さらにそこからリンクしているページに移動して、同様の処理を繰り返し行います。 このようにリンクをたどりながらページを移動し続け、新たなリンク先がなくなるまで処理を続けます（収集ロボット Heritrix）。 ウェブページのつくり ウェブページは、一見するとページが１枚だけあるように見えますが、実際にはhtmlファイルや画像ファイル、スタイルシート、スクリプトファイルなど、多数のファイルが組み合わさって構成されています。 例
2. ウェブアーカイブのライフサイクル| ウェブアーカイブのしくみ｜国立国会図書館インターネット資料収集保存事業
ウェブアーカイブのライフサイクルは、「選定」、「収集」、「組織化」、「保存」、「公開」の5つの部分からなります。ウェブサイトに掲載されている情報は時間の経過とともに変化していきます。ウェブアーカイブでは、このサイクルを定期的に繰り返しながらウェブサイトの変化を記録していきます。 選定 対象となるウェブサイトを選定します。特定の主題にターゲットを絞ったものから、一国全体のウェブサイトを対象とするもの、世界中のウェブサイトを包括的に集めるものまで、その目的や実施機関の種類、規模によって様々です。大きく分けると選択収集とバルク収集の2種類があり、両者を組み合わせて行っているウェブアーカイブもあります。 選択収集 特定のウェブサイトにターゲットを絞って収集することを「選択収集（Selective Harvesting）」といいます。サイト単位やページ単位などの収集単位も指定します。小～中規模のウェ
1. ウェブアーカイブとは | ウェブアーカイブのしくみ｜国立国会図書館インターネット資料収集保存事業
皆さんは、ウェブサイトの情報が昨日までとは違う内容になっていたり突然無くなったりして、探している情報が見つからないという経験をしたことはないでしょうか？ウェブサイトに掲載されている情報は更新や削除が頻繁に行われるため、そのようなことが度々起こります。 例えば、首相官邸のウェブサイト（http://www.kantei.go.jp/）は、内閣総理大臣が交代すると内容が大きく更新されます。過去に掲載されていた情報も残されていますが、公開当時そのままの形では残っていません。また、2002年に日本と韓国で行われたFIFAワールドカップの日本組織委員会ウェブサイトは、大会が終了した後にインターネット上から消えてしまいました。 それでは、このように消えて行くウェブサイトの情報に再びアクセスするためには、どうすればよいでしょうか？その解決法の一つが、ウェブサイトの情報が消えて無くなる前にそれらを集めて保
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deloitte Discovery Solutions and eDiscovery Consulting
Erado Captures Web Content | Erado
The UK Government Web Archive: a resource for contemporary historians (1) - The National Archives blog
New research project: Big UK Domain Data for the Arts and Humanities
Political party web archives
The Web as a Preservation Medium
At the Internet Archive, Saving Data While Spurning the Cloud
[PDF]First Steps in Archiving the Mobile Web: Automated Discovery of Mobile Websites
Scaling up to archive the UK web
Crawling the UK web domain