知らなかった……“青空文庫”の全データは“GitHub”から一括ダウンロードできる！／“データを丸ごとほしい！”という場合に便利【やじうまの杜】

[dominion525]

青空文庫は自動で生まれてくるわけではなく多くの人の努力によって回ってるシステムだし、近年は技術面からの改善を進めるべく中の人がかなり頑張ってるんですよう。

[nakaken88888888]

青空文庫としても、スクレイピングで大量アクセスされるよりは、こうした方がいいんだろうなぁ。

[diveintounlimit]

すごいな(´・ω・｀)ちらっと見たら校正中とか校了とか書いてあったし、これわりと人力なんでは…

[delphinus35]

こんな青々しい大草原初めて見た。

[tach]

ハリウッド・ディズニー利権を背景とした米国の圧力で著作権保護期間が70年に延長されたことによって今後20年間この青空文庫に新作が加わらないことになる。何という文化的損失。これが安倍晋三売国内閣だ

[timetrain]

テキストデータとしてはすごい量なんだけど、現代と話法が違うからそのまんまトレーニングに使うわけにもいかないような……

[hackapellmanda]

作家ごとの特性とか可視化されそう

[thesecret3]

間違ってあげちゃった場合、消せないよな。。

[enhanky]

良い試みだし基本的には支持するけど、GitHubはアメリカ企業だし、サーバーがどこにあるか不明なので、著作権がアメリカでは存続している場合（50年以上70年未満）に法的扱いが厳密にはどうなるのかは気になる。

[kumagoro_morino]

知らなかった

[sisicom]

まるごとおとすることが出来るとは、シラナカッタ。

[tym1101]

ランキングが見れるのが面白い。ソースをテキストエディタにコピペして、htmlで保存して見る、というのが正しい見方なのか知らないけど…

[richard_raw]

あたり一面の緑凄い（小並感）

[adsty]

青空文庫のデータ一式はGitHubに置かれ毎日更新されている。

[nakakzs]

結構注目の情報。

[kitaj]

mjd!

[pyo_hei]

青空のもと、素晴らしい草原が育ってますね。

[nmcli]

まじか

[rxjun]

青空文庫の全データはGitHubから一括ダウンロードできる。

[Dragoonriders]

人力がいるからこそGitHubでやる意味があるんだな

[cubick]

リポジトリのサイズが10GBもあってワロタ

[kyukyunyorituryo]

zipファイルだからdiffは無理じゃね。エディターツールを作ったけど、機能をひとまとめにしたい。https://99nyorituryo.hatenablog.com/entry/2013/10/09/220711

[internetkun]

id:slkby 法の不遡及というものがあるので無用な心配です

[akiramaz]

すげー緑

[rinsuki]

“GitHub”の“Contributions Calendar”” あれそういう名前なの

[slkby]

著作権伸びて消せって言われたらリポジトリごと消さないと怒られるのかなこういうのって

[zyzy]

昔からちょいちょいコーパス系のデータマイニングネタで青空文庫のデータが使われてるけど、あれいちいち個別にDLしなくてよくなったのか。

[tossy_yukky]

これは色々使いみちがありそうな・・・

[tailriver]

毎日青空だからこその大草原

[dekasasaki]

word2vec向けにこのデータ使ったことある。（結局Wikipediaにした）

[okumuraa1]

すごい

[osnq]

すげえ

[fuyu77]

これは知らなかった。

[toaruR]

例の70年化で半分以上消えるのよね（´－｀）

[YukeSkywalker]

後でcloneしとこう。/10GBほどあるから、割と覚悟が必要だぞ。

[fln92vw]

GitHubってのよく見かけるけど未だになにかわかってない。エンジニア用の掲示板と想像していつも記事を読んでる。

[anpaku]

これは、使えるかも。