皆さんはビッグデータを扱うときどのような形式で保存していますか?ここでいうビッグデータとは数GB~数十GB(笑)のJSONです。MongoDBのようなNoSQLなデータベース使う?素晴らしいと思います。PostgreSQLでJSONを使う?とても良いと思います。 ここでは、データベースという枠組みから外れて、「ファイルシステム」を中心に手軽にお安く(ここポイント)ビッグデータを扱うことを考えます。なので、この方法は最速ではありませんし、個人がちょっと遊んでみようというときに気楽にできる”チープ”な物です1。企業でやるならちゃんとしたデータベースを使うべきです。その前提で読んでみてください(ちょっと長いです)。 ファイルシステムは、テキストファイルやZipアーカイブといったただのファイルです。ただのファイルなので、データベースが得意なインデックスも効きませんし、検索や結合も弱いですし、同時接
!["チープ"にビッグデータを扱うのならMessagePack+LZ4がいい感じ【データベースと対決】 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b4ea4e8755aa917f269c70f56205d610feba0ddd/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTIyJUUzJTgzJTgxJUUzJTgzJUJDJUUzJTgzJTk3JTIyJUUzJTgxJUFCJUUzJTgzJTkzJUUzJTgzJTgzJUUzJTgyJUIwJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgyJTkyJUU2JTg5JUIxJUUzJTgxJTg2JUUzJTgxJUFFJUUzJTgxJUFBJUUzJTgyJTg5TWVzc2FnZVBhY2slRUYlQkMlOEJMWjQlRTMlODElOEMlRTMlODElODQlRTMlODElODQlRTYlODQlOUYlRTMlODElOTglRTMlODAlOTAlRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlRTMlODMlOTklRTMlODMlQkMlRTMlODIlQjklRTMlODElQTglRTUlQUYlQkUlRTYlQjElQkElRTMlODAlOTEmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTA2OWMzMTFmZGIwNDE5NTFlOGY1OWY5NjNiYWU4OTll%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrb3NoaWFuMiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MDY5YTFmNmVlMjkxZjI2OGZhMDBmZWFlNGRkYzNlZmQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D82a8fda918cfa46e1dba3e0e0c717fbb)