1日に100万レコード増える場合のテーブル設計 | teratail

株価データをmysqlにinsertするシステムを組んでおります。 全銘柄の株価を1分おきに取得します。 銘柄数は3600、株式市場の時間は1日300分 3600×300=1,080,000レコードとなります。 カラムは以下の通りです。 id int(10) AUTO_INCREMENT code smalint(5)//銘柄コード price double//株価 dekidaka int(10)//出来高 created_at date//取得時刻 selectする際の速度を最重視するため、 ストレージエンジンはMyISAMを採用し、ORMは使用しない予定です。 普段テーブル設計をする際はupdated_atカラムを含ませているのですが、 レコード数が膨大になって容量を食う上、updateも行わないため除いています。 ・insertは遅くても問題ない ・updateは基本的に行わない(

[YarmUI]

そもそもの話株価はdecimalで、株価じゃなくて足で保持した方がいいと思う

[shinp]

普通に株価コード+年月+時間でキーにしたテーブルを適当な株価コードで分割すればええだけな気がするんやが。引っ張るときにUNIONしたりすればええ。

[masatomo-m]

RDBMSでやる領域じゃないんじゃね？

[f-miyaji]

この質問をしている段階で、自前でDBを構築しないほうが幸せになれると思う。

[uokada]

MySQLじゃなくて時系列データベースにしたほうがいいんでわ？

[shibacow]

BigQuery押し。

[cpw]

なにをしたいかによるけど、普通に考えればRDBMSに高値、安値、始値、終値だけ記録しといて細かい時系列データはファイルにでもすべきなのでは？全部RDBMSでやっちゃいかんでしょ。

[berlysia]

BigQuery使えって感じか

[bell_chime_ring238]

なぜこの記事がガールズカテゴリーに上がってくるのか、すごく謎い

[katzchang]

これだけじゃなんともいえないなーっていう感想。

[mutouj]

こういう状況って「MySQLでやる！」というのは大きな力で決まっていて、他の選択肢は無いんだろうな・・・

[Chisei]

Big query よく知らないので興味出た

[dangkicchi]

“GoogleBigquery”

[nilab]

1日に100万レコード増える場合のテーブル設計(18942)｜teratail

[surume000]

大量データの取扱

[wasai]

RDBMSだと無理だろうなというのはわかる

[newta]

クエリ回数が多いならBigQueryよりRedShiftかなぁ。100万レコードくらいならコストも平気でしょ。まあ100万レコードくらいならMySQLでも行けると思うけど。

[shinagaki]

1日100万レコードってそれほどでもないよな

[merzo]

そこまで、単純なデータなら自前のが最高かと。

[masayoshinym]

RDBじゃないよなぁ。

[honeybe]

BigQuery派とRedShift派の血で血を洗う戦いが！…行われていなかった。

[mijusawa]

なにを作るのかが気になる

[khtno73]

無理やりRDBでやる理由はなんだろう

[toaruR]

BigQueryのステマ（違

[motchang]

2億程度なら適切なパーティショニングすれば mysql でも十分戦えると思うけどなー。たんに BigQuery 使ったこと無いだけだけど。

[megane1972]

主旨から外れるけど、大半の銘柄は毎分なんて頻度では取引されない。もちろん最大負荷を前提にするべきなんだけど、このケースなら他のデータ構造を考えたほうがよさそう。

[akikan2]

分足を個人で取得する方法はないので、業務利用かな？証券関連で仕様を漏らす、ましてやネットで相談とか、大丈夫かね？

[n314]

「全データがあるならすぐチャート作れるでしょ」とか言われて悶絶しそう。

[tettekete37564]

そのレベルの要求にmysqlで間に合うのか？と思ったらやっぱ厳しいようだ。

[kijtra]

どうしてもMySQLでやらねばならん時は俺も年・月・日をそれぞれ別カラムにするなあ。

[okbm]

つらそう

[hpptms]

見ているだけで勉強になりました、小規模だとここまで細かくテーブル設計はした事なかったです。

[piro_suke]

1日に100万レコード増える場合のテーブル設計(18942)｜teratail

[regularexception]

どうしてもMySQLでやるなら、CODE毎か日毎にテーブル作ってしまったほうがいい気がするけど。

[hatakazu93]

技術