具有 3000 万条目的表速度很慢。优化MySQL还是改用mongodb？

Question

我有一个简单的 mysql 数据库在一台服务器上运行，有两个表：产品和评论。产品表有大约 1000 万个条目，评论表有大约 3000 万个条目。

整个Db约为30Gb。我觉得它变得越来越慢，我想知道我该怎么办。我创建了索引，但没有帮助。例如，产品表有类别字段，当我执行一个简单的 select * from products where Category=2 时，速度很慢。

在这种情况下切换到 mongodb 对我有帮助吗？或者我可以通过某种方式优化 Mysql 来解决这个问题？在这种情况下，我应该进行分片还是表的大小不是那么大，并且可以通过其他方式进行优化？

表和 my.cnf

CREATE TABLE IF NOT EXISTS `products` (
  `id` int(11) NOT NULL auto_increment,
  `product_title` varchar(1000) NOT NULL,
  `product_id` varchar(100) NOT NULL,
  `title` varchar(1000) NOT NULL,
  `image` varchar(1000) NOT NULL,
  `url` varchar(1000) NOT NULL,
  `price` varchar(100) NOT NULL,
  `reviews` int(11) NOT NULL,
  `stars` float NOT NULL,
  `BrowseNodeID` int(11) NOT NULL,
  `status` varchar(100) NOT NULL,
  `started_at` int(15) NOT NULL,
  PRIMARY KEY  (`id`),
  KEY `id_index` (`BrowseNodeID`),
  KEY `status_index` (`status`),
  KEY `started_index` (`started_at`),
  KEY `id_ind` (`id`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=13743335 ;


CREATE TABLE IF NOT EXISTS `reviews` (
  `id` int(11) NOT NULL auto_increment,
  `product_id` varchar(100) NOT NULL,
  `product_title` varchar(1000) NOT NULL,
  `review_title` varchar(1000) NOT NULL,
  `content` varchar(5000) NOT NULL,
  `author` varchar(255) NOT NULL,
  `author_profile` varchar(1000) NOT NULL,
  `stars` float NOT NULL,
  `owner` varchar(100) NOT NULL,
  PRIMARY KEY  (`id`),
  KEY `product_id` (`product_id`),
  KEY `id_index` (`product_id`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=48129737 ;

my.cnf 中的一些信息

set-variable    = query_cache_size=1512M
set-variable    = thread_cache_size=8
thread_concurrency = 8
skip-innodb
low-priority-updates
delay-key-write=ALL

key_buffer_size = 100M
max_allowed_packet = 1M
#table_open_cache = 4048
sort_buffer_size = 2M
read_buffer_size = 2M
read_rnd_buffer_size = 8M
myisam_sort_buffer_size = 50M
set-variable    = table_cache=256
set-variable    = query_cache_limit=1024M
set-variable    = query_cache_size=1024M

Answer 1

根据您的 my.cnf，您的 key_buffer_size 似乎太小，因此您每次读取时都会写入磁盘。理想情况下，该值应设置为大于 MyISAM 索引的总大小。

在更改数据库技术之前，您可能还需要考虑将表类型更改为 InnoDB。您的 my.cnf 已将其禁用，现在。我从具有智能索引和足够内存的 300M 行表中获得了相当出色的性能。 InnoDB 还将为您提供更长运行读取的余地，因为它们不会锁定整个表。