Mysql慢查询：JOIN +多个 WHERES +订购依据

Question

潜伏好久了，第一个问题！

我正在努力优化这个查询，它选择与所选过滤器匹配的最低价格的商品：

SELECT product_info.*, MIN(product_all.sale_price) as sale_price, product_all.buy_link
FROM product_info
NATURAL JOIN (SELECT * FROM product_all WHERE product_all.date = '2010-09-30') as product_all
WHERE (product_info.category = 2  
AND product_info.gender = 'W' )
GROUP BY product_all.prod_id
ORDER BY MIN(product_all.sale_price) ASC LIMIT 13

它的解释：

| id | select_type | table        | type   | possible_keys                                             | key     | key_len | ref                 | rows   | Extra                           |  
+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+  
|  1 | PRIMARY     | <derived2>   | ALL    | NULL                                                     | NULL    | NULL    | NULL                | 89801  | Using temporary; Using filesort | 
|  1 | PRIMARY     | product_info | eq_ref | PRIMARY,category_prod_id_retail_price,category_ret...     | PRIMARY | 4       | product_all.prod_id | 1      | Using where                     | 
|  2 | DERIVED     | product_all  | ref    | date_2                                                    | date_2  | 3       |                     | 144107 |                                 | 

我已经尝试消除子查询，直观上看起来更好，但实际上需要更长的时间：

SELECT product_info.*, MIN(product_all.sale_price) as sale_price, product_all.buy_link
FROM product_info
NATURAL JOIN product_all
WHERE (product_all.date = '2010-09-30'
AND product_info.category = 2 
AND product_info.gender = 'W' )
GROUP BY product_all.prod_id
ORDER BY MIN(product_all.sale_price) ASC LIMIT 13

它的解释：

| id | select_type | table        | type | possible_keys                                             | key                      | key_len | ref                               | rows | Extra                                        |  
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+  
|  1 | SIMPLE      | product_info | ref  | PRIMARY,category_prod_id_retail_price,category_ret...     | category_retail_price    | 5       | const                             | 269  | Using where; Using temporary; Using filesort | 
|  1 | SIMPLE      | product_all  | ref  | PRIMARY,prod_id,date_2                                    | prod_id                  | 4       | equipster_db.product_info.prod_id | 141  | Using where                                  | 

这里是表格：

CREATE TABLE `product_all` (
`prod_id` INT( 10 ) NOT NULL PRIMARY KEY ,
`ref_id` INT( 10) NOT NULL PRIMARY KEY ,
`date` DATE NOT NULL ,
`buy_link` BLOB NOT NULL ,
`sale_price` FLOAT NOT NULL
) ENGINE = MYISAM ;


CREATE TABLE `product_info` (
`prod_id` INT( 10 ) NOT NULL AUTO_INCREMENT PRIMARY KEY ,
`prod_name` VARCHAR( 200 ) NOT NULL,
`brand` VARCHAR( 50 ) NOT NULL,
`retail_price` FLOAT NOT NULL
`category` INT( 3 ) NOT NULL,
`gender` VARCHAR( 1 ) NOT NULL,
`type` VARCHAR( 10 ) NOT NULL
) ENGINE = MYISAM ;

我的问题：
-哪种查询结构看起来是最佳的？
-哪些索引可以优化此查询？
-不太重要的是：当添加或删除 WHERE 子句或使用不同的 ORDER BY 时，索引方法如何改变，例如按 % off 排序：

ORDER BY (1-(MIN(product_all.sale_price)/product_info.retail_price)) DESC  

编辑：两个查询的自然联接都作用于 prod_id （一条记录）在product_info中可以有多个实例在product_all中，这就是为什么它们需要分组）

Answer 1

索引在 mysql 中产生了巨大的差异，一个查询需要 15 分钟，如果使用一组错误的索引，则需要 0.2 秒，而使用正确的索引则需要 0.2 秒，但找到正确的平衡通常是问题所在。当然，如果没有一些示例数据，很难说下面的解决方案是否会节省您的时间，但理论上它应该可以。

为了回答您的问题，我将重新设计表格，如下所示：

CREATE TABLE `product_all` ( 
`prod_id` INT( 10 ) NOT NULL, 
`ref_id` INT( 10) NOT NULL, 
`date` DATE NOT NULL , 
`buy_link` BLOB NOT NULL , 
`sale_price` FLOAT NOT NULL,
PRIMARY KEY (prod_id, ref_id) ,
INDEX date_Index (`date` ASC),
UNIQUE INDEX prod_price_Index (prod_id ASC, sale_price ASC)
) ENGINE = MYISAM ; 


CREATE TABLE `product_info` ( 
`prod_id` INT( 10 ) NOT NULL AUTO_INCREMENT, 
`prod_name` VARCHAR( 200 ) NOT NULL, 
`brand` VARCHAR( 50 ) NOT NULL, 
`retail_price` FLOAT NOT NULL, 
`category` INT( 3 ) NOT NULL, 
`gender` VARCHAR( 1 ) NOT NULL, 
`type` VARCHAR( 10 ) NOT NULL,
PRIMARY KEY (prod_id) ,
UNIQUE INDEX prod_id_name_Index (prod_id ASC, prod_name ASC),
INDEX category_Index (category ASC),
INDEX gender_Index (gender ASC)
) ENGINE = MYISAM ;

SELECT product_info.*, MIN(product_all.sale_price) as sale_price, product_all.buy_link         
FROM product_info         
NATURAL JOIN (SELECT * FROM product_all WHERE product_all.date = '2010-09-30') as product_all         
WHERE (product_info.category = 2           
AND product_info.gender = 'W' )         
GROUP BY product_all.prod_id         
ORDER BY MIN(product_all.sale_price) ASC LIMIT 13        

这里的性能增益是通过对正在连接的主要字段建立索引并在 where 子句中获得的。就我个人而言，我会选择您的第一个查询，因为当您认为它应该表现得更好时。

据我了解第一个和第二个查询中发生的情况：

• 第一个查询正在被过滤
  在执行之前的子查询
  自然连接，这意味着它是唯一的
  加入结果数据而不是
  整个桌子。
• 第二个查询是加入
  整个第二个表，然后
  过滤结果行
  一切回到你想要的。

根据经验，通常您希望在主要连接字段以及 where 子句中最常使用的字段上添加索引。我还在您想要定期查询的一些字段上放置了一些唯一索引，例如 prod_id_name_Index。

如果这不能提高您的性能，如果您可以发布一些虚拟数据来使用，我也许可以获得一个可以进行基准测试的更快的解决方案。

这里是一篇介绍 mysql 索引性能的文章，值得一读你想了解更多。

祝你好运！

编辑：我第一次错过了你的最后一个问题，答案是，如果你对主要连接字段建立索引，然后更改为 where 只会稍微影响整体性能，但我放在表上的唯一索引应该考虑到您想要查询的大部分内容。要记住的主要事情是，如果您频繁查询或连接某个字段，那么它确实应该被索引，但是您不应该担心重新调整索引策略方面的小查询和顺序更改。

Answer 2

就性能而言，使用它从来都不是一件好事

select *

您应该使用单独的列名称。

select column1,column2 etc...

Answer 3

就我个人而言，我是一个 sql 极简主义者，避免任何类型的子查询或无法索引到索引列的连接。

如果这实际上不可能，我可能会单独运行子查询来收集我的密钥，对它们进行客户端站点排序，然后构建一个 where in (...) 子句。

JohnVD 提出了很多好的观点，但如果您需要创建一个包含 Product_name 的唯一密钥，您应该真正看看是否可以将其标准化为 it。

如果可能的话，应不惜一切代价避免对 varchar 列建立索引。每个索引条目都与列的最大大小一样大，即使它们通常只是其中的一小部分。如果您使用像 utf-8 这样的字符集，那么大小约为 maxlen+3。

根据您的限制，似乎需要 order by 。但仅供参考，当您进行分组依据时，如果您要消耗整个结果集，请添加 ORDER BY NULL。通过解释运行这两个变体以查看原因；按 null 排序消除了隐含的文件排序，您可以在客户端进行排序。 （如果您使用汇总进行分组，则这是不可能的）

Answer 4

您应该坚持第二个查询。在列上使用索引可以最大限度地减少受影响的行。在这种情况下，它可能是日期。如果过滤条件始终包含多个列，您应该尝试多列索引。 MySQL 只会使用一个索引。

Answer 5

正如米奇所说，尝试找到自然会具有较少记录数的标准肯定会赢得性能。如果类别 + 性别非常常见，请将其作为两个列的索引。此外，一旦找到最佳标准，您可以更改以下查询以更好地匹配它。 “STRAIGHT_JOIN”告诉MySQL按照您指定的顺序执行操作，而不是尝试更改用于查询基础的主表并连接到另一个表...所以，我不知道哪个类别索引更准确、性别或日期...如果 Date 的记录基础较少，那么我会将其交换为 FROM 子句中的第一个表，并在心里将日期上的 IT 标准移动到 WHERE 子句的第一个位置（仅我个人）以在视觉上与表格保持同步）。我已经看到 STRAIGHT_JOIN 在许多看似简单查询的情况下显着提高了性能。

SELECT STRAIGHT_JOIN
      product_info.*, 
      MIN(product_all.sale_price) as sale_price, 
      product_all.buy_link 
   FROM 
      product_info,
      product_all 
   where 
          product_info.category = 2   
      AND product_info.gender = 'W'
      and product_info.prod_id = product_all.prod_id
      AND product_all.date = '2010-09-30'
   GROUP BY 
      product_info.prod_id 
   ORDER BY 
      MIN(product_all.sale_price) ASC 
   LIMIT 13