查找 sharepoint 2010 中的所有重复文档

Question

当我们对共享点实例执行一些搜索时，我们会在搜索结果中看到一些文件的“查看重复项”链接。

有没有办法报告所有这些重复项？

我看到这里有一个 SQL 根据 md5 哈希值查找重复项： http://social.technet.microsoft.com/forums/en-US/sharepointsearch/thread/8a8b25d9-a3ac-45df-86de-2a3a7838a534 我已更正此处的 SharePoint 2010 兼容性 SQL：

-- Step1 : get all files with short names, md5 signatures, and size
SELECT  md5 ,
        RIGHT(DisplayURL, CHARINDEX('/', REVERSE(DisplayURL)) - 1) AS ShortFileName ,
        DisplayURL AS Url ,
        llVal / 1024 AS FileSizeKb
INTO    #listingFilesMd5Size
FROM    SearchServiceApplication_CrawlStore.dbo.MSSCrawlURL y
        INNER JOIN SearchServiceApplication_PropertyStore.dbo.MSSDocProps dp ON ( y.DocID = dp.DocID )
WHERE   dp.pid = 58 -- File size
        AND llVal > 1024 * 10 -- 10 Kb minimum in size
        AND md5 <> 0
        AND CHARINDEX('/', REVERSE(DisplayURL)) > 1

-- Step 2: Filter duplicated items

SELECT  COUNT(*) AS NbDuplicates ,
        md5 ,
        ShortFileName ,
        FileSizeKb
INTO    #duplicates
FROM    #listingFilesMd5Size
GROUP BY md5 ,
        ShortFileName ,
        FileSizeKb
HAVING  COUNT(*) > 1
ORDER BY COUNT(*) DESC

DROP TABLE #listingFilesMd5Size

-- Step3 : show the report with search URLs

SELECT  *,
        NbDuplicates * FileSizeKb AS TotalSpaceKb ,
        'http://srv-moss/SearchCenter/Pages/results.aspx?k=' + ShortFileName AS SearchUrl
FROM    #duplicates
--ORDER BY NbDuplicates * FileSizeKb DESC

DROP TABLE #duplicates

但这仅匹配精确的重复项，而我对 SharePoint 认为基于搜索结果中的“查看重复项”链接的重复项感兴趣。

我已经看到有托管属性“DuplicateHash”，但这没有在任何地方记录，并且我找不到通过对象模型访问它的方法。

谢谢

Answer 1

你不应该直接查询数据库，你可能会让自己处于不受支持的状态。

关于重复项：“搜索重复项”与哈希无关。这是通过比较文档向量（主要是术语和术语数量）的搜索引擎索引来处理的。

您可以尝试查找一个 FQL（如果使用“快速”，否则使用“搜索 QL”）查询来提供结果，但我不确定这是否可行。

Answer 2

使用此处提到的 powershell 脚本：

https://www.nothingbutsharepoint.com/sites/devwiki/articles/pages/finding-duplicate-documents-in-sharepoint-2010.aspx

http://blog.pointbeyond.com/2011/08/24/finding-duplicate-documents-in -sharepoint-using-powershell/