数以百万计的匿名 ASP.Net 配置文件？

Question

更新：我刚刚意识到我们正在使用 Google 迷你搜索来抓取网站，以便支持 Google 搜索。这必然不仅会为每次抓取甚至每个页面创建一个匿名配置文件 - 这可能吗？

大家好，需要一些建议！

我们的网站每天收到大约 50,000 次点击，并且我们使用匿名 ASP.Net 会员配置文件/用户，这导致数以百万计（目前为 450 万）的“活跃”配置文件，并且数据库正在“爬行”，我们每晚都有一个任务清理所有不活动的。

不可能我们有450万独立访客（我们县人口只有二分之一），难道是爬虫和蜘蛛造成的？

另外，如果我们必须忍受如此大量的配置文件，是否有优化数据库的方法？

谢谢凯夫

​

Answer 1

更新以下对话：

我可以建议您实现一个过滤器，可以通过请求标头识别爬虫，并记录当天晚些时候可以使用的匿名 cookie。解密并删除带有关联 UserId 的匿名 aspnet_profile 和 aspnet_users 记录。

您可能正在打一场失败的战斗，但至少您会清楚地了解所有流量来自何处。

---

AnonymousId cookie 和代理匿名配置文件在上次使用后 90 天内有效。这可能会导致匿名配置文件堆积。

处理此问题的一个非常简单的方法是使用 ProfileManager。

ProfileManager.DeleteInactiveProfiles(ProfileAuthenticationOption.Anonymous, DateTime.Now.AddDays(-7));

将清除过去 7 天内未访问过的所有匿名个人资料。

但这会在 aspnet_Users 中留下匿名记录。 Membership 不会公开类似于 ProfileManager 的方法来删除过时的匿名用户。

所以...

最好的选择是原始 sql 攻击，从您认为过时的 aspnet_Profile 中删除，然后在 IsAnonymous = 1 的 aspnet_User 上运行相同的查询。

祝你好运。一旦你把它清理干净，就留在上面。

---

更新的更新：

下面的代码仅在 IIS7 上有效，并且如果您通过 ASP.Net 传送所有请求，

您可以实现一个监视请求的模块 robots.txt并获取匿名 id cookie 并将其存储在机器人表中，您可以使用该表每晚安全地清除机器人元的会员资格/个人资料表。这可能会有所帮助。

示例：

using System;
using System.Diagnostics;
using System.Web;

namespace NoDomoArigatoMisterRoboto
{
    public class RobotLoggerModule : IHttpModule
    {
        #region IHttpModule Members

        public void Init(HttpApplication context)
        {
            context.PreSendRequestHeaders += PreSendRequestHeaders;
        }

        public void Dispose()
        {
            //noop
        }

        #endregion

        private static void PreSendRequestHeaders(object sender, EventArgs e)
        {
            HttpRequest request = ((HttpApplication)sender).Request;

            

            bool isRobot = 
                request.Url.GetLeftPart(UriPartial.Path).EndsWith("robots.txt", StringComparison.InvariantCultureIgnoreCase);

            string anonymousId = request.AnonymousID;

            if (anonymousId != null && isRobot)
            {
                // log this id for pruning later
                Trace.WriteLine(string.Format("{0} is a robot.", anonymousId));
            }
        }
    }
}

参考：http://www. codeproject.com/Articles/39026/Exploring-Web-config-system-web-httpModules.aspx

---

Answer 2

您可以尝试删除 Global.asax.cs 文件中 Session_End 事件中的匿名配置文件。

您的网站很可能正在被合法的搜索引擎爬虫和/或非法爬虫抓取，以寻找允许黑客控制您的网站/服务器的漏洞。无论您采用哪种解决方案来删除旧配置文件，您都应该研究这一点。

如果您使用默认的配置文件提供程序，它将所有配置文件信息保存在一列中，您可能需要阅读 此链接，指向 Scott Guthrie 的关于性能更好的基于表的配置文件提供程序的文章。