线程池内存不足异常

Question

我在以下代码中不断收到内存不足异常，我想知道是否可以采取一些措施来阻止这种情况发生。

  private static List<string> MyIds { get; set; }
  private static object LockObject { get; set; }
  private static int Counter { get; set; }
  private static readonly NumOfThreads = 5;

  static void Main(string[] args)
  {
      try
      {
          Console.Clear();
          LockObject = new object();
          // Pull id's into memory (A list of around 1 million ids)
          MyIds = _repository.GetIds();
          for (int i = 0; i < NumOfThreads ; i++)
                ThreadPool.QueueUserWorkItem(new WaitCallback(DoWork), (object)i);

       }
       catch (Exception ex)
       {
           Console.WriteLine(ex.StackTrace);
       }
   }

   public static void DoWork(Object stateInfo)
   {
        while (MyList.Count > 0)
        {
            lock (LockObject)
            {
                if (MyList.Count == 0)
              return;

             string id = MyList[0];

          var record = _repository.GetRecord(id);
             _repository.Add(record);

          Counter++;
          if (Counter % 100 == 0)
                            System.Console.WriteLine(DateTime.Now + " - Imported " + Counter.ToString() + " Records..");

                MyList.RemoveAt(0);
            }
        }
    }

感谢您的帮助

Answer 1

您将从列表的开头删除，这将导致生成新列表并将旧列表复制到其中。鉴于您正在处理，这将对大型对象堆造成严重破坏包含大量元素的列表。

如果必须使用这种类型的设计以相反的方向删除项目，这将阻止复制列表的底层数组，即从末尾向开头删除。

更好的设计是使用通过 Interlocked.Increment 递增的计数器，并使用它来访问列表中的成员。您可以安全地执行此操作，因为创建列表后就不会更改列表。

更新

来自我的评论

您正在序列化对 DoWork 中所有代码的访问，因此使用多个线程是没有意义的。

类似下面的内容将避免从 ID 列表中删除的问题，并且允许您同时从存储库中检索项目，从而利用这些额外的线程。不过，这对我来说是需要衡量的——添加线程并不能保证性能的提高。

另外，如果您的“_repository”是一个集合，请确保将其大小设置为与 ID 列表大小相同。随着添加项目时集合的增长，这将防止大量的中间数组复制。

    private static int _counter = -1;

    public static void DoWork(Object stateInfo)
    {
        int index;

        while ((index = Interlocked.Increment(ref _counter)) < MyList.Count)
        {
            string id = MyList[index];

            var record = _repository.GetRecord(id);

            lock (LockObject)
            {                    
                _repository.Add(record);
            }

            if (index % 100 == 0)
                Console.WriteLine(DateTime.Now + " - Imported " + (index + 1) + " Records..");
        }
    }