更严重的罪过：副作用或传递大量物体？

Question

我在函数内的循环内有一个函数。 内部函数获取并将一个大的数据向量存储在内存中（作为全局变量......我使用“R”，就像“S-Plus”）。 该循环循环遍历要采集的一长串数据。 外部函数启动该过程并传入要获取的数据集列表。

for (dataset in list_of_datasets) {
  for (datachunk in dataset) {
    <process datachunk>
    <store result? as vector? where?>
  }
}

我对内部函数进行了编程，以在移动到下一个数据集之前存储每个数据集，因此外部函数的所有工作都会对全局变量产生副作用……这是一个很大的禁忌。 这比收集并返回一个巨大的、占用内存的向量向量更好还是更糟？ 有没有更好的第三种方法？

如果我将数据向量存储在数据库而不是内存中，答案会改变吗？ 理想情况下，我希望能够终止该函数（或由于网络超时而失败），而不会丢失终止之前处理的所有信息。

Answer 1

第三种方法：内部函数返回对大数组的引用，然后循环内的下一个语句取消引用并存储在需要的地方（理想情况下使用单个指针存储，而不是通过内存复制整个数组）。

这消除了副作用和大型数据结构的传递。

Answer 2

在不知道所使用的语言/编译器的情况下很难明确地说。 但是，如果您可以简单地将指针/引用传递给您正在创建的对象，那么对象本身的大小与函数调用的速度无关。 以后处理这些数据可能会是一个不同的故事。

Answer 3

我不确定我是否理解这个问题，但我有几个解决方案。

1. 在函数内部，创建向量列表并返回该列表。

2. 在函数内部，创建一个环境并将所有向量存储在其中。 只要确保在出现错误时返回环境即可。

在 R 中：

help(environment)

# You might do something like this:

outer <- function(datasets) {
  # create the return environment
  ret.env <- new.env()
  for(set in dataset) {
    tmp <- inner(set)
    # check for errors however you like here.  You might have inner return a list, and
    # have the list contain an error component
    assign(set, tmp, envir=ret.env)
  }
  return(ret.env)
}

#The inner function might be defined like this

inner <- function(dataset) {
  # I don't know what you are doing here, but lets pretend you are reading a data file
  # that is named by dataset
  filedata <- read.table(dataset, header=T)
  return(filedata)
}

leif

Answer 4

在外部函数中使用变量而不是全局变量。 这可以让您充分利用两种方法：您不会改变全局状态，也不会复制大量数据。 如果必须提前退出，只需返回部分结果即可。

（请参阅 R 手册中的“范围”部分：http:// /cran.r-project.org/doc/manuals/R-intro.html#Scope)

Answer 5

记住你的高德纳。 “过早的优化是所有编程罪恶的根源。”

尝试无副作用版本。 看看它是否满足您的绩效目标。 如果是的话，那就太好了，你一开始就没有问题； 如果没有，则使用副作用，并为下一个程序员记下你的手是被迫的。

Answer 6

它不会对内存使用产生太大影响，因此您不妨使代码干净。

由于 R 对变量具有修改时复制功能，因此修改全局对象将与在返回值中传递某些内容具有相同的内存含义。

如果将输出存储在数据库（甚至文件）中，则不会遇到内存使用问题，并且数据将在创建时逐渐可用，而不是在最后才可用。 数据库是否更快主要取决于您使用了多少内存：垃圾收集的减少是否会弥补写入磁盘的成本。

R 中既有时间分析器又有内存分析器，因此您可以根据经验了解影响是什么。

Answer 7

仅供参考，这是一个完整的示例玩具解决方案，可以避免副作用：

outerfunc <- function(names) {
  templist <- list()
  for (aname in names) {
    templist[[aname]] <- innerfunc(aname)
  }
  templist
}

innerfunc <- function(aname) {
  retval <- NULL
  if ("one" %in% aname) retval <- c(1)
  if ("two" %in% aname) retval <- c(1,2)
  if ("three" %in% aname) retval <- c(1,2,3)
  retval
}

names <- c("one","two","three")

name_vals <- outerfunc(names)

for (name in names) assign(name, name_vals[[name]])