转换嵌套列表而不复制或丢失精度

Question

我正在使用 Mathematica 7 来处理大型数据集。该数据集是有符号整数的三维数组。这三个级别可以被认为对应于每次射击 X 点、每次扫描 Y 次射击以及<每组扫描 Z 次。

我还有一个“归零”镜头（包含X点，它们是整数的有符号分数），我想从数据集中的每个镜头中减去它。之后，我将不再需要原始数据集。

如何执行此转换而不在此过程中创建数据集或其部分的新副本？从概念上讲，数据集位于内存中，我想扫描每个元素，并在内存中的该位置更改它，而不是将其永久复制到其他内存位置。

以下独立代码捕获了我想要做的所有方面：（

(* Create some offsetted data, and a zero data set. *)
myData = Table[Table[Table[RandomInteger[{1, 100}], {k, 500}], {j, 400}], {i, 200}];
myZero = Table[RandomInteger[{1, 9}]/RandomInteger[{1, 9}] + 50, {i, 500}];

(* Method 1 *)
myData = Table[
   f1 = myData[[i]];
   Table[
     f2 = f1[[j]];
     f2 - myZero, {j, 400}], {i, 200}];

(* Method 2 *)
Do[
 Do[
  myData[[i]][[j]] = myData[[i]][[j]] - myZero, {j, 400}], {i, 200}]

(* Method 3 *)
Attributes[Zeroing] = {HoldFirst};
Zeroing[x_] := Module[{}, 
   Do[
     Do[
       x[[i]][[j]] = x[[i]][[j]] - myZero, {j, Length[x[[1]]]}
       ], {i, Length[x]}
     ]
 ];

注意：向 Aaron Honecker 的方法 #3。）

在我的机器上（Intel Core2 Duo CPU 3.17 GHz、4 GB RAM、32 位 Windows 7），所有三种方法大约使用 1.25 GB 内存，#2 和 #3 整流罩稍好一些。

如果我不介意失去精度，在创建时将 N[ ] 包裹在 myData 和 myZero 的内部会增加它们的大小最初占用内存 150 MB，但将归零（通过上面的方法 #1-#3）所需的内存量从 1.25 GB 减少到仅 300 MB！这是我的工作解决方案，但很高兴知道处理这个问题的最佳方法。

Answer 1

不幸的是，我现在时间不多，所以我必须简洁......

在处理大数据时，您需要知道 Mathematica 有一种不同的存储格式，称为压缩数组，它更加紧凑，并且更加紧凑。比常规的更快，但仅适用于机器实数或整数。

如果这不会自动发生，请评估 ?Developer`*Packed* 以查看哪些函数可用于直接与它们进行相互转换。

因此，为什么我的解决方案速度快且内存效率高，其背后的简要解释是它使用打包数组。我使用 Developer`PackedArrayQ 进行了测试，我的数组永远不会被解包，并且我使用了机器实数（我将 N[] 应用于所有内容）

In[1]:= myData = N@RandomInteger[{1, 100}, {200, 400, 500}];

In[2]:= myZero = 
  Developer`ToPackedArray@
   N@Table[RandomInteger[{1, 9}]/RandomInteger[{1, 9}] + 50, {i, 500}];

In[3]:= myData = Map[# - myZero &, myData, {2}]; // Timing

Out[3]= {1.516, Null}

此外，您要求的操作（ “我想扫描每个元素，并在内存中的该位置更改它”）称为映射（请参阅 Map[] 或 /@）。

Answer 2

首先我要指出的是，这个答案必须被视为对 @Szabolcs 的答案的补充，在我看来，后者是更好的选择。虽然 @Szabolcs 的解决方案可能是最快和最好的整体解决方案，但它不符合原始规范，因为 Map 返回原始列表的（修改后的）副本，而不是“扫描每个元素，然后在内存中的该位置更改它”。 AFAIK 这种行为仅由 Part 命令提供。我将使用他的想法（将所有内容转换为打包数组）来显示对原始列表进行内存中更改的代码：

In[5]:= 
Do[myData[[All,All,i]]=myData[[All,All,i]]- myZero[[i]],
     {i,Last@Dimensions@myData}];//Timing

Out[5]= {4.734,Null}

这在概念上等同于问题中列出的方法 3，但运行速度更快，因为这是部分矢量化的解决方案，并且只需要一个循环。然而，这仍然比 @Szabolcs 的解决方案慢至少一个数量级。

理论上，这似乎是一个经典的速度/内存权衡：如果您需要速度并有一些备用内存，@Szabolcs 的解决方案就是最佳选择。如果您的内存要求很高，理论上这种较慢的方法将节省中间内存消耗（在@Szabolcs的方法中，原始列表在< code>myData 被分配了 Map 的结果，因此最终的内存使用量是相同的，但是在计算过程中，多了一个大小为<的数组code>myData 由以下人员维护地图）。

然而，实际上，内存消耗似乎并不小，因为在这两种情况下，由于某种原因，Out 变量中都维护了列表的额外副本在计算期间（或之后），即使输出被抑制（也可能这种效果并不在所有情况下都表现出来）。我还不太明白这一点，但我目前的结论是，@Szabolcs 的方法在中级内存消耗方面与当前基于就地列表修改的方法一样好。因此，他的方法似乎在所有情况下都是可行的，但我仍然决定发布这个答案作为补充。