融化或与大数据结合的内存

Question

当我尝试运行pd. -melt（）。
时，我发现了错误 我检查了这篇文章，并试图修改代码，但仍然遇到了错误。 （ link ）

这是我的原始代码：

melted = pd.melt(df, ['ID', 'Col2', 'Col3', 'Year'], var_name='New_Var', value_name='Value').sort_values('ID')

修改后：

pivot_list = list()
chunk_size = 100000
for i in range(0, len(df), chunk_size):
    row_pivot = pd.melt(df.iloc[i:i+chunk_size], ['ID', 'Col2', 'Col3', 'Year'], var_name='New_Var', value_name='Value')
    pivot_list.append(row_pivot)
melted = pd.concat(pivot_list).sort_values('ID')

multiprocessing.pool.RemoteTraceback: 
"""
Traceback (most recent call last):
  File /path/envs/myenvs/lib/python3.9/multiprocessing/pool.py", line 125, in worker
    result = (True, func(*args, **kwds))
  File "/path/envs/myenvs/lib/python3.9/multiprocessing/pool.py", line 51, in starmapstar
    return list(itertools.starmap(args[0], args[1]))
  File "/path/Current_Proj/Main_Dir/Python_Program.py", line 122, in My_Function
    melted = pd.concat(pivot_list).sort_values('ID')
  File "/path/envs/myenvs/lib/python3.9/site-packages/pandas/util/_decorators.py", line 311, in wrapper
    return func(*args, **kwargs)
  File "/path/envs/myenvs/lib/python3.9/site-packages/pandas/core/reshape/concat.py", line 307, in concat
    return op.get_result()
  File "/path/envs/myenvs/lib/python3.9/site-packages/pandas/core/reshape/concat.py", line 532, in get_result
    new_data = concatenate_managers(
  File "/path/envs/myenvs/lib/python3.9/site-packages/pandas/core/internals/concat.py", line 222, in concatenate_managers
    values = _concatenate_join_units(join_units, concat_axis, copy=copy)
  File "/path/envs/myenvs/lib/python3.9/site-packages/pandas/core/internals/concat.py", line 486, in _concatenate_join_units
    to_concat = [
  File "/path/envs/myenvs/lib/python3.9/site-packages/pandas/core/internals/concat.py", line 487, in <listcomp>
    ju.get_reindexed_values(empty_dtype=empty_dtype, upcasted_na=upcasted_na)
  File "/path/envs/myenvs/lib/python3.9/site-packages/pandas/core/internals/concat.py", line 466, in get_reindexed_values
    values = algos.take_nd(values, indexer, axis=ax)
  File "/path/envs/myenvs/lib/python3.9/site-packages/pandas/core/array_algos/take.py", line 108, in take_nd
    return _take_nd_ndarray(arr, indexer, axis, fill_value, allow_fill)
  File "/path/envs/myenvs/lib/python3.9/site-packages/pandas/core/array_algos/take.py", line 149, in _take_nd_ndarray
    out = np.empty(out_shape, dtype=dtype)
numpy.core._exceptions._ArrayMemoryError: Unable to allocate 27.1 GiB for an array with shape (2, 1819900000) and data type object
"""

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File /path/Current_Proj/Main_Dir/Python_Program.py", line 222, in <module>
    result = pool.starmap(My_Function, zip(arg1, arg2, arg3))
  File "/path/envs/myenvs/lib/python3.9/multiprocessing/pool.py", line 372, in starmap
    return self._map_async(func, iterable, starmapstar, chunksize).get()
  File "/path/envs/myenvs/lib/python3.9/multiprocessing/pool.py", line 771, in get
    raise self._value
numpy.core._exceptions.MemoryError: Unable to allocate 27.1 GiB for an array with shape (2, 1819900000) and data type object

我认为主要问题来自melt（）melt（）< /code>和concat（）零件。
任何要处理的想法都应该感谢。

Answer 1

通常，当您获得“ MemoryError：无法分配”错误时，这将属于请求重塑操作的“用户错误”类别，该操作太大而无法适合内存。

pd.-Melt是一种内存密集型操作，不仅需要为数据中的所有元素创建新数组，而且还将数据重塑为效率较低的格式，从而为当前值创建了许多重复。结果和内存惩罚将取决于数据的结构和值列的数量。

在闭合梅尔 ID_VARS 列中所有元素的数组，并重复由value_vars指定的所有列。

例如，如果您的DataFrame具有1M行和1000列，并且所有单元格为Float32，则数据框将在内存中占用约4GB。如果您然后尝试融化并指定4 id_vars，那么您将拥有4*1M ID单元格，每个单元将重复重复（996）次（996），为您提供4*1e6*996索引。此外，您将拥有一个带有1E6*996“变量”的列，最后是相同数量的“值”。您需要知道所有列名和单元格的数据类型的长度和dtype，但是即使所有值都是相对紧凑的float32s，这个简单的示例也会导致23 GB数组。

熔体是重塑小数据范围的有用便利功能。如果您有一个数据框架，该数据框在我在此示例中所说的尺寸接近的任何地方，我主要建议您不这样做，或者您确实需要这样的重塑，那么您需要认真对了解操作并以根据您的数据大小量身定制的方式来分解数据。您可能需要以迭代的方式写出数据，而不是尝试在结尾加成数据。这不是一个可以开箱即用的事情 - 期待一些试验＆amp;错误。您还可以考虑使用核心计算工具 - dask.dataframe 具有一个熔体的端口，可以利用多个内核并与磁盘并行写入。