将词典与熊猫/pyarrow一起使用天然钥匙

Question

我正在使用Parquet文件格式存储以CSV格式收到的结构化版本的原始数据。为此，我使用熊猫执行数据框架操作，然后Pyarrow以镶木式格式保存数据框架。我还使用Pyarrow架构作为执行某种级别数据验证的手段。

我在这里的挑战是将字符串列转换为分类数据类型，最好是要在原始数据中维护原始代码。例如，如果原始数据具有列性别{“ m”，“ f”}，我想使用“ m”作为的代码， /code>和“ f”作为的代码“女性”。我不想使用pd.categorical ie 0，1的数值代码。从Kimball方法论角度来看，这可能不是最好的做法，该角度提倡使用代理密钥，而不是天然钥匙我现在想实现的目标。

在下面的示例中，我具有imployeecategory {“ sr”，“ c”，“ m”}的代码数据。是否可以仅存储原始的implyeecategory，但将其表示为分类并将其映射存储在某个地方，以作为parquet metadata？

import pandas as pd
import pyarrow as pa

df = pd.DataFrame(
{
    'Name': ['John', 'James', 'Jack', 'Jonathan', 'Jerry', 'Joseph'],
    'EmployeeCategory': ["SR","C","M","SR","M",pd.NA]
})

employeeCategoryMap = {
    "SR": "Senior",
    "C": "Consultant",
    "M": "Manager"
}

df['EmployeeCategoryDescription'] = df['EmployeeCategory'].map(employeeCategoryMap).fillna(pd.NA)

schema = pa.schema([
    pa.field('Name', pa.string()),
    pa.field('EmployeeCategory', pa.string()),
    pa.field('EmployeeCategoryDescription', pa.string())
])

tbl = pa.Table.from_pandas(df, schema)

pq.write_table(tbl, 'test.parquet')

Answer 1

我尚不清楚员工类别地图的来源。但是，如果您的目标是将其与列一起存储以供以后使用，则可以使用现场元数据。 在这里是一个完整的示例。

相关的作品是：

将元数据存储在现场元数据中。

table = pa.Table.from_pandas(df)
// Field metadata is a map from byte string to byte string
// so we need to serialize the map somehow.  Assuming it is
// a fairly simple map then json should work fine.
mapJson = json.dumps(employeeCategoryMap).encode('utf8')
// Fields and tables are immutable so we get a new field and then
// use it to create a new table.  I used 'categories' as a key but
// you can use whatever you want and you might want to namespace it
// with your project / company name for uniqueness
annotated_field = table.field('EmployeeCategory').with_metadata({b'categories': mapJson})
// Replacing a field requires the index but you could easily find that
// by name
annotated_table = table.set_column(1, annotated_field, table.column(1))

检索和应用类别

// We could grab the field directly but I'm pretending you have
// multiple fields with descriptions and don't know ahead of time
// which fields they are
for field in table_from_file.schema:
    field_metadata = field.metadata
    // Make sure to use b'' strings as keys
    if field_metadata is not None and b'categories' in field_metadata:
        // Deserialize the category information
        categories = json.loads(field_metadata[b'categories'])
        df[f'{field.name}Description'] = df[field.name].map(categories).fillna(pd.NA)