在downcast_iter和Polars中切片的偏移

Question

在Polars中，我看到的返回结果与使用系列切片并试图获得偏移时所期望的结果不同。

我正在创建一个系列，然后切片：

// Make a vec of 3 items, called foo, bar baz
let string_values: Vec<&str> = vec!["foo", "bar", "baz"];
// Add it to a series, this is without dataframes
let series = Series::new("string_values", string_values);

//shape: (3,)
// Series: 'string_values' [str]
// [
//  "foo"
//  "bar"
//  "baz"
// ]
println!("{:?}", series);

这返回了一个新系列。

然后，我可以使用downcast_iter（）获取偏移：

// Now we should be able to downcast iter to get the offsets.
// returns [0, 3, 6, 9]
// 0-3 = foo
// 3-6 = bar
// 6-9 = baz
series.utf8().unwrap().downcast_iter().for_each(|array| {
    println!("{:?}", array.offsets());
});

到目前为止很棒。

然后，我将其切成薄片：

//shape: (2,)
// Series: 'string_values' [str]
// [
//  "bar"
//  "baz"
// ]
let series_slice = series.slice(1, 2);
println!("{:?}", series_slice);

这返回正确的值。

然后，我尝试再次使用downcast_iter（）：

// Now we should be able to downcast iter to get the offsets for the slice.
// This returns [3, 6, 9]
// Is "foo" still referenced?
series_slice.utf8().unwrap().downcast_iter().for_each(|array| {
    println!("{:?}", array.offsets());
});

它返回3、6、9。为什么返回9？系列的长度为6。

Answer 1

可以共享箭头中的缓冲区。除了数据外，它们还具有offset和长度。

您的原始箭头字符串阵列包含以下数据：

data:     foobarbaz
offsets:  0, 3, 6, 9
offset:   0
length:   3

检索元素i使用pseudocode中的以下算法：

let offset = array.offset
let start_index = offsets[offset + i]
let end_index = offsets[offset + i + 1]

let string_value = data[start_index..end_index]

切片阵列时，我们不复制任何数据。我们仅更新offset和length，以便我们有所有信息来表示切片数组：

data:     foobarbaz
offsets:  0, 3, 6, 9
offset:   1
length:   2