将缺失值替换为组平均值

Question

在iris dataframe中，我替换了丢失的值。 我想用petal_length在petal_length中替换缺失值。下面的代码确实有效（替换值之前和之后的手段相等），但是我怀疑必须有一种更有效的方法来执行此操作，该方法不会循环到每行，而仅在某些行值中丢失。同样，在更优化的解决方案中可能没有必要创建字典。有任何优化建议吗？

using CSV
using DataFrames
using Random
using Statistics
using StatsBase

download("https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv", "iris.csv")
iris = DataFrame(CSV.File("iris.csv", delim = ","))
allowmissing!(iris)

Random.seed!(20_000)
for i in 1:100
    iris[rand(1:nrow(iris)), rand(1:4)] = missing
end

Random.seed!(20_000)
iris[sample(1:nrow(iris), 10), :species] .= missing

mean_per_species = combine(groupby(iris, :species), :petal_length .=> mean∘skipmissing .=> :mean)
mean_per_species_dict = Dict(mean_per_species.species .=> mean_per_species.mean)

for row in eachrow(iris)
    if ismissing(row.petal_length)
        row.petal_length = mean_per_species_dict[row.species]
    end
end

Answer 1

这是您想要的（使用dataframesmeta.jl）：（

julia> @chain iris begin
           groupby(:species)
           @transform(:petal_length = coalesce.(:petal_length, mean(skipmissing(:petal_length))))
       end

现场变体将使用@transform！）

Answer 2

我认为我通过使用groupby找到了一种更优化的方法。

for group in groupby(iris, :species)
    group[ismissing.(group.petal_length), :petal_length] .= mean(skipmissing(group.petal_length))
end