使用最频繁的值按组填充缺失的值

Fill missing values by group using most frequent value(使用最频繁的值按组填充缺失的值)
本文介绍了使用最频繁的值按组填充缺失的值的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在尝试使用一个组的pandas模块使用最频繁的值来计算缺失值。在查看了一些关于堆栈溢出的帖子后,我设法做到了这一点:

import numpy as np
import pandas as pd

df = pd.DataFrame({"group": ["A", "A", "A", "A", "B", "B", "B"],
                   "value": [1, 1, 1, np.nan, 2, np.nan, np.nan]})
df.groupby("group").transform(lambda x: x.fillna(x.mode().iloc[0]))
运行此代码将用1填充A";组的缺失条目,用2同时填充B";组的缺失条目。但是,让我们假设其中一个组只包含缺少的数据(在本例中为组B&q;):
df1 = pd.DataFrame({"group": ["A", "A", "A", "A", "B", "B", "B"],
                   "value": [1, 1, 1, np.nan, np.nan, np.nan, np.nan]})
df1.groupby("group").transform(lambda x: x.fillna(x.mode().iloc[0]))
运行上面的代码将提示IndexError: single positional indexer is out-of-bounds。我希望正常的行为是保留np.nan,因为如果您运行方法mode,比如说,group";B";fromdf1

df1[df1.group == "B"].mode()

我会得到NaN是最常见的值。如何避免此问题?

推荐答案

运行上面的代码将提示IndexError:单一位置索引器越界

这是因为transform将每一列作为系列传递,并且在某个时刻它将单独看到value列;如果您这样做:

df1[df1.group == "B"].value.mode()

您将获得

Series([], dtype: float64)

因此,索引越界错误,因为它为空,iloc[0]不存在。

OTOH,当您这样做时:

df1[df1.group == "B"].mode()

mode是在数据帧而不是序列上计算的, pandas 决定在全NaN列,即这里的value列上给出NaN。

因此,一种补救方法是使用apply而不是transform将数据帧而不是单个系列传递给lambda

df1.groupby("group").apply(lambda x: x.fillna(x.mode().iloc[0])).reset_index(drop=True)

获取

  group  value
0     A    1.0
1     A    1.0
2     A    1.0
3     A    1.0
4     B    NaN
5     B    NaN
6     B    NaN

这篇关于使用最频繁的值按组填充缺失的值的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)
cannot use geometry manager pack inside . which already has slaves managed by grid(无法在内部使用几何管理器包。它已经拥有由网格管理的从属对象)
Is there any way to quot;extractquot; the dtype conversion functionality from pandas read_csv?(有没有办法从 pandas Read_CSV中提取数据类型转换功能?)
Highlighting rows based on a condition(根据条件突出显示行)