pandas按某2列进行分层随机抽样的实现_Python

在某些情况下，你可能需要按多列组合后的分组进行分层随机抽样。pandas 提供了灵活的数据操作方法，你可以使用 groupby 和 apply 方法结合 sample 来实现这种需求。具体来说，你可以先按多列分组，然后对每个分组进行随机抽样。

示例数据

首先，创建一个包含两列的数据 dataframe：

import pandas as pd

# 创建一个示例 dataframe
data = {
    'name': ['alice', 'bob', 'charlie', 'david', 'eve', 'frank', 'grace', 'hannah', 
             'alice', 'bob', 'charlie', 'david', 'eve', 'frank', 'grace', 'hannah'],
    'age': [25, 30, 35, 40, 45, 50, 55, 60, 25, 30, 35, 40, 45, 50, 55, 60],
    'city': ['new york', 'los angeles', 'chicago', 'houston', 'phoenix', 'philadelphia', 'san antonio', 'san diego',
             'new york', 'los angeles', 'chicago', 'houston', 'phoenix', 'philadelphia', 'san antonio', 'san diego'],
    'department': ['hr', 'finance', 'it', 'marketing', 'sales', 'r&d', 'admin', 'hr',
                   'finance', 'it', 'marketing', 'sales', 'r&d', 'admin', 'hr', 'finance']
}
df = pd.dataframe(data)

print(df)
# 输出：
#        name  age         city department
# 0     alice   25     new york         hr
# 1       bob   30  los angeles    finance
# 2   charlie   35      chicago         it
# 3     david   40      houston  marketing
# 4       eve   45      phoenix      sales
# 5     frank   50  philadelphia        r&d
# 6     grace   55   san antonio      admin
# 7    hannah   60     san diego         hr
# 8     alice   25     new york    finance
# 9       bob   30  los angeles         it
# 10  charlie   35      chicago  marketing
# 11    david   40      houston      sales
# 12      eve   45      phoenix        r&d
# 13    frank   50  philadelphia      admin
# 14    grace   55   san antonio         hr
# 15   hannah   60     san diego    finance

按两列分组并进行分层随机抽样

假设你希望按 city 和 department 列进行分组，并从每个组中随机抽取一个样本。你可以这样实现：

import pandas as pd

# 创建一个示例 dataframe
data = {
    'name': ['alice', 'bob', 'charlie', 'david', 'eve', 'frank', 'grace', 'hannah', 
             'alice', 'bob', 'charlie', 'david', 'eve', 'frank', 'grace', 'hannah'],
    'age': [25, 30, 35, 40, 45, 50, 55, 60, 25, 30, 35, 40, 45, 50, 55, 60],
    'city': ['new york', 'los angeles', 'chicago', 'houston', 'phoenix', 'philadelphia', 'san antonio', 'san diego',
             'new york', 'los angeles', 'chicago', 'houston', 'phoenix', 'philadelphia', 'san antonio', 'san diego'],
    'department': ['hr', 'finance', 'it', 'marketing', 'sales', 'r&d', 'admin', 'hr',
                   'finance', 'it', 'marketing', 'sales', 'r&d', 'admin', 'hr', 'finance']
}
df = pd.dataframe(data)

print(df)
# 按 'city' 和 'department' 列分组，并对每个分组随机抽取 1 行
sampled_df = df.groupby(['city', 'department']).apply(lambda x: x.sample(n=1, random_state=42)).reset_index(drop=true)

print(sampled_df)

具体步骤说明

按多列进行分组：使用 groupby(['city', 'department']) 按 city 和 department 两列进行分组。
对每个分组随机抽样：使用 apply 和 lambda 函数对每个分组调用 sample(n=1) 随机抽取一行。random_state 参数用于设置随机种子，以确保结果可重现。
重置索引：使用 reset_index(drop=true) 重置索引，以避免保留分组键的索引信息。

输出示例

根据样本数据的不同，输出可能会有所差异。以下是一个可能的输出示例：

name age city department
0 alice 25 los angeles finance
1 charlie 35 chicago it
2 frank 50 philadelphia r&d
3 hannah 60 san diego finance
4 bob 30 houston marketing
5 grace 55 san antonio hr
6 alice 25 new york hr
7 eve 45 phoenix sales
8 david 40 houston sales
9 charlie 35 chicago marketing
10 hannah 60 san diego hr
11 grace 55 san antonio admin
12 bob 30 los angeles it
13 david 40 new york finance
14 eve 45 phoenix r&d
15 frank 50 philadelphia admin