我要评论import pandas as pd
- 轴向连接(concatenation):
pd.concat()可以沿一个轴将多个dataframe对象连接在一起, 形成一个新的dataframe对象 - 融合（merging）：
pd.merge()方法可以根据一个或多个键将不同dataframe中的行连接起来。
concat() 轴向连接
concat() 函数可以将数据根据不同的轴作进行合并
pd.concat(objs, axis=0, join='outer')
objs: series、dataframe或者是panel构成的序列listaxis： 需要合并链接的轴，0是行，1是列，默认是0join：连接的方式 inner，或者outer，默认是outer
准备数据
dict1={
'a': ['a0', 'a1', 'a2', 'a3'],
'b': ['b0', 'b1', 'b2', 'b3'],
'c': ['c0', 'c1', 'c2', 'c3']}
df1=pd.dataframe(dict1)
print(df1)
dict2={
'b': ['b0', 'b1', 'b2', 'b3'],
'c': ['c0', 'c1', 'c2', 'c3'],
'd': ['d0', 'd1', 'd2', 'd3']}
df2=pd.dataframe(dict2)
print(df2)
合并
join的值 inner ，得到的是两表的交集，如果是outer，得到的是两表的并集
(1) join='outer'，axis=0
- 当join=‘outer’，axis参数为0时，列进行并集处理，纵向表拼接，缺失值由nan填充，并且会保留原有数据的行索引
pd.concat([df1, df2], axis=0, join='outer', sort=true) # 我没加 sort=true 会报一个警告
| a | b | c | d | |
|---|---|---|---|---|
| 0 | a0 | b0 | c0 | nan |
| 1 | a1 | b1 | c1 | nan |
| 2 | a2 | b2 | c2 | nan |
| 3 | a3 | b3 | c3 | nan |
| 0 | nan | b0 | c0 | d0 |
| 1 | nan | b1 | c1 | d1 |
| 2 | nan | b2 | c2 | d2 |
| 3 | nan | b3 | c3 | d3 |
- 如果两个表的index都没有实际含义, 使用
ignore_index参数置为 true, 重新生成一个新的index
pd.concat([df1,df2],axis=0,join='outer',ignore_index=true, sort=true) # 我没加 sort=true 会报一个警告
| a | b | c | d | |
|---|---|---|---|---|
| 0 | a0 | b0 | c0 | nan |
| 1 | a1 | b1 | c1 | nan |
| 2 | a2 | b2 | c2 | nan |
| 3 | a3 | b3 | c3 | nan |
| 4 | nan | b0 | c0 | d0 |
| 5 | nan | b1 | c1 | d1 |
| 6 | nan | b2 | c2 | d2 |
| 7 | nan | b3 | c3 | d3 |
(2)join='outer'，axis=1
- 当join=‘outer’，axis参数为1时，行进行并集处理，横向表拼接，缺失值由nan填充
pd.concat([df1,df2],axis=1,join='outer', sort=true) # 我没加 sort=true 会报一个警告
| a | b | c | b | c | d | |
|---|---|---|---|---|---|---|
| 0 | a0 | b0 | c0 | b0 | c0 | d0 |
| 1 | a1 | b1 | c1 | b1 | c1 | d1 |
| 2 | a2 | b2 | c2 | b2 | c2 | d2 |
| 3 | a3 | b3 | c3 | b3 | c3 | d3 |
(3) join=inner, axis=0
pd.concat([df1,df2],axis=0,join='inner',ignore_index=true)
| b | c | |
|---|---|---|
| 0 | b0 | c0 |
| 1 | b1 | c1 |
| 2 | b2 | c2 |
| 3 | b3 | c3 |
| 4 | b0 | c0 |
| 5 | b1 | c1 |
| 6 | b2 | c2 |
| 7 | b3 | c3 |
merge() 融合
merge(left, right, how='inner', on=none)
参数介绍
- left和right, 两个要合并的dataframe(对应的左连接和右连接)
how: 连接的方式, 有inner(内连接)、left(左连接)、right(右连接)、outer(外连接), 默认为 inneron: 指的是用于连接的列索引名称, 必须存在于左右两个dataframe中, 如果没有指定且其他参数也没有指定,则两个dataframe列名交集作为连接键
import pandas as pd
left = pd.dataframe({'key':['a','b','b','d'],'data1':range(4)})
print(left)
right = pd.dataframe({'key':['a','b','c'],'data2':range(3)})
print(right)
key data1 0 a 0 1 b 1 2 b 2 3 d 3 key data2 0 a 0 1 b 1 2 c 2
inner(内连接)
- merge()默认做inner连接，并且使用两个dataframe的列名交集（key）作为连接键，同样，最终连接的数据也是两个dataframekey列数据的交集
pd.merge(left,right)
| key | data1 | data2 | |
|---|---|---|---|
| 0 | a | 0 | 0 |
| 1 | b | 1 | 1 |
| 2 | b | 2 | 1 |
outer (外连接)
- 当merge()做outer连接时最终连接的数据是两个dataframekey列数据的并集，缺失的内容由nan填充
pd.merge(left,right,on=['key'],how='outer')
| key | data1 | data2 | |
|---|---|---|---|
| 0 | a | 0.0 | 0.0 |
| 1 | b | 1.0 | 1.0 |
| 2 | b | 2.0 | 1.0 |
| 3 | d | 3.0 | nan |
| 4 | c | nan | 2.0 |
left(左连接)
- 当merge()做left连接时，最终连接的数据将以left数据的链接建为准合并两个数据的列数据，缺失的内容由nan填充
pd.merge(left,right,on=['key'],how='left')
| key | data1 | data2 | |
|---|---|---|---|
| 0 | a | 0 | 0.0 |
| 1 | b | 1 | 1.0 |
| 2 | b | 2 | 1.0 |
| 3 | d | 3 | nan |
right (右连接)
- 当merge()做right连接时，最终连接的数据将以right数据的链接建为准合并两个数据的列数据，缺失的内容由nan填充
pd.merge(left,right,on=['key'],how='right')
| key | data1 | data2 | |
|---|---|---|---|
| 0 | a | 0.0 | 0 |
| 1 | b | 1.0 | 1 |
| 2 | b | 2.0 | 1 |
| 3 | c | nan | 2 |
应用场景
例如：
- 现在有两张表格分别存储了9月和10月份的成交信息，
- 那么这个时候我们就可以使用concat( )将两个表沿着0轴合并
例如：
- 现在有两张表格，一个是成交信息，包含订单号、金额、客户id等信息；
- 第二个是客户信息，包含客户id、姓名、电话号等信息，那么这个时候我们就可以使用merge()根据客户id将两个表合并成一个完整的表
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持代码网。
发表评论