熊猫的剪接、合并和拼接功能概述

pandas中数据的合并方案主要有concat,merge,join等函数。

其中concat主要是根据索引进行行或列的拼接，只能取行或列的交集或并集。
merge主要是根据共同列或者索引进行合并，可以取内连接，左连接、右连接、外连接等。
join的功能跟merge类似，因此不再赘述。

import pandas as pd from pandas import Series,DataFrame # 定义一个函数，根据行和列名对元素设置值 def make_df(cols,inds): data = {c:[c+str(i) for i in inds] for c in cols} return DataFrame(data,index=inds) df1 = make_df(list('abc'),[1,2,4]) df1

.dataframe tbody tr th:only-of-type { vertical-align: middle }
{ vertical-align: top }
.dataframe thead th { text-align: right }

a b c 1 a1 b1 c1 2 a2 b2 c2 4 a4 b4 c4 df2 = make_df(list('abcd'),[2,4,6]) df2

.dataframe tbody tr th:only-of-type { vertical-align: middle }
{ vertical-align: top }
.dataframe thead th { text-align: right }

a b c d 2 a2 b2 c2 d2 4 a4 b4 c4 d4 6 a6 b6 c6 d6 df11=df1.set_index('a') df22=df2.set_index('a')

1. concat函数

axis :默认为0，为按行拼接；1 为按列拼接
ignore_index: 默认为False,会根据索引进行拼接；True 则会忽略原有索引，重建新索引
join: 为拼接方式，包括 inner,outer
sort: True 表示按索引排序

(1) 简单的按索引的行列拼接

# 按行拼接 pd.concat([df1,df2],sort=False)

.dataframe tbody tr th:only-of-type { vertical-align: middle }
{ vertical-align: top }
.dataframe thead th { text-align: right }

a b c d 1 a1 b1 c1 NaN 2 a2 b2 c2 NaN 4 a4 b4 c4 NaN 2 a2 b2 c2 d2 5 a5 b5 c5 d5 6 a6 b6 c6 d6 # 按列拼接 pd.concat([df1,df2],axis=1)

.dataframe tbody tr th:only-of-type { vertical-align: middle }
{ vertical-align: top }
.dataframe thead th { text-align: right }

a b c a b c d 1 a1 b1 c1 NaN NaN NaN NaN 2 a2 b2 c2 a2 b2 c2 d2 4 a4 b4 c4 NaN NaN NaN NaN 5 NaN NaN NaN a5 b5 c5 d5 6 NaN NaN NaN a6 b6 c6 d6

(2）去掉原索引的拼接

# 按行拼接，去掉原来的行索引重新索引 pd.concat([df1,df2],sort=False,ignore_index=True)

.dataframe tbody tr th:only-of-type { vertical-align: middle }
{ vertical-align: top }
.dataframe thead th { text-align: right }

a b c d 0 a1 b1 c1 NaN 1 a2 b2 c2 NaN 2 a4 b4 c4 NaN 3 a2 b2 c2 d2 4 a5 b5 c5 d5 5 a6 b6 c6 d6 # 按列拼接，去掉原来的列索引重新索引 pd.concat([df1,df2],axis=1,ignore_index=True)

.dataframe tbody tr th:only-of-type { vertical-align: middle }
{ vertical-align: top }
.dataframe thead th { text-align: right }

0 1 2 3 4 5 6 1 a1 b1 c1 NaN NaN NaN NaN 2 a2 b2 c2 a2 b2 c2 d2 4 a4 b4 c4 NaN NaN NaN NaN 5 NaN NaN NaN a5 b5 c5 d5 6 NaN NaN NaN a6 b6 c6 d6

(3)指定连接方式的拼接

拼接方式有 inner,outer

# 交集,inner join pd.concat([df1,df2],sort=False,join='inner')

.dataframe tbody tr th:only-of-type { vertical-align: middle }
{ vertical-align: top }
.dataframe thead th { text-align: right }

a b c 1 a1 b1 c1 2 a2 b2 c2 4 a4 b4 c4 2 a2 b2 c2 5 a5 b5 c5 6 a6 b6 c6 # 并集,outer join pd.concat([df1,df2],sort=False,join='outer')

.dataframe tbody tr th:only-of-type { vertical-align: middle }
{ vertical-align: top }
.dataframe thead th { text-align: right }

a b c d 1 a1 b1 c1 NaN 2 a2 b2 c2 NaN 4 a4 b4 c4 NaN 2 a2 b2 c2 d2 5 a5 b5 c5 d5 6 a6 b6 c6 d6

2.merge函数

how：数据合并的方式。left：基于左dataframe列的数据合并；right：基于右dataframe列的数据合并；outer：基于列的数据外合并（取并集）；inner：基于列的数据内合并（取交集）；默认为'inner'。
on：基于相同列的合并
left_on/right_on：左/右dataframe合并的列名。
left_index/right_index：是否以index作为数据合并的列名，True表示是。可与left_on/right_on合并使用
sort：根据dataframe合并的keys排序，默认是。
suffixes：若有相同列且该列没有作为合并的列，可通过suffixes设置该列的后缀名，一般为元组和列表类型。

(1) 基于相同列的合并

df3 = pd.merge(df1,df2,how='inner',on='a') # 基于单列的合并 df4 = pd.merge(df1,df2,how='inner',on=['a','b']) # 基于多列的合并 df5 = pd.merge(df1,df2,how='left',on='a',suffixes=['_1','_2']) # 左连接,且指定后缀 df5

.dataframe tbody tr th:only-of-type { vertical-align: middle }
{ vertical-align: top }
.dataframe thead th { text-align: right }

a b_1 c_1 b_2 c_2 d 0 a1 b1 c1 NaN NaN NaN 1 a2 b2 c2 b2 c2 d2 2 a4 b4 c4 b4 c4 d4

(2) 基于不同列名，或者列和索引，或者索引和索引间的合并

df6 = pd.merge(df1,df2,how='inner',left_on='a',right_on='b') # 基于不同列名 df7 = pd.merge(df1,df22,how='inner',left_on='a',right_index=True) #基于列和索引 df8 = pd.merge(df1,df2,how='inner',left_index=True,right_index=True) #基于两边都是索引 df8

.dataframe tbody tr th:only-of-type { vertical-align: middle }
{ vertical-align: top }
.dataframe thead th { text-align: right }

a_x b_x c_x a_y b_y c_y d 2 a2 b2 c2 a2 b2 c2 d2 4 a4 b4 c4 a4 b4 c4 d4