您现在的位置是：首页 > 形式科学 > 统计学 > 数据分析

数据分析

9块9就能找个女朋友，你还在等什么？

发布时间：2022-06-09数据分析次统计学

备受关注的第七次人口普查数据近日公布。数据显示，我国男性比女性人口多出3000余万，从性别构成年龄段来看，从20岁到40岁这一主要婚育年龄段来看，男性比女性多出1700多万人。

备受关注的第七次人口普查数据近日公布。数据显示，我国男性比女性人口多出3000余万，从性别构成年龄段来看，从20岁到40岁这一主要婚育年龄段来看，男性比女性多出1700多万人。听到这个数据，不知道大家慌不慌，反正我是不慌，毕竟现在的年轻人都追求自由，要什么对象(假装不稀罕)。不得不说，近年来，中国人结婚少了、结婚晚了、离婚多了，社会、经济、环境压的我们喘不过气，而高婚育成本更像一座大山，我们在山前徘徊，踌躇等待。

不管怎么说，社会是大家的，生活(对象)是自己的，没对象的争取不做那1/17000000，有对象的且过切珍惜。520来了，你是哪种过节姿势呢?

没对象的请查收这份孤单指南

1、做个wifi宅，只要还能连上网，你就不是孤独的，也别问宅着是不是孤单，你都问了，我能说什么。

2、做个剁手族，与其说爱上了网购，不如说爱上了孤单。单身狗都是独自快乐的，毕竟挣的钱都能自己花，嘻嘻。

3、做个高端玩家，一群单着的人，却想让大家都不孤单。你可以选择在朋友圈接受狗粮投喂，也可以组一个单身局互诉衷肠，毕竟，嘲笑也要一群人更刺激。

4、做个关灯人，为了不孤单，就要承受更多的孤单。做最后一个离开自习室的人，做最后一个下班的人，做最后一个散场的人。

有对象的请查收这份送礼指南

想知道大家都是怎么送礼的么?云朵君特意施展了python大法，在淘宝上爬取了最受欢迎的情人节礼物，看下大家都是怎么选礼物的。

数据爬取

本次数据爬取是采用使用selenium实现动态渲染页面的爬取。selenium是浏览器自动测试框架，模拟浏览器，驱动浏览器执行特定的动作，并可获取浏览器当前呈现的页面的源代码，可见即可爬。

爬虫中主要是获取商品数据，其主要代码如下：

def get_products(): 
    ''' 
    提取商品数据 
    :return: 
    ''' 
    # page_source获取网页源代码 
    html = browser.page_source 
    doc = pq(html) 
    items = doc('#mainsrp-itemlist .items .item').items() 
    for item in items: 
        # 数据存入字典 
        product = { 
            'image': item.find('.pic .img').attr('data-src'), 
            'price': item.find('.price').text(), 
            'deal': item.find('.deal-cnt').text(), 
            'title': item.find('.title').text(), 
            'shop': item.find('.shop').text(), 
            'location': item.find('.location').text(), 
        } 
        with open(f'./{text}.txt', 'a',encoding='utf-8') as fin: 
            fin.write(f"{json.dumps(product, ensure_ascii=False)}
") 
        print(product)

获取到的原始数据是这样的

数据清洗

定义清洗函数

def deal_deal(x): 
    s = x.split('人付款')[0] 
    if not s: 
        return 0 
    elif s.endswith('万+'): 
        return int(float(x.split('万+人付款')[0])*10000) 
    elif s.endswith('+'): 
        return int(x.split('+人付款')[0]) 
    else: 
        return int(s)

逐个处理每个列

raw_data = pd.DataFrame(data_list) 
data = raw_data.iloc[:,1:] 
# 单位处理 
data['price'] = data['price'].map(lambda x: float(x.split('¥')[1])) 
data['deal']  = data['deal'].map(lambda x:deal_deal(x)) 
data['province'] = data['location'].map(lambda x: x.split()[0]) 
# 发货地拆分 
data['city'] = data['location'].map(lambda x: x.split()[1] if len(x.split()) ==2 else x.split()[0]) 
# 删除无用的列 
data.drop(columns=['location'],inplace=True) 
# 重命名 
data.columns = ['价格','销量','商品名称','店铺名称','省份','城市']

数据清洗完如下：