【促销定价】背后的算法技术3-数据挖掘分析

- 01 整体分析
- - 1）整体概览
  - 2）类别型特征概览
  - 3）数值型特征概览
- 02 聚合分析
- - 1）天维度
  - 2）品维度
  - 3）价格维度
  - 4）数量维度
- 03 相关分析
- - 1）1级品类
  - 2）2级品类
  - 3）3级品类
  - 4）sku
- 04 聚类分析
- 05 核心结论
- 06 小结
- - 参考文献

导读：在日常生活中，我们经常会遇见线上/线下商家推出各类打折、满减、赠品、新人价、优惠券、捆绑销售等促销活动。一次成功的促销对于消费者和商家来说是双赢的。一方面，促销活动能让消费者买到低价的商品；另一方面，促销活动也能为商家带来可观的利润。因此，对于商家来说，如何科学合理地制定促销策略是必须仔细思考的问题。

作者1：张哲铭，算法专家，某互联网大厂
作者2：向杜兵，算法专家，某制造业龙头

大家好！我们是IndustryOR团队，致力于分享业界落地的OR+AI技术。欢迎关注微信公众号/知乎【运筹匠心】 。本期我们来谈一谈《促销定价背后的算法技术》。促销活动五花八门、玩法多变，但其底层的核心商业逻辑是“价格”。因此，本期案例将选择某零售商超“促销定价”场景，共分5篇文章依次讲解：（1）业务问题拆解；（2）数据预处理生成；（3）数据挖掘分析；（4）模型算法实现-价格弹性模型；（5）模型算法实现-运筹决策模型。

本篇文章讲解（3）数据挖掘分析。

共分为4个部分，依次为：
01 整体分析
02 聚合分析
03 相关分析
04 聚类分析
05 核心结论

注：本案例数据改编自【2019年全国大学生数学建模E题】公开数据集。

01 整体分析

经过（2）数据预处理生成，我们将订单中的SKU销量聚合至日维度，生成了待分析求解的促销定价数据大宽表（promotional_pricing_data1.csv），表结构如下：

促销定价数据大宽表

字段	含义
sku_id	商品ID
sku_name	商品名称
ori_prc	原价
sale_prc	售价
cost_prc	成本价
sku_cnt	销量
cate1_id	一级类目id
cate2_id	二级类目id
cate3_id	三级类目id
cate1_name	一级类目名称
cate2_name	二级类目名称
cate3_name	三级类目名称
sale_dt	销售日期

1）整体概览

我们发现，经过（2）数据预处理生成加工后的数据集共有1105365条样本，无空值。

2）类别型特征概览

类别型特征

3）数值型特征概览

我们发现，数据共有3187种sku，1级品类26种、2级品类156种、3级品类565种。75%的商品售价不高于18.8、日销量不超过4个，但也有超过千元的高价品和销量过千的高销品。

02 聚合分析

为了进一步挖掘数据，我们分别在天维度、品维度、价格维度和数量维度对数据进行聚合分析。

1）天维度

统计每日的销量、GMV(销售额)、成本、毛利额、折扣率等信息，画出趋势图。

# 各日期下的销量、GMV(销售额)、成本、毛利额、折扣率等  
data_df['gmv'] = data_df['sale_prc'] * data_df['sale_cnt']  
data_df['cost'] = data_df['cost_prc'] * data_df['sale_cnt']  
data_df['profit'] = data_df['gmv'] - data_df['cost']  
data_df['discount'] = 1 - data_df['sale_prc'] / data_df['ori_prc']  
data_df['discount_amount'] = data_df['ori_prc'] - data_df['sale_prc']  
ret_df = IOR_DP.group_agg(df=data_df,   
                          grp_cols=['sale_dt'],   
                          agg_dict={'sale_cnt': 'sum', 'gmv': 'sum', 'cost': 'sum',  
                                    'profit': 'sum', 'discount': 'mean'})  
ret_df['profit_ratio'] = ret_df['profit_sum'] /  ret_df['cost_sum']  
ret_df = ret_df.sort_values(by='sale_dt')  
  
pic1 = ret_df.plot(x='sale_dt', y=['gmv_sum', 'cost_sum', 'profit_sum', 'sale_cnt_sum'],  
                   secondary_y= 'sale_cnt_sum', title = '日gmv/成本/毛利额/销量趋势图',  
                   kind='line', figsize=(20, 5), fontsize=18)  
  
pic2 = ret_df.plot(x='sale_dt', y=['profit_ratio', 'profit_sum', 'sale_cnt_sum'],   
                   secondary_y= 'profit_ratio', title = '日毛利率/毛利额/销量趋势图',  
                   kind='line', figsize=(20, 5), fontsize=18)  
  
pic3 = ret_df.plot(x='sale_dt', y=['discount_mean', 'sale_cnt_sum'], secondary_y= 'discount_mean',  
                   title = '日平均折扣/销量趋势图', kind='line', figsize=(20, 5), fontsize=18)  
  
plt.show([pic1, pic2, pic3])

我们发现：

GMV、利润额与销量呈强正相关，销量越高，GMV、利润额越高。
利润率与销量、利润额相关性不明显，有时利润率很低，但利润额很高；有时相反。这说明“降价促销”是存在赚钱的可能性的。
折扣率与销量呈正相关，趋势相同，但并不是折扣率越高一定是销量越高，如：商家在5.4后大幅调低整体折扣，但销量不降反升。这说明精细化定价是可行的，在合理的折扣区间制定高销的价格，增加GMV和利润。

2）品维度

统计各级品类/sku下子品类宽度（子品类个数）、sku宽度（个数）、sku总销量、sku价格等信息，画出分布图。由于篇幅有限，这里只列出sku维度下相关代码。

# 各sku历史价格数/总销量/日售价均值/售卖天数/日均销量分布  
ret_df = IOR_DP.group_agg(df=data_df,   
                          grp_cols=['sku_id', 'sku_name'],   
                          agg_dict={'sale_cnt': 'sum', 'sale_prc':  ['nunique', 'max', 'min', 'mean'],   
                                    'ori_prc': ['nunique', 'max', 'min', 'mean'], 'cost_prc':  ['nunique', 'max', 'min', 'mean']},  
                          sort_dict={'sale_cnt_sum': 'desc'})  
ret_df = ret_df.head(50)  
pic1 = ret_df.plot(x='sku_name', y=['sale_prc_nunique', 'sale_cnt_sum'],  
                   secondary_y= 'sale_cnt_sum', title = 'Top50总销量的sku的历史价格数/总销量(降序)分布',  
                   kind='bar', figsize=(20, 5), fontsize=18)  
  
top_sku = ret_df['sku_name']  
ret_df = IOR_DP.group_agg(df=data_df, grp_cols=['sku_id', 'sku_name'], agg_dict={ 'sale_dt': 'count',  'sale_cnt': 'mean'},  
                          sort_dict={'sale_cnt_mean': 'desc'})  
ret_df = pd.merge(left=ret_df, right=top_sku, how='inner', on=['sku_name'])  
pic2 = ret_df.plot(x='sku_name', y=['sale_dt_count', 'sale_cnt_mean'], secondary_y= 'sale_cnt_mean',  
                   title = 'Top50总销量的sku的历史售卖天数/日均销量(降序)分布',  
                   kind='bar', figsize=(20, 5), fontsize=18)  
  
ret_df = IOR_DP.group_agg(df=data_df,   
                          grp_cols=['sale_dt', 'sku_name'],   
                          agg_dict={ 'sale_prc': 'mean'},  
                          sort_dict={'sale_dt': 'asc'})  
ret_df = pd.merge(left=ret_df, right=top_sku, how='inner', on=['sku_name'])  
ret_df = ret_df.pivot_table(values='sale_prc_mean', index='sale_dt', columns='sku_name').reset_index()  
pic3 = ret_df.plot(title = 'Top50总销量的sku日均售价均值分布', kind='box', rot=90, showfliers=False, figsize=(20, 5), fontsize=18)  
  
plt.xlabel('sku_name')  
plt.show([pic1, pic2, pic3])

我们发现：

不同品类下的子品类和sku数量差异较大。以3级品类下sku数为例：最少1个，最多63个，中位值3个；
不同sku的价格带不同。以售价均值为例：最小0.8元，最大1100元，中位值13.80元。这说明定价时每个sku的价格区间需要精细化制定。

3）价格维度

统计不同价格区间下sku宽度、总销量、总gmv、总成本、总毛利，画出分布图。

ret_df = data_df[['sale_prc', 'sku_name', 'sale_cnt', 'gmv', 'cost', 'profit']]  
ret_df['sale_prc_range'] = pd.cut(ret_df['sale_prc'], bins)  
ret_df = IOR_DP.group_agg(df=ret_df,   
                          grp_cols=['sale_prc_range'],   
                          agg_dict={'sku_name': 'nunique', 'sale_cnt': 'sum', 'gmv': 'sum', 'cost': 'sum', 'profit': 'sum'},  
                          sort_dict={'sale_prc_range': 'asc'})  
ret_df = ret_df.rename(columns={'sku_name_nunique':'sku_cnt'})  
pic1 = ret_df.plot(x='sale_prc_range', y=['sku_cnt', 'sale_cnt_sum', 'gmv_sum', 'cost_sum', 'profit_sum'],   
                   secondary_y = 'sku_cnt', kind='bar', title='不同价格区间下sku宽度/销量/GMV/成本/毛利分布',   
                   figsize=(20, 5), fontsize=18)  
plt.show(pic1)

我们发现，绝大部分sku的价格分布在20元以下，5-10元区间的sku占比最多。

4）数量维度

分别统计不同历史售卖天数和不同历史价格数下的sku宽度分布，画出分布图。

# 不同历史售卖天数下sku宽度分布  
ret_df = IOR_DP.group_agg(df=data_df, grp_cols=['sku_id', 'sku_name'], agg_dict={ 'sale_dt': 'count'})  
ret_df = IOR_DP.group_agg(df=ret_df, grp_cols=['sale_dt_count'], agg_dict={ 'sku_id': 'count'}, sort_dict={'sale_dt_count':'asc'})  
ret_df = ret_df.head(70)  
pic1 = ret_df.plot(x='sale_dt_count', y='sku_id_count', kind='bar',   
                  title='不同历史售卖天数下sku宽度分布', figsize=(20, 5), fontsize=18)  
plt.show(pic1)  
# 不同历史价格数下sku宽度分布  
ret_df = IOR_DP.group_agg(df=data_df, grp_cols=['sku_id', 'sku_name'], agg_dict={ 'sale_prc': 'nunique'})  
ret_df = IOR_DP.group_agg(df=ret_df, grp_cols=['sale_prc_nunique'], agg_dict={ 'sku_id': 'count'}, sort_dict={'sale_prc_nunique':'asc'})  
pic1 = ret_df.plot(x='sale_prc_nunique', y='sku_id_count', kind='bar',   
                  title='不同历史价格数下sku宽度分布', figsize=(20, 5), fontsize=18)  
plt.show(pic1)

我们发现：不同sku的历史价格数量不同，绝大部分的sku历史价格数量只有1个。针对该现象需要进一步分析，有2种可能：

这部分商品为低价格弹性商品，即价格改变不会引起销量的变化；
这部分商品是高价格弹性商品，但商家未进行太多的促销价格尝试，这会导致这部分商品精细化定价时样本不足，需要思考如何解决该问题。

03 相关分析

针对1级品类/2级品类/3级品类/sku，分别计算售价/折扣比例/折扣额与日销量间的pearson相关性系数，画出分布图。

1）1级品类

cate_level = 'cate1_name'  
corr_df = cal_corr_by_cate(data_df, cate_level = cate_level)  
feature_cols = list(corr_df.columns)[1:]  
corr_df = corr_df.sort_values(by=feature_cols, ascending=[True] * len(feature_cols))  
pic1 = corr_df.plot(x=cate_level, y=feature_cols, title = '1级品类售价/折扣比例/折扣额与日销量相关性',  
                    kind='bar', figsize=(20, 5), fontsize=18)

2）2级品类

cate_level = 'cate2_name'  
ret_df = IOR_DP.group_agg(df=data_df,   
                          grp_cols=[cate_level],   
                          agg_dict={'sale_cnt': 'sum'},  
                          sort_dict={'sale_cnt_sum': 'desc'})  
ret_df = ret_df.head(50)  
corr_df = cal_corr_by_cate(data_df, cate_level = cate_level)  
corr_df = pd.merge(left=ret_df, right=corr_df, how='inner', on=[cate_level])  
feature_cols = list(corr_df.columns)[2:]  
corr_df = corr_df.sort_values(by=feature_cols, ascending=[True] * len(feature_cols))  
pic1 = corr_df.plot(x=cate_level, y=feature_cols, title = 'Top50销量的2级品类售价/折扣比例/折扣额与日销量相关性',  
                    kind='bar', figsize=(20, 5), fontsize=18)

3）3级品类

cate_level = 'cate3_name'  
ret_df = IOR_DP.group_agg(df=data_df,   
                          grp_cols=[cate_level],   
                          agg_dict={'sale_cnt': 'sum'},  
                          sort_dict={'sale_cnt_sum': 'desc'})  
ret_df = ret_df.head(50)  
corr_df = cal_corr_by_cate(data_df, cate_level = cate_level)  
corr_df = pd.merge(left=ret_df, right=corr_df, how='inner', on=[cate_level])  
feature_cols = list(corr_df.columns)[2:]  
corr_df = corr_df.sort_values(by=feature_cols, ascending=[True] * len(feature_cols))  
pic1 = corr_df.plot(x=cate_level, y=feature_cols, title = 'Top50销量的3级品类售价/折扣比例/折扣额与日销量相关性',  
                    kind='bar', figsize=(20, 5), fontsize=18)

4）sku

cate_level = 'sku_name'  
ret_df = IOR_DP.group_agg(df=data_df,   
                          grp_cols=[cate_level],   
                          agg_dict={'sale_cnt': 'sum'},  
                          sort_dict={'sale_cnt_sum': 'desc'})  
ret_df = ret_df.head(50)  
corr_df = cal_corr_by_cate(data_df, cate_level = cate_level)  
corr_df = pd.merge(left=ret_df, right=corr_df, how='inner', on=[cate_level])  
feature_cols = list(corr_df.columns)[2:]  
corr_df = corr_df.sort_values(by=feature_cols, ascending=[True] * len(feature_cols))  
pic1 = corr_df.plot(x=cate_level, y=feature_cols, title = 'Top50销量的sku售价/折扣比例/折扣额与日销量相关性',  
                    kind='bar', figsize=(20, 5), fontsize=18)

我们发现，不同品类/sku的售价/折扣比例/折扣额与日销量间相关性差异极大。如：

对于可口可乐、散装东北大米等长保质期商品来说，售价越低/折扣比例越大/折扣额越大，销量越高。可能是因为该类商品可以囤货。
对于进口香蕉、土鸡蛋等生鲜品来说，售价越低/折扣比例越大/折扣额越大，销量越高。可能是因为该类商品日常消耗较快。
对于红枣风味酸牛奶等短保质期商品来说，售价越低，销量越高；折扣比例/折扣额和销量呈负相关，但相关性不大。可能是因为该类商品一旦打折就意味着临近保质期，大家不愿意购买。
对于伊利高钙奶等高品质商品来说，则售价越高，销量越高，但相关性不大。可能是因为该类商品价格越高品质越佳。

因此，在促销定价时，需要根据不同的sku制定不同的定价策略。

04 聚类分析

根据03节计算出来的3级品类平均售价/折扣比例/折扣额与日销量间的相关性系数，对3级品类进行聚类，画出聚类图。

cate_level = 'cate3_name'  
corr_df = cal_corr_by_cate(data_df, cate_level = cate_level)  
n_clusters = 4  
x_cols = list(corr_df.columns)[1:]  
x_df = corr_df[x_cols]  
from sklearn.cluster import KMeans#导入聚类模型  
model1=KMeans(n_clusters=n_clusters, n_init=1000).fit(x_df)#聚成3类传入自变量  
model1.labels_.size  
corr_df['label']=model1.labels_  
  
# 3D  
fig =plt.figure(figsize=(20, 10))  
ax = Axes3D(fig)  
pic2 = ax.scatter(xs=corr_df['sale_prc&&sale_cnt'], ys=corr_df['discount&&sale_cnt'], cmap='jet',  
           zs=corr_df['discount_amount&&sale_cnt'], c = corr_df['label'], alpha=1)  
ax.set_xlabel('sale_prc&&sale_cnt', color='r')  
ax.set_ylabel('discount&&sale_cnt', color='g')  
ax.set_zlabel('discount_amount&&sale_cnt', color='b')  
plt.title('售价/折扣比例/折扣额与日销量相关性分类图')  
plt.show(pic2)

经过实验我们发现，聚4类即可将样本较好的分开，聚类结果也符合业务常识。详情如下：

label=0分类的3级品类，平均售价与日销量弱负相关，折扣比例/折扣额与日销量弱正相关，多为保质期较长，购物频次一般的品类，如：‘一次性内裤’, ‘丸类’, ‘乌龙茶饮品’, ‘冰冻贝类’, '冰淇淋’等。
label=1分类的3级品类，平均售价与日销量强负相关，折扣比例/折扣额与日销量强正相关，多为保质期较短，购物频次较高的品类，如：‘中式点心’, ‘低温加味牛奶’, ‘可乐’, ‘叶菜类蔬菜’, ‘吐司类’, ‘国产季节性水果’, ‘国产梨类’ '婴儿卫生用品’等。
label=2分类的3级品类，平均售价与日销量强负相关，折扣比例/折扣额与日销量强不相关，多为购物频次一般，但平时很少有折扣促销的品类，如：‘其他冲饮粉’, ‘其他肉干’, ‘其他进口洋酒’, ‘名酒’, '味精’等。
label=3分类的3级品类，平均售价/折扣比例/折扣额与日销量强均不相关，多为购物频次较低，平时也很少有折扣促销的品类，如：‘LED灯泡’, ‘一口酥/酥饼’, ‘一次性卫生筷’, ‘一次性塑料口杯’, ‘一次性手套’, ‘一次性纸口杯’, '一次性纸碗’等。

05 核心结论

综上诉说，我们利用数据挖掘技术，从各个维度较为全面的分析了数据的全貌，并深度挖掘了价格/折扣和销量之间的关系。最终，我们得到了一个核心结论：不同的sku的价格/折扣与销量之间的关系不同，促销定价做的越精细，效果越好。而精细化正是算法相较人工的优势所在。

06 小结

第一篇（业务问题拆解）：我们把一个实际的促销定价问题拆解成了一系列的数学问题。

第二篇（数据预处理生成）：我们选择了一份公开的促销定价数据集，将其加工成了可分析求解的数据。

本篇（数据挖掘分析）：我们对数据进行了全方位的挖掘和分析，介绍了数据挖掘分析和可视化方法。敬请期待~~~

下一篇（价格弹性模型）：我们将介绍如何利用价格弹性模型量化商品价格与销量的关系。敬请期待~~~

参考文献

Hua J, Yan L, Xu H,et al. Markdowns in E-Commerce Fresh Retail: A Counterfactual Prediction and Multi-Period Optimization Approach[J]. arxiv, 2021.(https://arxiv.org/pdf/2105.08313.pdf)
Kui Zhao, Junhao Hua, Ling Yan, et al. A Unified Framework for Marketing Budget Allocation[J]. arxiv, 20.(https://arxiv.org/pdf/1902.01128.pdf)
用相关系数进行Kmeans聚类，利用利润率、打折率、销售额、毛利润得到商品价格弹性标签，建立价格折扣力度模型(https://blog.csdn.net/weixin_45934622/article/details/114382037)
2019全国大学生数学建模竞赛讲评：“薄利多销”分析(https://dxs.moe.gov.cn/zx/a/hd_sxjm_sxjmstjp_2019sxjmstjp/210604/1699445.shtml)
策略算法工程师之路-基于线性规划的简单价格优化模型(https://zhuanlan.zhihu.com/p/145192690)