论文辅导或算法学习可以滴滴我
文章目录
- 项目介绍
- 表和字典描述
- 1、读取数据
- 2、查看黑名单公司主要来自哪些城市
- 3、查看黑榜公司分布城市
- 4、存在的问题
- 5、查看存在问题分类
项目介绍
在数字化的时代，信息的力量不言而喻，尤其当我们面临职业选择时。是一个开放源代码项目，旨在收集并分享全球范围内存在争议或不良工作环境的IT公司名单，帮助求职者做出更为明智的职业决策。
表和字典描述
该数据集互联网企业黑名单.csv，一共有839条。
共8个字段，分别是：公司名字、评论链接、存在问题、详细描述、所在城市、发布时间、评论数、浏览数。
表数据如下：
1、读取数据
import pandas as pd
import numpy as np
from warnings import filterwarnings
filterwarnings('ignore')
df1 = pd.read_csv(r'互联网企业黑名单.csv')
查看数据的行数和列数
df1.shape
(838, 8)
查看数据的列名
df1.columns
# 提取浏览次数
import re
df1['浏览数_d'] = df1['浏览数'].apply(lambda x : re.findall(r'\d+',x)[0])
print('黑名单上共有 {}家公司'.format(df1['公司名字'].nunique()))
print('数据日期从 {} 至 {}'.format(df1['发布时间'].min(),df1['发布时间'].max()))
print('黑榜公司共来自全国 {} 个城市'.format(df1['所在城市'].nunique()))
print('浏览次数最多的公司是:\n{}'.format(df1[df1['浏览数_d']==df1['浏览数_d'].max()].公司名字.tolist()))
2、查看黑名单公司主要来自哪些城市
from pyecharts.charts import Bar,Grid,Map
from pyecharts.commons.utils import JsCode
from pyecharts import options as opts
from pyecharts.globals import SymbolType
df1['所在城市'].fillna('城都市',inplace = True)
result = df1['所在城市'].value_counts().reset_index(name = '公司数量')
result['index'] = result['index'].str.replace('市','')
x_data = result['index'].tolist()
y_data = result['公司数量'].tolist()
bar = (
Bar()
.add_xaxis(x_data)
.add_yaxis("", y_data)
.set_global_opts(
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=65)),
title_opts=opts.TitleOpts(title="黑名单公司主要来自哪些城市"),
)
.set_series_opts(
itemstyle_opts={
"normal": {
"color": JsCode(
"""new echarts.graphic.LinearGradient(0, 0, 0, 1, [{
offset: 0,
color: 'rgba(131, 96, 195, 1)'
}, {
offset: 1,
color: 'rgba(46, 191, 195, 1)'
}], false)"""
),
"barBorderRadius": [30, 30, 1, 1],
"shadowColor": "rgb(0, 160, 221)",
}
}
)
)
bar.render_notebook()
3、查看黑榜公司分布城市
# 地图
map1 = Map()
map1.add('',[list(z) for z in zip(x_data, y_data)],
maptype='china-cities',is_map_symbol_show=False,
)
map1.set_series_opts(label_opts=opts.LabelOpts(is_show=False))
map1.set_global_opts(title_opts=opts.TitleOpts(title='黑榜公司分布城市'),
visualmap_opts=opts.VisualMapOpts( max_=df1['所在城市'].value_counts().max(),
is_piecewise=False,range_color=['#12c2e9','#c471ed','#f64f59']
),
)
map1.render_notebook()
4、存在的问题
df1['存在问题'] = df1['存在问题'].str.replace('1.单休','单休').str.replace('2.习惯性拖技术部工资','习惯性拖技术部工资').str.replace('3.老板脾气爆','老板脾气爆')
ls = ['，',',','；',' ']
for s in ls:
df1['存在问题'] = df1['存在问题'].str.replace(s,'/')
from collections import Counter
cause = df1['存在问题'].tolist()
lst = []
lit = []
for s in cause:
s = s.split('/')
lst.append(s)
for x in s:
lit.append(x)
cause_ct = Counter(lit)
data_c = pd.DataFrame.from_dict(cause_ct,orient='index').reset_index()
data_c.columns = ['存在问题','出现次数']
data_c.sort_values('出现次数',ascending = False,inplace = True)
from pyecharts.charts import WordCloud
x_data = data_c['存在问题'].tolist()
y_data = data_c['出现次数'].tolist()
(
WordCloud()
.add(" ", [list(z) for z in zip(x_data, y_data)])
.set_global_opts(
title_opts=opts.TitleOpts(
title="存在的问题", title_textstyle_opts=opts.TextStyleOpts(font_size=23)
),
tooltip_opts=opts.TooltipOpts(is_show=True),
)
).render_notebook()
由于996 ，007 ，9107等都是上班时长，实际是加班问题，对此类标签统一做个大的分类再进行统计
5、查看存在问题分类
data_n = pd.DataFrame(lit,columns = ['问题标签'])
def frame(x):
if "996" in x or "工作时间9/6" in x:
return "996"
elif "995" in x:
return "995"
elif "897" in x:
return "897"
elif "单休" in x:
return "单休"
elif "9107" in x:
return "9107"
elif "9116" in x:
return "9116"
elif "007" in x:
return "007"
elif "加班" in x:
return "加班"
elif "福利差" in x :
return "福利差"
elif "社保" in x or "不交五险" in x or "五险不交" in x:
return "社保问题"
elif "薪" in x or "工资" in x or "赖账"in x or "坑钱" in x:
return "拖欠工资"
elif "老板" in x or "领导" in x or "管理" in x or "高层" in x:
return "领导问题"
elif "画饼" in x or "画大饼" in x or "忽悠" in x or "洗脑" in x:
return "画饼"
elif "裁员"in x or "过河拆桥"in x or "辞退" in x:
return "裁员"
else:
return x
data_n['问题分类'] = data_n['问题标签'].apply(lambda x : frame(x))
data_n['问题大类'] = data_n['问题分类'].apply(lambda x : "加班问题" if "996" in x or "工作时间9/6" in x or "995" in x
or "897" in x or "9107" in x or "9116" in x or "007" in x or "加班" in x else x)
x_data = data_n['问题大类'].value_counts().index.tolist()
y_data = data_n['问题大类'].value_counts().values.tolist()
(
WordCloud()
.add(" ", [list(z) for z in zip(x_data, y_data)],word_size_range=[20, 100], shape=SymbolType.DIAMOND)
.set_global_opts(
title_opts=opts.TitleOpts(
title="分类-存在的问题", title_textstyle_opts=opts.TextStyleOpts(font_size=23)
),
tooltip_opts=opts.TooltipOpts(is_show=True),
)
).render_notebook()
黑榜公司上榜除了是因为“网传黑名单”以及“单位性质培训”等两个原因外，大家最不能接受的原因是“拖欠工资”以及“加班问题”
