做分析用什么工具
导读
数据分析是数据辅助决策的最后一公里,是最终的数据可视化展示与探索分析的部分,选择使用最适合的数据展示方式,可以帮助分析人员大大提升分析效率。
问题:
● 纠结选择哪个工具
● 纠结从哪里学起,甚至害怕会不会学完就过时没用了
有哪些BI工具
数据分析工具类软件,大体可以分为以下6类: Excel生态工具、数理统计工具、BI工具、数据库工具、编程工具 (Excel单独分成一类,主要是因为它应用场景广泛,且用户基数过于庞大,甚至超过其他所有工具用户之和) 每个类别的代表工具分别有:
● Excel生态:Excel、VBA、PowerQuery、PowerPivot、Power View、Power Map
● 数理统计工具:SAS、SPSS、Stata、Minitab、Eviews、Statistica、MATLAB、Mathematica
● 分析编程工具:Python、R、Julia、Scala、Spark、Java、Hadoop
● BI工具:分为开源BI工具和商业BI工具两大类 ● 商业BI工具有:FineBI、QlikView、Tableau、Power BI、SmartBI、QuickBI等
● 开源BI工具有:Superset、Redash、Metabase、CBoard、Davinci、SpagoBI、Pentaho等
● 数据库工具:MySQL、PostgreSQL、Oracle、SQLServer、MongoDB、Hive
了解数据分析过程
数据分析的过程:数据采集-数据加工-数据处理-数据分析-数据可视化- 报告撰写-分析汇报-数据共享。
了解数据源
增加对数据源的认识,从格式上来看可以分为文本格式、数据库、集群几个概念,从结构上可以划分为结构式数据库和非结构式式数据库
选择数据分析工具
当确认分析目标之后,我们应该根据数据的体量来选择分析工具和报表工具
以往的经验会告诉我们,数据分析效率低大概有这么几个因素:
1、处理小数据的时候,对于非结构化的数据,统计起来很难,需要学习编程类的工具;
2、已有的知识,处理不来大规模数据集,这时候需要学习新的语言,以及熟悉大数据数仓模型中指标、维度、模型的概念;
3、用SQL处理大规模数据的时候,跑数跑的特别慢,需要了解数据库相关的知识,优化慢SQL
● 没有做数据模型,多个表做数据关联,跑起来很慢——dw层建设,抽象成指标做维度建模,T+1任务调度
● 很多个大表关联一起,数据跑不出来——需要做分区设计,根据业务域做ads小表,做指标应用
● 数据跑出来有重复——尽可能少的做
认识BI和BI工具
BI的概念
BI(BusinessIntelligence)即商业智能,越来越多的智能软件供应商推出可视化数据分析工具,应对企业业务人员的大数据分析需求。 清楚几个概念:
商业大数据BI产品
通用的解决方案包括: 1、自助分析平台:包含数据集成、数据洞察分析、数据门户、权限集成的完整解决方案; 2、客户画像:以客户为中心,构建客户全息画像,360°了解客户,帮助企业更精准的解决问题; 3、大数据营销:提供客户数据标签管理、智能圈人、人群扩散、位置营销、营销效果分析; 4、 大数据风控:基于大数据构建风险识别模型,提供交易反欺诈、信用反欺诈服务。
写在最后,给到新来者的建议
工具选择,因人而异,选择适合自己的最重要,不要过分沉迷于工具
1. 选好书籍打基础,资料宜精不宜广
看书籍是为了先打好基础,然后构建个人知识框架。市面上的资源太多了,选择一本经典教材或者课程非常重要,建议买纸质书,花了钱有沉默成本存在,这个书才香,才容易读完。最后利用“碎片化”时间、从解决实际问题出发去提升自己
2. 切忌大而全,工具宜少不宜多
工具是最容易掌握的,真正提高工作效率的,都是大家常提的、公认的,脱离实际场景的内容,正所谓“屠龙之术,学而无用”,很多人都喜欢鼓捣各种软件、工具,后来发现有些工具用过一次就再也没碰过。 比如:你做数据量少了200M的 简单分析,Excel和SPSS一般是最佳选择 出活儿快! 而SQL是用来提数跑数的,你必须得会,得熟练,不然时间都耗在这儿了 当你遇到数据量较大或者需要复杂模型,就可以上PYTHON和R了 当然如果是你公司有大数据平台,就可能使用HIVE、SPARK、STOM等等
提示一点:切记不要为了追求高大上的模型或者效果
3. 边干边学 边整理 记住“以用促学,以教促学”
一定要带着问题、带着坑,去学习,你的记忆才会深刻 很多人常常翻着一本厚厚的EXCEL秘籍自学,总是感觉学不会、学了就忘呢?使用Excel函数的时候,却又要到处搜索资料,用完即扔。 原因主要有2点:
一是短练,因为没有实战的机会,用的太少了!
二是太懒,用完了就结束了,从来不总结整理!
4、定期整理沉淀自己,消化知识
一种方法是,画思维导图梳理体系,知识才能内化成你自己的东西;
第二是,多多和别人交流和分享,思维的碰撞,能加深个人的理解和感悟 数据分析,是各行各业都需要的技能,不同行业的数据分析,分析方向和内容也是千差万别。不是所有做分析的人,都能获得高财富回报,需要和经营、运营、财务、市场、营销做结合,才能实现价值提升。
多注重业务理解,多实践积累经验,才是王道。
否则,如果提供不到决策支撑、发挥不了数据影响,分析也就没有什么意义。