数据接入 | 如何快速提升数据分析的效率?(上)

3年 前 小草莓 0

数据分析的第一步是数据接入,如果没有数据,那数据分析就无从谈起。现实中,数据是分散在企业的各个系统中,并且还需要每天去导出新的报表去更新、分析数据,重复的劳动真的让人崩溃。作为BDP个人版的忠实用户,跟大家分享下:我是如何运用BDP的数据源各个功能解决上述问题,这些功能可大大提高了我的工作效率,感谢BDP!

在介绍数据源之前先普及一下同步的概念,同步概念在很多场景都会涉及,比如时间同步,大家按照一个时间基准去确定时间约定一件事情。而数据源的同步指的是我们在BDP个人版分析的数据和我们本地的数据保持一致,只有这样用户分析的数据才有价值。

1、接入各种数据源

在BDP个人版的数据源菜单页面,点击“添加数据源”即可进入添加数据源界面。

屏幕快照 2017-01-24 下午4.16.12

image (2)

在数据源页面可以看到各种数据源类型,分别代表什么呢?

  • 数据库:支持接入MySQL、Oracle、Hive、SqlServer、Postgresql等数据库,这点可以结合第3个功能“同步客户端”一起理解和接入;
  • 网络营销:主要是SEM推广后台(百度、360、搜狗、神马、百度实况等)和常见的营销推广后台(微博粉丝通、腾讯广点通、今日头条等);
  • 在线客服:支持接入百度商桥、快商通等在线客服系统,既然都接入推广后台了,怎能没有访客咨询的数据呢?
  • 数据统计:支持接入百度统计、CNZZ、友盟等网站统计后台,这些数据对于网站的重要性就不多说了,相信大家都很清楚的;
  • 企业管理:除了能接入Excel、CSV本地数据,还能接入一些OA、CRM、ERP、支付后台等平台数据,满足企业各种数据接入的需求;
  • 公共数据:这是BDP给用户提供的免费数据,有实时天气、人口、APP应用排名等数据,可根据需求自行添加即可;
  • 同步工具:参考下面的功能2和功能3;

现在,我以百度搜索推广(小户)的数据源接入为例,百度搜索推广(小户)的接入完成连接配置和高级配置2个步骤即可。每种接入方式BDP都给出了详细的介绍,接入操作都不难,配置也很快~

image (3) image (4)

同步完成后立马可以看到接入的推广数据。数据源成功接入后,BDP每天会自动触发定时同步,自动更新同步前一天的数据,就不需要将数据导来导去的,好棒!

2、同步工具-同步宝

目前BDP虽然已经能支持接入近100个数据源方式,但数据源那么多,肯定有一些数据源BDP暂时无法接入,比如微信公众号后台,那也没事啊,可以用文件同步宝,也称本地文件同步神器!

image (5) image (6)

要是没有同步宝,需要每天要微信公众号后台里导出Excel文件,然后在BDP进行替换/追加操作,这样每天的工作量会很大。有了同步宝后,只需要首次将微信公众号后台导出的本地数据放到同步宝指定的文件夹,之后同步宝将微信公众号后台数据自动同步至BDP,那数据图表结果也实时随之变化!

同步宝的配置有如下几步:

– 设置同步文件夹路径

– 设置Excel文件表头的位置以及CSV文件的分隔符

同步宝支持的同步机制有如下几类:

– 分钟级别的监测文件数据变化,有变化会将数据同步到BDP

– 同一个子文件夹下的Excel,CSV文件支持自动合并和追加,并同步到BDP

– 同步文件夹下多sheet同构的表会自动进行合并,并同步到BDP

3、同步工具-同步客户端

另外,有些企业的数据库都是部署在内网中,不支持外网访问,针对这样的场景,BDP个人版提供了同步客户端。

屏幕快照 2017-01-24 下午5.03.51

同步客户端是部署在企业本地的服务器上,支持灵活的同步方式和同步时间设置,按照自己的需求将数据推送到BDP个人版,满足用户的数据分析需求。同时同步客户端也支持MySQL,Oracle,SqlServer,Hive,Postgresql,DB2等主流数据库,对于大数据量同步有一定的优化,从而成为BDP个人版海量数据同步的解决方案。假如数据库同步失败了,BDP还会第一时间预警提示,上次我们的数据库同步失败了,特别感谢BDP及时通知到我,才能及时解决问题。

稍微总结下,功能1是通用的数据接入方式,大部分人都需要涉及;功能2和功能3是相对特殊的使用场景,但是却能帮上大忙,大大提高数据分析效率,符合BDP的价值“让数据真正服务于工作”。

特别感谢用户的亲笔文章,不仅会写文章,还将BDP用的特别好,真正运用于实际工作,特别棒,很期待他的中、下篇!欢迎更多的用户爱投稿,也真的希望大家都能真正用好BDP,让它服务于大家的工作,提高工作效率!