互联网行业的数据采集

Rating 4.5 out of 5 (3 ratings in Udemy)
What you'll learn
- 1.了解大数据架构及大数据分析的Pipeline
- 2.了解互联网行业常见的四种数据采集方式
- 3.了解爬虫的常见框架-Scrapy
- 4.了解分布式爬虫以及反爬虫策略
- 5.了解前后端埋点原理
- 6.了解离线数据分析的分析场景及框架
- 7.了解实时数据分析的分析场景及框架
Description
很多同学都有过数据采集的经历,不知道在数据采集实操过程中,你是否也会以下疑问呢:
大数据架构具有怎样的作用呢?什么是Hadoop生态圈和经典大数据分析Pipeline?
常见的数据来源有哪些?
在进行互联网爬虫采集数据时,有哪些反反爬虫策略?
在埋点采集数据时,如何确定是前端埋点还是后端埋点?
如何通过日志上报的方式进行数据采集呢?
在对已有数据库进行同步时,离线同步和实时同步流程是怎样的呢?它们具体有哪些应用场景呢?
......
本节课,拥有丰富大数据分析经验的刘恒老师将结合实例按照业务流程来解答同学们的疑问。
本节课程是由授课老师与三节课合作制作的。在此,要特别感谢老师的辛 …
Duration 1 Hours 58 Minutes
Paid
Self paced
Beginner Level
Simplified Chinese (China)
14
Rating 4.5 out of 5 (3 ratings in Udemy)
Go to the Course
We have partnered with providers to bring you collection of courses, When you buy through links on our site, we may earn an affiliate commission from provider.
Paid
Self paced
Beginner Level
Simplified Chinese (China)
14
Rating 4.5 out of 5 (3 ratings in Udemy)
Go to the Course