海棠书屋 > 玄幻小说 > 绝对掌控 > 章节目录 第十一章 数据海洋和爬虫
    数据分析模块是股神 1.o的大脑,除了这个大脑之外它还需要其他几个关键性模块。既然做大数据分析,那么这个数据来源就需要有一个功能模块来解决,它专门负责数据的收集。

    这个数据收集模块就像是股神 的手脚,负责从网络上收集对应的数据,这个模块一个关键的组成部分就是爬虫。

    国际互联网展到今天,变成了体系庞杂内容浩繁的网状系统,这个系统上的信息节点规模数以十亿计,这些节点可能包括台式机、笔记本、服务器、大规模群组、智能手机、平板、智能导航终端、各类信息采集终端、信息射终端等等等等。

    只要能够链接上互联网,能够与互联网进行数据交互的,都可以视为一个信息节点,比如遍布城市的各类监控探头,各类通讯基站,严格来说都属于节点之一。

    这些节点为互联网提供的数据类型也各种各样,有文字,有数据,有图表,有文档,有视频,有音频,有数据库;它们的表现形式各式各样,有通用格式,有专用格式;所有这些信息加在一起,共同组成了沉积在国际互联网中浩瀚的数据海洋。

    这个数据海洋是动态的,它时刻处在在运动和更新之中,就好像各种洋流和浪涛一样,永不停息。


本章未完,请点击下一页继续阅读 >>