当然股神 1.o仅仅有分析模块和收集模块是不够的,它还需要有一个数据处理模块,如果说分析模块是大脑,收集模块是手脚的话,那么处理模块就是消化系统。
当海量的数据信息被从数据海洋中抽取出来,需要对这些信息进行加工处理,将它们处理成数据分析模块能够利用的数据模式。
比如某个上市公司一个年度财报,里面的内容非常之多,从人事变更到企业战略,并购行为,利润营收等方面都会涉及到,而这些东西又是关键性信息。一个数万字外加各种图标的财报,其中各种关键信息必须能够被分析模块理解并进行加工,这就是处理模块的主要工作了。
这个数据处理模块主要的功能部分其实是自然语言处理,程序本身是无法理解语言内涵的,它肯定无法理解“定向增1oo万限售股”是什么意思 ,这时候就需要认为给这句话进行赋值,让它变成机器能够理解的数据信息。
比如先进行意义分割,将定向设定为一个意义单元,将增设定为另外一个单元,以这种方式将整个句子按照意义单元分割开来,分别进行赋值。
这一套加工题,需要人为的帮助计算机去理解和处理人类的语言,让机器能够看懂语法、语意单元,