基于金融时间序列和舆情分析的股票分析系统(2)

　　4)分析已抓取URL队列中的URL，主要是将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉，通过dom节点获取内容，本文通过″//div[@class=&apos；WB_cardwrapS_bg2clearfix&apos；]″模块获取节点上博主昵称，博客首页，微博内容，点赞数，评论数，转发数，并将之存入数据库；

　　5)再分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。

　　2.2.3数据存储

　　由于数据实时的，而且有可能庞大有可能数据量较小，则为了不必要的开销，本课题选择了MySQL数据库作为存储工具，增添减删都十分方便，数据库的结构如下：其中，名为“stock”的数据库是已经提前建好的，在微博爬虫过程中，表名是由GUI界面输入的股票代码决定，以“.ss”结尾股票将尾部截掉，在头部加上“SH”，以“.sz”结尾的则将尾部截掉加上“SZ”，用以区分上证和深证股票，根据每个表名新建一张表，该表包括ID，ID为主键，可以自增，非空nickname、homepage、content、dates、forward、reply、likes，字段类型分别为int(11)、varchar(90)、varchar(500)、varchar(10000)、varchar(40)、bigint(255)、bigint(255)、bigint(255)，表创建好后，就可以往里面插入数据。

　　2.2.4舆情分析

　　自然语言处理，也就是我们常说的NLP。随着人工智能火爆带来的一个分支，简单点说，就是将人的语言转化为机器的语言，能够分词，了解语义，甚至能预测你下一个想说的词，我们都知道，每个国家的语言都有不同的语法，而中文是世界上最难学的语言之一，同一个词都有可能是不同的意思，而我们需要从微博网民的言谈中获取股民对待股票的态度，积极还是消极，则需要用到自然语言处理来判断情感的积极和消极。

　　本课题采用snowNLP，是国人开发的python类库，可以方便的处理中文文本内容，由于现在大部分的自然语言处理库基本都是针对英文的，这是目前找到的唯一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK包，所有的算法都是自己实现的，并且自带了一些训练好的字典。从数据库中获取评论内容，对其进行分析，得出情感若是大于0.5则被判为积极情绪，小于0.5则被判为消极情绪，最后将所有结果汇总成柱状图和饼图，给股民以参考。

　　3效果展示

　　如图4所示，本系统分了两个入口，即美股和上证股票，美股选择了苹果的股票，输入其股票代码AAPL；图5左边是未来十天的收盘预测值，右上角是该股近百天的K线图，右下角黄色的线是利用ARIMA的预测值，蓝色的线则是实际收盘价；图6存储了从微博爬取的浦发银行近20天的舆情，搜索“sh6000000”，将博主昵称、主页、内容、时间、转发量、回复量、点赞数都存储到数据库中；图7的左下角是分析结果，横轴表示情绪分析，小于0.5则为消极情绪，大于0.5则为积极情绪，纵轴代表数量，每个数值的个数，可以很直观看出微博的股民对此呈消极情绪。

　　4结束语

　　该系统不同于传统的股票的研究，仅仅对历史数据进行反复模拟，而是紧紧跟随时代的步伐，充分利用网上散落的信息，进行归一利用，对股民的选股、买卖更有利用价值。

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说经济学基于金融时间序列和舆情分析的股票分析系统(2)在线全文阅读。