移动互联网的发展使人们接入互联网的方式和手段更加多样化,通过手持终端,人们可以随时随地接入互联网,浏览网页、发布内容。而近几年来,随着社会网络的发展,网络热点话题不断涌现,尤其是微博,它加快了信息的传播速度、扩大了信息的传播面。热点话题的涌现及传播引起了研究者极大的兴趣,对网络热点话题研究的前提是要对相关话题进行数据采集。本论文的主要工作有以下几个方面：首先,分析和了解了互联网信息获取的基本流程,总结出互联网信息获取主要由互联网信息采集和信息抽取两个部分组成。分析和研究了信息采集的基本流程,信息采集的类型以及信息采集中遍历网页的策略。然后,分析和研究了信息抽取的方法和主要的支持技术,重点分析了基于包装器的信息抽取方法及其相应的算法—固定模板的抽取算法、DOM树分割算法和基于视觉特征的分块算法。而后,运用信息获取技术并根据新浪微博的特点,提出了基于API接口和基于网页两种方式相结合的新浪微博数据获取方案,分析了其中遇到的难点,并提出了对应的策略。最后,对传统的关系型数据库、大数据处理平台Hadoop及建立在Hadoop应用之上的分布式数据库Hbase进行了了解。