基于Power,Systems的大数据平台概述及案例分析的研究

【摘要】该项目主要研究根据社会对IBM Power systems人才需求的不断变化以及大数据的发展，以先进的IBM Powersystems企业级服务器为核心，整合、构建真实的企业应用环境，进一步改革、完善实践教学内容，不断提高高校Power Systems人才培养的质量和数量，促进学生就业和相关学科建设，逐渐解决IBM Power Systems人才市场供需矛盾、调整人才结构。

【关键词】IBM Power Systems；大数据；案例分析

该课程在学生了解操作Power Linux系统原理的基础上，介绍了大量的OpenPower应用前景、系统工具、技术和方法的应用和编程开发，着重培养学生利用Power Linux系统编程语言和实用工具解决实际系统管理问题的能力，尤其对Power Systems上大数据平台Hadoop的搭建和基础做了详细介绍，从大数据技术以及Hadoop实战的角度，结合理论和实践，全方位地介绍Hadoop这一高性能处理大数据工具的开发技巧。

一、基于Power Systems的大数据平台简介

Power Linux是IBM运行在Power Systems上的一套操作系统，它可以在所有的IBM P系列和IBM RS6000工作站、服务器和大型并行超级计算机上运行，通过全面集成对32-位和64-位应用的并行运行支持，为这些应用提供了全面的可扩展性，它特别适合于做关键数据处理，Power Systems包含了许多IBM大型机传统受欢迎的特征，如系统完整性，系统可管理性和系统可用性，在Power Linux操作系统上，有许多的数据库和开发工具，用户除了选用已有的应用软件外，还可以根据各自的需要进行开发，IBM P系列服务器和Power Linux系统从最开始就是针对企业级用户推出的，除了天生所具有的稳定性、安全性以及开放性以外，系统又增加了很多高级的功能，让用户可以使用它来实现很多更加高级的功能，这不仅提升了用户系统的可用性、稳定性，同时也为用户节省了大量的人力和财力成本。

互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多種形式。当数据以成百上千TB不断增长的时候，我们在内部交易系统的历史信息之外，需要一种基于大数据分析的决策模型和技术支持。

大数据通常具有：数据体量（Volume）巨大，数据类型（Variety）繁多，价值（Value）密度低，处理速度（Velocity）快等四大特征。如何有效管理和高效处理这些大数据已成为当前亟待解决的问题。大数据处理意味着更严峻的挑战，更好地管理和处理这些数据也将会获得意想不到的收获。

二、拓展大数据实验平台的发展方向

IBM Power Systems由于其在实际应用当中的专业性，IT产业不断地需要补充各个方向的人才，作为IBM多年的合作伙伴，我们必须将就业放在首要位置，不断地丰富课程内容，完善体系机构。IBM主机虚拟化、Open Power在近几年来正在逐渐开放原来的应用的限制和接口，逐渐与开放平台、开源技术等多方面技术相结合，我们应从校企合作等方面来增加知识的广度与深度，从实际项目中获取养分，在授课中增加对学生实际操作能力的培养，经常以“回头看”的态度来审视课程，使IBM企业级服务器的课程成为常青树。

三、以实用案例讲授作为课程体系重点

我们重点开发了两套完整的可以直接部署在IBM PowerSystems的实际应用案例——基于LBS线上线下整合的020综合购物信息平台、基于Hadoop架构的网络日志分析系统。

应用案例完全模拟了实际的主要技术环节，也是首次在教学中应用到大数据的相关技术。同时，该案例的实验指导书，包括详细设计、演示说明等部分在相关课程上进行了实际的操作，学生反响良好，实验中的各个环节对课程的主要知识点、难点、重点进行了巩固和梳理。实验指导手册按照软件工程体系，由浅入深，易学易懂，指导性强，可采用边指导边引用的方式，也可采用自学方式。学生通过以上综合案例的实施，大大激发了主观能动性，可以举一反三，主动完成类似的课题，感兴趣的学生也可利用业余时间做出更具有实际应用价值的项目。

总之，基于Power Systems的大数据平台概述及案例分析融合了各方面的知识与技术，取得了非常好的教学效果，当然，也有很多不足之处。但随着技术不断地更新，教师还要与时俱进地汲取养分，为一线的教学改革贡献力量。