基于Hadoop的云存储系统研究与实现

第３ｌ卷第９期　２０１５年９月　商丘师范学院学报　ＪＯＵＲＮＡＬ　ＯＦ　ＳＨＡＮＧＱＩＵ　ＮＯＲＭＡＬ　ＵＮＩＶＥＲＳＩＴＹ　Ｖ０１．３ｌ　Ｎｏ．９　Ｓｅｐｔｅｍｂｅｒ，２０１５　基于Ｈａｄｏｏｐ的云存储系统研究与实现　张效尉　，陈亚峰　，秦东霞　（１．周口师范学院计算机科学与技术学院，河南周口４６６００１；　２．河南省轻工业学校信息工程系，河南郑州４５０００６）　摘要：大数据时代．各种信息数据日益迅猛增长，Ｈａｄｏｏｐ为海量数据的处理提供了良好的解决方案．针对云　计算环境中的海量数据存储问题，介绍云存储技术的概念和体系结构，分析Ｈａｄｏｏｐ两大核心机制ＨＤＦＳ和　ＭａｐＲｅｄｕｃｅ，利用Ｈａｄｏｏｐ成功搭建分布式计算平台，并将其应用到海量社交网络数据的存储．实践证明，系统运行　良好，为未来进行社交网络大数据分析提供平台和数据保证．　关键词：Ｈａｄｏｏｐ；云存储；ＨＤＦＳ；社交网络数据　中图分类号：ＴＰ３１９　文献标识码：Ａ　文章编号：１６７２—３６００（２０１５）０９—００６０—０５　Ｔｈｅ　ｒｅｓｅａｒｃｈ　ａｎｄ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　ｃｌｏｕｄ　ｓｔｏｒａｇｅ　ｓｙｓｔｅｍ　ｂａｓｅｄ　ｏｎ　Ｈａｄｏｏｐ　ＺＨＡＮＧ　Ｘｉａｏｗｅｉ　，ＣＨＥＮ　Ｙａｆｅｎｇ　，ＱＩＮ　Ｄｏｎｇｘｉａ　（１．Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｚｈｏｕｋｏｕ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｚｈｏｕｋｏｕ　４６６００１，Ｃｈｉｎａ；　２．Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒ　Ｄｅｐａｒｔｍｅｎｔ，Ｈｅｎａｎ　Ｌｉｇｈｔ　Ｉｎｄｕｓｔｒｙ　Ｓｃｈｏｏｌ，Ｚｈｅｎｇｚｈｏｕ　４５０００６，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ａｌｌ　ｋｉｎｄｓ　ｏｆ　ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　ｄａｔａ　ｉｎｃｒｅａｓｉｎｇｌｙ　ｈａｖｅ　ｒａｐｉｄ　ｇｒｏｗｔｈ　ｉｎ　ｔｈｅ　ａｇｅ　ｏｆ　ｂｉｇ　ｄａｔａ，Ｈａｄｏｏｐ　ｐｒｏｖｉｄｅｓ　ａ　ｇｏｏｄ　ｓｏｌｕｔｉｏｎ　ｆｏｒ　ｔｈｅ　ｔｒｅａｔｍｅｎｔ　ｏｆ　ｍａｓｓｉｖｅ　ｄａｔａｓ．Ｆｏｒ　ｔｈｅ　ｐｒｏｂｌｅｍ　ｏｆ　ｍａｓｓｉｖｅ　ｄａｔａ　ｓｔｏｒａｇｅ　ｉｎ　ｔｈｅ　ｃｌｏｕｄ　ｃｏｍｐｕｔｉｎｇ　ｅｎｖｉｒｏｎｍｅｎｔ，ｔｈｉｓ　ｐａｐｅｒ　ｉｎｔｒｏｄｕｃｅｓ　ｔｈｅ　ｃｏｎｃｅｐｔ　ａｎｄ　ａｒｃｈｉｔｅｃｔｕｒｅ　ｏｆ　ｃｌｏｕｄ　ｓｔｏｒａｇｅ　ｔｅｃｈｎｏｌｏｇｙ，ａｎａｌｙｚｅｓ　ｔｗｏ　ｃｏｒｅｍｅｃｈａｎｉｓｍｓ　ｏｆ　Ｈａｄｏｏｐ　ｗｈｉｃｈ　ｉｎｃｌｕｄｅ　ＨＤＦＳ　ａｎｄ　ＭａｐＲｅｄｕｃｅ，ｓｕｃｃｅｓｓｆｕｌｌｙ　ｂｕｉｌｄｓ　ａ　ｄｉｓｔｒｉｂｕｔｅｄ　ｃｏｍｐｕｔｉｎｇ　ｐｌａｔｆｏｒｍ　ｗｉｔｈ　Ｈａｄｏｏｐ，ａｎｄ　ａｐｐｌｉｅｓ　ｔｏ　ｍａｓｓｉｖｅ　ｓｏｃｉａｌ　ｎｅｔｗｏｒｋ　ｄａｔａ　ｓｔｏｒａｇｅ．Ｔｈｅ　ｐｒａｃｔｉｃｅ　ｐｒｏｖｅｓ　ｔｈａｔ　ｔｈｅ　ｓｙｓｔｅｍ　ｒｕｎｓ　ｗｅｌｌ，ｗｈｉｃｈ　ｐｒｏｖｉｄｅｓ　ｐｌａｔｆｏｎｎ　ａｎｄ　ｄａｔａ　ｇｕａｒａｎｔｅｅ　ｔｏ　ａｎａｌｙｓｅ　ｓｏｃｉａｌ　ｎｅｔｗｏｒｋ　ｂｉｇ　ｄａｔａ　ｉｎ　ｆｕｔｕｒｅ．　Ｋｅｙ　ｗｏｒｄｓ：Ｈａｄｏｏｐ；ｃｌｏｕｄ　ｓｔｏｒａｇｅ；ＨＤＦＳ；ｓｏｃｉａｌ　ｎｅｔｗｏｒｋ　ｄａｔａ　近年来，随着网络规模的不断扩大，互联网需要处理的业务和数据量也在快速增长，云计算作为一种新型服务计算模型，　能有效地为用户提供方便，快捷的服务，正在成为互联网发展的新模式”ｊ．云存储位于云计算体系架构的最底层，承担着以服　务形式收集、存储和处理数据的任务，并在此基础上对上层的云平台、云服务等业务提供支撑．不同于传统的存储硬件，云存　储提供的是一种服务，用户向云存储服务提供商申请存储空间，通过网络将本地数据存放在云存储系统中，按照所需空ｌ＇ＦＩＪ规　模支付一定的费用，避免了购买昂贵的软硬件设施　．云存储具有高可靠性、可扩展性、海量存储、低成本和易于管理等特点，　因此，针对云存储系统的研究不仅是技术发展的趋势，而且具有重要的应用价值．　１云存储技术　云存储是在云计算基础上延伸和发展出来的一个新概念，是指通过集群技术、网格计算和分布式文件系统等技术，将网　络中大量不同类型的网络设备、服务器、存储设备、公共访问接Ｉ：１和接入网等多个部件，通过应用软件集合起来协同工作，　同对外提供数据存储和业务访问功能的一个系统　．云存储平台体系结构由存储层、基础管理层、应用接口层和用户访问　４　个层次构成，体系结构如图１所示．　收稿日期：２０１５—０２—２７　基金项目：国家自然科学基金资助项目（６１１０３１４３）；河南省高校科技创新人才支持计划项目（２０１２ＨＡＳＴＩＴ０３２）；河南省高等学　校重点科研项目（１５Ａ５２０１２５）；周口师范学院青年基金项目（ｚｋｎｕｃ０２１３）　作者简介：张效尉（１９８２一），男，河南开封人，周口师范学院讲师，硕士研究生，主要从事内存数据库、社交网络大数据分析的　研究．