基于大数据SparkSQL城市燃气输配监测数据分析方法初探
刘雪岭 李卓 苏亚文 周文文
贵州理工学院矿业工程学院安全工程教研室 550003
【文章摘要】：SparkSQL2.0.X开始运用新的线程概念SparkSession，从而取代了原本的SQLContext与HiveContext，并更新了数据框架DataFrames。分布式文件系统HDFS可以为城市燃气数据提供稳定可靠的海量数据存储能力，而SparkSQL为其提供高性能的内存计算和数据分析框架。基于SparkSQL的城市燃气输配大数据分析，初步设计并实现通过分布式存储与最新的SparkSQL大数据计算技术，提升查询性能与系统可扩展性的方法。
【关键词】：SparkSQL；燃气输配；大数据；数据统计
