Spark1.x VS Spark2.x

Spark-Benchmark

基准数据

col_name            	data_type           
username            	string
name                	string
blood_group         	string
company             	string
birthdate           	string
sex                 	string
job                 	string
ssn                 	string
mail                	string

测试方法：

Fake数据，数据以10W每批通过Mobius写入，记录不同集群环境的写入耗时，Merge耗时及常见统计查询的耗时。

查询耗时：3次查询耗时求平均。

数据写入的机器和集群所处的网络环境相同，即网络数据传输均为内网传输。

测试结果

线下集群

运行环境

Driver Mem: 8G, 50Core, Executor Mem: 20G, Node Count: 5

数据操作性能

查询性能(Spark 1.3.1, 2015-05-18)

查询性能（Spark 1.4.0, 2015-07-03）

查询性能（Spark 1.4.1, 2015-07-17）

Parquet格式

查询性能（Spark 1.5.2, 2015-11-26)

Parquet

关闭tungsten

查询性能（Spark 1.6.0, 2016-01-07)

Parquet

查询性能（Spark 1.6.1, 2016-05-19)

查询性能（Spark 1.6.2, 2016-07-09)

查询性能（Spark 1.6.2, 2016-09-27)

查询性能（Spark 2.1.0, 2017-01-02)

查询性能（Spark 2.2.0, 2017-07-09)

线下集群

运行环境

Driver Mem: 8G, 50Core, Executor Mem: 20G, Node Count: 5

查询性能(Spark 2.2.0, 2020-07-24)

查询性能(Spark 2.3.0, 2020-07-24)

查询性能(Spark 2.4.6, 2020-07-24)

线上集群(bdp-192)

运行环境

Driver Mem: 25G, 216Core, Executor Mem: 18G, Node Count: 5

查询性能(Spark 2.3.0, 2020-08-4)

查询性能(Spark 2.4.6, 2020-08-04)

新集群 性能测试
spark-extra.conf

spark.scheduler.mode FAIRspark.executor.extraJavaOptions -Dtag=mobius.query.spi-wdb8 -XX:+UseG1GC -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark -XX:InitiatingHeapOccupancyPercent=35 -XX:PermSize=256M -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:G1HeapRegionSize=1m -Xloggc:./gc.log -verbose:gcspark.memory.fraction 0.8spark.memory.storageFraction 0.2spark.speculation.quantile 0.92spark.speculation.multiplier 2spark.speculation.interval 200msspark.executor.cores 36spark.driver.maxResultSize 2048mspark.sql.shuffle.partitions 180spark.speculation truespark.kryoserializer.buffer.max 512mspark.shuffle.consolidateFiles truespark.sql.autoBroadcastJoinThreshold -1spark.sql.mergeSchema.parallelize 2spark.locality.wait 100spark.cleaner.ttl 3600spark.default.parallelism 180spark.sql.adaptive.enabled truespark.sql.adaptive.shuffle.targetPostShuffleInputSize 1024880spark.sql.adaptive.minNumPostShufflePartitions 4spark.ui.retainedJobs 1000spark.ui.retainedStages 2000spark.sql.crossJoin.enabled true

新机器 spark 1.6.2 5节点共180 cores，每节点36 cores 18G memory, driver 10 cores, 25G memory 2016-09-30

新机器 spark 2.2.0 5节点共180 cores，每节点36 cores 18G memory, driver 10 cores, 25G memory 2017-11-01

线上集群

运行环境

Driver Mem: 25G, 40Core, Executor Mem: 4G, Node Count: 13

数据操作性能

查询性能(Spark1.3.1, 13个节点，2015-05-18)

查询性能(Spark1.3.1, 51台, 2015-06-06)

Driver Mem: 25G, 150Core, Executor Mem: 6G, Node Count: 51

查询性能(Spark1.6.1, 59台, 2016-05-13)

Driver Mem: 25G, 150Core, Executor Mem: 6G

create table contact50w as SELECT * FROM contact01 TABLESAMPLE (500000 ROWS)

Spark并发性能测试

测试SQL: select blood_group from contact group by blood_group

对线上集群进行测试，Spark节点数据：13。

测试数据如下, 耗时/ms：

实时join查询性能测试

测试方法： ab -n 20 -c 1 [url] , 执行20次查询请求，并发数为1，取平均

测试两张表进行left join，执行SELECT a,SUM(b) FROM temp GROUP BY a LIMIT 10000，对比表实体化与否的查询性能。

数据量指的是join后的数据量。

BDP-Benchmark

使用 tassadar 的 tools 下的 bdp_benchmark.py 脚本，往 bdp-192 上的 mobius 依次发请求，获得的结果。

Spark 2.2.0

Spark 1.6.2