> 文章列表 > datax 从oracle迁移到es中

datax 从oracle迁移到es中

datax 从oracle迁移到es中

任务启动时刻                    : 2023-04-20 19:34:56
任务结束时刻                    : 2023-04-20 19:56:22
任务总计耗时                    :               1285s
任务平均流量                    :            5.07MB/s
记录写入速度                    :          24522rec/s
读出记录总数                    :            30457190
读写失败总数                    :                   0

经过对比测试,读写速度和batchSize有关,我的表字段少,batchSize批处理提交设置成十万,比一万要快五倍,

"batchSize": 100000,

channel 这个配置多线程,输出日志还是job0,查看线程也没有变化,速度也没有什么变化

"channel": 8 

设置内存,jvm默认是1G,设置4G之后,查看内存使用多了,但是速度也没有变化

python E:\\ruanjian\\JAVA\\datax\\datax\\bin\\datax.py --jvm="-Xms4G -Xmx4G"