目录

错误描述

问题分析

解决方法

错误描述

笔者本想通过flume在kafka中读取数据存储到hdfs，却在集成kafka和flume时 kafkasource报出如下错误：

Exception in thread "PollableSourceRunner-KafkaSource-r1" java.lang.OutOfMemoryError: GC overhead limit exceeded 

问题分析

flume接收kafka消息过多 而分配资源不足导致报错

解决方法

进入flume/bin目录下 修改 JAVA_OPTS参数

JAVA_OPTS参数默认为20m，把这个值调大即可

(base) [hadoop@hadoop-003 flume]$ vim bin/flume-ng

 这里我把参数修改为1024m