大数据周会-本周学习内容总结011
开会时间：2023.04.23 15:00 线下会议
目录
01【spark】
02【es同步mysql】
03【下周任务】
01【spark】
- 尚硅谷大数据技术Spark教程-笔记01【Spark（概述、快速上手、运行环境、运行架构）】
- 尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、repartition、sortBy、intersection、union、subtract、zip）】
- 尚硅谷大数据技术Spark教程-笔记03【SparkCore（核心编程，partitionBy、reduceByKey、groupByKey、aggregateByKey、foldByKey、combineByKey、sortByKey、join、leftOuterJoin、cogroup）】
02【es同步mysql】
通过logstash实现mysql与es的双向数据同步
- logstash -f ../config/newsManager/mysql2es.conf
- logstash -f ../config/newsManager/es2mysql.conf
- 不要用线上测试数据库，用自己的本地库。
- 参考人家的专利，仔细阅读一下。
03【下周任务】
下周任务：
- mysql与es数据同步专利，仔细阅读一下；
- es同步mysql，参考上述专利，具体实现一下；
- 学习后端内容ruoyi。RuoYi-Vue: 🎉 基于SpringBoot，Spring Security，JWT，Vue & Element 的前后端分离权限管理系统，同时提供了 Vue3 的版本