过滤倾斜的key，比如业务中爬虫异常key，null 可以使用df.sample(n)抽样找出倾斜异常key，再df.filter(func)过滤掉倾斜key如果key中的nu...
背景介绍 文本摘要，就是对给定的单个或者多个文档进行梗概，即在保证能够反映原文档的重要内容的情况下，尽可能地保持简明扼要。质量良...
什么是Kafka Connect Kafka Connect 是一款可扩展并且可靠地在 Apache Kafka 和其他系统之间进行数据传输的工具。 可以很简单的定义 connectors（连接...
【《数字价值观察室》是钛媒体与ITValue联合推出的一档有关企业数字化的深度视频访谈栏目，脱胎于已连续举办十余届的全球数字价值峰会。栏目内容将聚...
当我们处理连续数据并需要基于移动窗口（如，仅使用过去三个月数据）计算时使用分区功能非常有用，因为分区无需删除数据，...
近些年，互联网公司对数据分析师岗位的需求越来越多，这不是偶然。 过去十多年，中国互联网行业靠着人口红利和流量红利野蛮生长；...
异构数据同步工具——flinkx - 知乎 一、概要简介 FlinkX是由袋鼠云开源基于Flink的分布式离线和实时相结合的数据同步框架，既可以采集静态的数据比如&...
导语 2023年4月7-8日，由中国DBA联盟（ACDU）和墨天轮社区联合主办的第十二届『数据技术嘉年华』(DTC 2023) 在北京新云南皇冠假日酒店成...
背景 2023年泰迪杯完整数据最新出炉，博主根据最新完整数据对原来的预测方案进行了调整，采用机器学习+深度学习的组合预测来实现最终预测 ...
