黑砂博客

为了训练ChatGPT-3这样的大型神经网络模型，OpenAI采用了多种分布式技术来加速处理并行化。以下是ChatGPT-3训练中使用的主要分布式技术： 数...

大数据技术之Spark（一）——Spark概述 文章目录 前言 一、Spark基础 1.1 Spark是什么 1.2 Spark VS Hadoop 1.3 Spark优势及特点 1.3.1 优...

分布式的定义 分布式的本质：利用多台机器上进行计算和存储，为了防止某些台机器发生网络延迟、节点故障等问题，就需要使用”算法或者技术...

安装Spark Spark技术栈 安装 scala 解压 改名 配置环境变量 spark 解压 改名 修改环境变量 修改conf文件 spark-env.sh works配置集群用得到 ...

Redis因为单进程、性能高常被用于分布式锁；锁在程序中作用是同步工具，保证共享资源在同一时刻只能被一个线程访问。     Java中经常用的锁sync...

本文已经收录到Github仓库，该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分布式、微服务...

目录 一、为什么需要分布式锁 二、分布式锁的实现方案 三、redis分布式锁 3.1 简单实现 3.2 成熟的实现 一、为什么需要分布式锁 1.在...

分布式锁是在分布式系统中保证多个进程或线程同步访问共享资源的一种机制。在分布式系统中，由于多个进程或线程在不同的节点上，无法像单机程序...

前言： 最近几年，越来越多的金融机构开始分布式应用架构转型。相应的，数据中心架构也势必需要转型，从两地三中心向同城双活、甚...

文章目录 教程适用版本 一、简介 主要功能 组件 开源地址 二、开始搭建 1.项目搭建与依赖管理 2.服务注册与发现（Nacos安装） 3.创建服...