使用Spark SQL访问Hive库中所有表元数据信息的Java代码

以下是使用Spark SQL访问Hive库中所有表元数据信息的Java代码，它通过 hive.metastore.uris 配置项连接到Hive Metastore服务，获取Hive库中所有表的元数据信息：

import org.apache.spark.sql.SparkSession;public class HiveMetadataExample {public static void main(String[] args) {// 创建SparkSessionSparkSession spark = SparkSession.builder().appName("HiveMetadataExample").config("hive.metastore.uris", "thrift://<metastore-host>:9083").enableHiveSupport().getOrCreate();// 获取Hive库中的所有表String dbName = "mydb";spark.catalog().setCurrentDatabase(dbName);for (String tableName : spark.catalog().listTables()) {System.out.println("Table name: " + tableName);// 获取表的列信息spark.table(tableName).printSchema();// 获取表的分区信息spark.sql("SHOW PARTITIONS " + tableName).show(false);}// 停止SparkSessionspark.stop();}
}

其中：

• hive.metastore.uris 配置项指定了Hive Metastore服务的地址和端口；
• enableHiveSupport() 方法启用了对Hive的支持；
• spark.catalog().setCurrentDatabase(dbName) 方法设置了当前使用的Hive库；
• spark.catalog().listTables() 方法获取当前库中所有表的名称列表；
• spark.table(tableName).printSchema() 方法获取指定表的结构信息，包括列名、类型等；
• spark.sql("SHOW PARTITIONS " + tableName).show(false) 方法获取指定表的所有分区信息。
  在实际使用中，需要将 替换为真实的Hive Metastore服务器地址和端口。