Beamforming Design for Large-Scale Antenna Arrays Using Deep Learning 学习笔记一

本篇博客还没有完成，主要是论文的研读笔记。

I. INTRODUCTION

II. SYSTEM MODEL

在这篇文章中，一个广泛使用的 Saleh-Valenzuela mmWave channel model 是作为信道模型。有一个 LOS 路径和 $L-1$ 非 LOS路径

h H = N t L ∑ l = 1 L α l a t H ( ϕ t l ) (1) \\mathbf{h}^{H}=\\sqrt{\\frac{N_{\\mathrm{t}}}{L}} \\sum_{l=1}^{L} \\alpha_{l} \\mathbf{a}_{\\mathrm{t}}^{H}\\left(\\phi_{\\mathrm{t}}^{l}\\right)\\tag1 hH=LNt​​ ​l=1∑L​αl​atH​(ϕtl​)(1)

α l \\alpha_{l} αl​ 表示第 $l$ 条通道的复数增益， a t H \\mathbf{a}_{\\mathrm{t}}^{H} atH​ 表示BS处的天线阵列向量， ϕ t l \\phi_{\\mathrm{t}}^{l} ϕtl​ 是第 $l$ 条通道的离开方向的方位角（the azimuth angle of departure）。其中 $l=1$ 表示 h H \\mathbf{h}^H hH 的 LOS 分量。

天线阵列响应矢量（Antenna Array Response Vector）通常指由一组天线组成的阵列向某个方向传输电磁波时，在特定频率下，每个天线接收到信号的相对振幅和相位构成的复数矢量。它可以表示为：
a ( θ ) = [ 1 , e − j 2 π λ d sin ⁡ θ , ⋯ , e − j ( N − 1 ) 2 π λ d sin ⁡ θ ] T \\mathbf{a}(\\theta)=\\left[1, e^{-j \\frac{2 \\pi}{\\lambda} d \\sin \\theta}, \\cdots, e^{-j(N-1) \\frac{2 \\pi}{\\lambda} d \\sin \\theta}\\right]^{T} a(θ)=[1,e−jλ2π​dsinθ,⋯,e−j(N−1)λ2π​dsinθ]T
其中 $\theta$ 是到达信号的方向角度，$d$ 是天线间距，$\lambda$ 是波长，$N$ 是总天线数量。上式中的表达式被称为均匀线性阵列的阵列因子或阵列响应矢量。

在这篇文章中，SE 被选为优化目标
R = log ⁡ 2 ( 1 + 1 σ 2 ∥ h H v R F v D ∥ 2 ) (2) R=\\log _{2}\\left(1+\\frac{1}{\\sigma^{2}}\\left\\|\\mathbf{h}^{H} \\mathbf{v}_{\\mathrm{RF}} v_{\\mathrm{D}}\\right\\|^{2}\\right)\\tag2 R=log2​(1+σ21​ ​hHvRF​vD​ ​2)(2)

maximize ⁡ v R F log ⁡ 2 ( 1 + γ N t ∥ h H v R F ∥ 2 ) subject to  ∣ [ v R F ] i ∣ 2 = 1 , for  i = 1 , … , N t , (3) \\begin{array}{ll} \\underset{\\mathbf{v}_{\\mathrm{RF}}}{\\operatorname{maximize}} & \\log _{2}\\left(1+\\frac{\\gamma}{N_{\\mathrm{t}}}\\left\\|\\mathbf{h}^{H} \\mathbf{v}_{\\mathrm{RF}}\\right\\|^{2}\\right) \\\\ \\text { subject to } & \\left|\\left[\\mathbf{v}_{\\mathrm{RF}}\\right]_{i}\\right|^{2}=1, \\quad \\text { for } i=1, \\ldots, N_{\\mathrm{t}}, \\end{array}\\tag3 vRF​maximize​ subject to ​log2​(1+Nt​γ​ ​hHvRF​ ​2)∣[vRF​]i​∣2=1, for i=1,…,Nt​,​(3)

III. DL MODEL AND DESIGN OF BFNN

A. Challenges

B. BFNN Architecture

1) Three Specific Considerations:

• Input of the BFNN：因为 analog beamformer 是通过模拟电路来实现的，因此无法通过一个全数字神经网络在整个通信链路中优化。因此，BF 被设计产生一个 BF 向量 v R F \\mathbf{v}_{\\mathrm{RF}} vRF​，根据输入的 the channel estimate h est \\mathbf{h}_{\\text{est}} hest​ and the SNR estimate γ e s t \\gamma_{\\mathrm{est}} γest​。

全数字神经网络（full-digital NN）是一种可以应用于通信领域的神经网络，它在整个通信链路中进行训练和优化。

• Lambda Layer：为了确保最后的 BFNN 网络输出满足恒模条件，一个自定义的的 Lambda 层添加在 BFNN 网络的最后。特别的，这个网络的输入是 $\mathbf{\theta }$ ，输入是一个复数

v R F = exp ⁡ ( j ⋅ θ ) = cos ⁡ ( θ ) + j ⋅ sin ⁡ ( θ ) (4) \\mathbf{v}_{\\mathrm{RF}}=\\exp (j \\cdot \\boldsymbol{\\theta})=\\cos (\\boldsymbol{\\theta})+j \\cdot \\sin (\\boldsymbol{\\theta})\\tag4 vRF​=exp(j⋅θ)=cos(θ)+j⋅sin(θ)(4)
与另外一种同时生成实部和虚部的策略相比，这种方式以更少的神经元实现了效果，使得网络更加的elegant。作者真的还蛮有意思，哈哈。

• Loss Function：不同于传统的监督学习设计，BFNN网络没有标签，我们使用新的 loss function

Loss  = − 1 N ∑ n = 1 N log ⁡ 2 ( 1 + γ n N t ∥ h n H v R F , n ∥ 2 ) (5) \\text { Loss }=-\\frac{1}{N} \\sum_{n=1}^{N} \\log _{2}\\left(1+\\frac{\\gamma_{n}}{N_{\\mathrm{t}}}\\left\\|\\mathbf{h}_{n}^{H} \\mathbf{v}_{\\mathrm{RF}, n}\\right\\|^{2}\\right)\\tag5  Loss =−N1​n=1∑N​log2​(1+Nt​γn​​ ​hnH​vRF,n​ ​2)(5)

其中，$N$ 表示总的训练样本数量， γ n \\gamma_n γn​， h n \\mathbf{h}_n hn​ 和 v R F , n \\mathbf{v}_{\\mathrm{RF},n} vRF,n​ 表示 SNR，CSI 和 第 n 个样本输出的模拟波束成形器。注意到 loss 函数的降低对应了 average SE 的增加。

2) Two-stage Design Approach:

在 offline 训练阶段中，信道样本，传输的 pilot symbols 和噪声样本是根据 Section II 中的系统模型生成的。

导频符号（pilot symbols）是在通信系统中作为参考信号进行发送和接收的已知信号序列。导频符号的主要作用是用于信道估计和均衡，在正交频分复用（Orthogonal Frequency Division Multiplexing, OFDM）等数字通信技术中广泛应用。

然后，一个实用的毫米波信道估计器被应用于基站，以获取部分CSI。信道估计 h e s t \\mathbf{h}_{\\mathrm{est}} hest​ 和 SNR 估计 γ e s t \\gamma_{\\mathrm{est}} γest​ 被送入到 BFNN 中当作输入。注意到，我们假设 γ e s t = γ \\gamma_{\\mathrm{est}}=\\gamma γest​=γ。因为信道样本和信噪比SNR是根据simulation产生的，他们的真实CSI和SNR可以直接被用来计算 loss 函数。通过深度学习网络，BFNN 学会了如何根据估计的信道 CSI， h e s t \\mathbf{h}_{\\mathrm{est}} hest​ 达到 perfect CSI 情况下的理想 SE。

在实际通信中，由于各种原因，信道估计存在误差，但通过这种方式，BFNN可以在一定程度上提高对信道估计误差的鲁棒性，并且更加稳健地应对复杂的通信环境。

当线上使用的时候，BFNN的所有参数都固定了，并且训练好的BFNN网络 only 接受非完美的CSI作为输入，并且输出模拟波束形成器（beamformer）。

我们考虑一个 MISO 系统， N t = 64 N_{\\mathrm{t}}=64 Nt​=64。 h e s t \\mathbf{h}_{\\mathrm{est}} hest​ 的实部和虚部以及 γ e s t \\gamma_{\\mathrm{est}} γest​ 被连接起来生成一个 ( 2 N t + 1 ) × 1 (2N_{\\mathrm{t}}+1)\\times1 (2Nt​+1)×1 的实值输入向量。三个 dense layers 分别有 256，128，64 个神经元。

在机器学习和深度学习中，密集层（Dense Layer）是一种常见的神经网络层，也被称为全连接层。这个层内的所有节点（或神经元）都与前一层中的每个节点都有一个连接，也就是说，每个输入特征都会影响到该层中的每个节点。

各种仿真结果证实，不加任何激活函数的最后一层dense layer有着最好的表现和 convergence behavior。为了有更好的收敛特性，每个全连接层前面都添加了一个 batch normalization 层，在表格中被忽略掉了。在我们的实验中，训练、验证和测试分别有 1 0 5 10^{5} 105， 1 0 4 10^{4} 104， 1 0 4 10^{4} 104 个样本。

IMPLEMENTATION DETAILS OF THE BFNN.  Layer Name  Output Dim.  Activation Func.  Number of Paras.  Input Layer  129 × 1 ∖ 0 Dense Layer 1  256 × 1 ReLu  33024 Dense Layer 2  128 × 1 ReLu  32896 Dense Layer 3  64 × 1 ∖ 8256 Lambda Layer  64 × 1 ∖ 0 \\begin{array}{l} \\text { IMPLEMENTATION DETAILS OF THE BFNN. }\\\\ \\begin{array}{c|c|c|c} \\hline \\text { Layer Name } & \\text { Output Dim. } & \\text { Activation Func. } & \\text { Number of Paras. } \\\\ \\hline \\hline \\text { Input Layer } & 129 \\times 1 &\\setminus & 0 \\\\ \\hline \\text { Dense Layer 1 } & 256 \\times 1 & \\text { ReLu } & 33024 \\\\ \\hline \\text { Dense Layer 2 } & 128 \\times 1 & \\text { ReLu } & 32896 \\\\ \\hline \\text { Dense Layer 3 } & 64 \\times 1 & \\setminus& 8256 \\\\ \\hline \\text { Lambda Layer } & 64 \\times 1 &\\setminus & 0 \\\\ \\hline \\end{array} \\end{array}  IMPLEMENTATION DETAILS OF THE BFNN.  Layer Name  Input Layer  Dense Layer 1  Dense Layer 2  Dense Layer 3  Lambda Layer ​ Output Dim. 129×1256×1128×164×164×1​ Activation Func. ∖ ReLu  ReLu ∖∖​ Number of Paras. 0330243289682560​​​

C. Complexity Analysis

大多数基于传统模型的 hybrid beamforming algorithms 通常包括数个iterations，因此不太适用于parallel computing。

IV. SIMULATION RESULTS

$L$ 被设置为 $3$。 α l \\alpha_l αl​ 满足 独立同分布的圆对称零均值高斯随机变量。对于 $l=1$， α l \\alpha_l αl​ 的方差被设置为 $1$；对于 $l=2，3$， α l \\alpha_l αl​ 的方差被设置为 1 0 − 0.5 10^{-0.5} 10−0.5。 ϕ t l \\phi^l_t ϕtl​ 满足独立的均匀分布在 $[-0.5\pi ,0.5\pi ]$ 区间之内。两种最新的单个RF链路的 HBF 算法被用作比较，也就是the manifold-optimization based HBF algorithm⁵ and the iterative HBF algorithm 。传统的信道估计算法²被用来获取 h e s t \\mathbf{h}_{\\mathrm{est}} hest​。学习率被初始化为 0.001，同时还使用了 Adam optimizer。

圆对称复高斯分布的概率密度函数（Probability Density Function, PDF）公式如下：
f ( x ) = 1 π σ 2 e − ∣ x ∣ 2 σ 2 f(x)=\\frac{1}{\\pi \\sigma^{2}} \\mathrm{e}^{-\\frac{|x|^{2}}{\\sigma^{2}}} f(x)=πσ21​e−σ2∣x∣2​
其中， σ 2 \\sigma^2 σ2 是高斯分布的方差，$x=a+jb$ 是一个复数。

V. DISCUSSION OF THE GENERALITY OF BFNN

VI. CONCLUSION AND FUTURE WORK

未来可以研究将BFNN拓展到更复杂的 beamforming 技术中去。并且，我们提出的 BFNN 网络架构主要基于 empirical trials，未来可以研究不同网络层的实际物理意义。

REFERENCES

[2] A. Alkhateeb, O. El Ayach, G. Leus, and R. W. Heath, “Channel estimation and hybrid precoding for millimeter wave cellular systems,” IEEE J. Sel. Topics in Signal Process., vol. 8, no. 5, pp. 831–846, Oct. 2014.

[5] F. Sohrabi and W. Yu, “Hybrid digital and analog beamforming design for large-scale antenna arrays,” IEEE J. Sel. Topics Signal Process., vol. 10, no. 3, pp. 501-513, Apr. 2016.