基于 pytorch 的手写 transformer + tokenizer
先放出 transformer 的整体结构图，以便复习，接下来就一个模块一个模块的实现它。
1. Embedding
Embedding 部分主要由两部分组成，即 Input Embedding 和 Positional Encoding，位置编码记录了每一个词出现的位置。通过加入位置编码可以提高模型的准确率，因为同一个词出现在不同位置可能代表了不同意思，这直接影响了最终的结果，所以要考虑位置因素。
位置编码公式：
P E ( p o s , 2 i ) =