A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models论文学习
一、概述
Motivation：GPT系列的模型，像GPT-3，CodeX，InstructGPT，ChatGPT，尽管很多人关注他们能力的不同，但是很少关注GPT系列模型随着时间变化其能力的变化情况。
Methods： 在9个NLU任务（21个数据集）上，评估了2个GPT-3系列，4个GPT-3.5系列模型的效果，同时基于zero-shot和few-shot场景都做了评估。
Finding：GPT系列模型在NLU任务上的表现并没有随着模型的演进而提升，特别是在经过RLHF训练策略后，反而限制了他解决任务的能力，同时其在模型鲁棒性上也有比较多的提升空间。
Conclusion：
随着GPT系列的演变，其能力并不是逐步增强，他与训练策略和任务的特性有关，同时尽管效果可能有提升，但是其鲁棒性也没有明显增强，这值得更多的研究。
如何平衡任务解决能力和用户友好的回复生成能力，也是一个值得研究的方向。
如何在提升performance的同时，提升鲁棒性也是一个值得研究的方向。
注意：gpt4 没有拿到api接口，所以没有来得及测试。
二、详细内容
Abstract
模型演变过程
Experiment
- 情感分析
- 有下降趋势，下降不多 阅读理解 下降挺明显，特别是经过强化学习训练后 NLI 还有一定提升
- NER（英文）
有些数据集下降挺明显，有些数据集还提升 - NER（中文）
下降趋势大一点，特别是强化学习后 - 情感匹配
- 有一点下降趋势
- 词性标注（part-of-speech Tagging 英文）
- 有不错的提升
- 词性标注（part-of-speech Tagging 中文）
- 下降
- 关系抽取
- 下降趋势大一点，特别是强化学习后
- 其他
- 从gpt3到gpt3.5还是有不少任务得到了提升
Conclusion
随着GPT系列的演变，其能力并不是逐步增强，他与训练策略和任务的特性有关，同时尽管效果可能有提升，但是其鲁棒性也没有明显增强，这值得更多的研究。
如何平衡任务解决能力和用户友好的回复生成能力，也是一个值得研究的方向。
如何在提升performance的同时，提升鲁棒性也是一个值得研究的方向。
注意：gpt4 没有拿到api接口，所以没有来得及测试。