什么是大模型中的“适配器模块”(Adapter)? 热门官方
适配器模块是一种在预训练模型内部插入的小型可训练网络层,用于在特定任务或领域上高效微调。它通常由若干全连接层组成,夹在Transformer层之间,仅训练适配器参数而冻结主干权重。这样做的好处是参数量和显存需求远低于全参数微调,却能在下游任务上取得接近全微调的性能。例如在BERT上使用Adapter可使GLUE基准的平均分接近全微调,而新增参数量仅为原模型的1%~5%。Adapter还可堆叠形成多任务共享结构,便于跨任务知识迁移,是当前大模型低资源适配的主流方案之一。
用户讨论(回复)
共 0 条记录,当前显示第 1- 条
« 上一页
下一页 »
相关阅读