|
题目:透过transformer思考注意力机制在内的一些细节
主讲人:刘伟
地点:腾讯会议
时间:2023年2月8日 晚8点
简介:2017年提出的transformer是继RNN,CNN之后的一大特征提取模块。其核心是自注意力机制。此后,transformer系统的替代了RNN和CNN,得到了Bert,GPT等大模型。它们已经在各个领域展现出优异的性能,通过阅读相关文献,对transformer所运用的策略方法进行了思考。
1)transformer在做什么及其整体结构;
2)encoder和decoder所运用的方法;
3)思考自注意力、交叉注意力、位置编码以及掩码的作用;
4)思考如何修改网络以适用于其它研究方向(transformer论文中被用于机器翻译);
5)思考当前蛋白体-配体网络能进行改进的地方。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-1 16:25
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社