zhouchichun的个人博客分享 http://blog.sciencenet.cn/u/zhouchichun

博文

题目:透过transformer思考注意力机制在内的一些细节 汇报人:刘伟

已有 1132 次阅读 2023-2-8 09:39 |系统分类:科研笔记

题目:透过transformer思考注意力机制在内的一些细节

主讲人:刘伟


地点:腾讯会议


时间:2023年2月8日  晚8点


简介:2017年提出的transformer是继RNN,CNN之后的一大特征提取模块。其核心是自注意力机制。此后,transformer系统的替代了RNN和CNN,得到了Bert,GPT等大模型。它们已经在各个领域展现出优异的性能,通过阅读相关文献,对transformer所运用的策略方法进行了思考。


1)transformer在做什么及其整体结构;

2)encoder和decoder所运用的方法;

3)思考自注意力、交叉注意力、位置编码以及掩码的作用;

4)思考如何修改网络以适用于其它研究方向(transformer论文中被用于机器翻译);

5)思考当前蛋白体-配体网络能进行改进的地方。




https://blog.sciencenet.cn/blog-3453120-1375329.html

上一篇:题目:多级小波分解网络的时间序列预测结果汇报 报告人:梁桦杰
下一篇:深度学习方法在蛋白质稳定性、亲和力预测以及大模型在蛋白质设计应用的讨论班(后粤杰、余卓航、刘伟、张守昌)
收藏 IP: 202.203.17.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-22 07:54

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部