目录
1. TransformerBlock
2. Unet 改进
3. 完整代码
Tips:融入模块后的网络经过测试,可以直接使用,设置好输入和输出的图片维度即可
1. TransformerBlock
TransformerBlock是Transformer模型架构的基本组件,广泛应用于机器翻译、文本摘要和情感分析等自然语言处理任务。
TransformerBlock是一个由两个子组件组成的构建块:多头注意力机制和前馈神经网络。这两个组件协同工作,处理和转换输入序列。
多头注意力机制