Mask attention123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979

BERT Embedding segment ID：0/1表示，区分是否是同一句话；第一句话全是0，第二句话全是1；”type_vocab_size”: 2 token ID:每个单词的索引；”vocab_size”: 21128 position ID: 绝对embedding；”max_position_embeddings”: 512 bert embedding = segment I

二分类交叉熵损失函数BCELoss计算二分类任务时的交叉熵（Cross Entropy）函数。在二分类中，label是{0,1}。对于进入交叉熵函数的input为概率分布的形式。一般来说，input为sigmoid激活层的输出，或者softmax的输出。$$loss(x,y) = -y*log(x)-(1-y)*log(1-x)$$ 12345678910import torchimport to

推荐一些比较实用的torch教程 深入浅出PyTorch 链接 Pytorch模型训练实用教程 链接 包含各个深度学习任务的torch教程 链接 小土堆的教程 链接

TextCNN 代码＋图文对应解释前提适合了解TextCNN大体思路，但是对Pytorch不了解的小伙伴阅读 建议:遇到不懂的函数如squeeze()和unsqueeze(),查阅官方文档，或者单独在百度上搜搜这个函数，你就懂了,如图 流程图 模型代码12345678910111213141516171819202122232425262728293031323334353637383940414

下面代码实现torch多卡同时训练123456789import pytorch as torchfrom torch.utils.data.distributed import DistributedSampletorch.distributed.init_process_group(backend='nccl')#初始化并行训练n_gpu = torch.cuda.devi