Initial commit

pytorch/mem_transformer.py

@@ -667,11 +667,19 @@ class MemTransformerLM(nn.Module):
                 mask_shift_len = qlen - mask_len
             else:
                 mask_shift_len = qlen
+            # 在 PyTorch 2.x 中，Byte 类型被废弃，不再作为 mask 的类型。取而代之的是 boolean 类型，这样可以更好地支持布尔运算。
+            # dec_attn_mask = (torch.triu(all_ones, 1+mlen)
+            #         + torch.tril(all_ones, -mask_shift_len)).byte()[:, :, None] # -1
             dec_attn_mask = (torch.triu(all_ones, 1+mlen)
-                    + torch.tril(all_ones, -mask_shift_len)).byte()[:, :, None] # -1
+                    + torch.tril(all_ones, -mask_shift_len)).bool()[:, :, None] # -1
         else:
+            # 在 PyTorch 2.x 中，Byte 类型被废弃，不再作为 mask 的类型。取而代之的是 boolean 类型，这样可以更好地支持布尔运算。
+            # dec_attn_mask = torch.triu(
+            #     word_emb.new_ones(qlen, klen), diagonal=1+mlen).byte()[:,:,None]
+
             dec_attn_mask = torch.triu(
-                word_emb.new_ones(qlen, klen), diagonal=1+mlen).byte()[:,:,None]
+                word_emb.new_ones(qlen, klen), diagonal=1+mlen).bool()[:,:,None]
+
 
         hids = []
         if self.attn_type == 0: # default