Skip to content

GitLab

Commit 21357f54 authored by wanglch's avatar wanglch
Browse files

Initial commit

parents
Pipeline #987 failed with stages
in 0 seconds
Hide whitespace changes
Inline Side-by-side
Showing with 727 additions and 0 deletions
umt5_base/config.json 0 → 100644
View file @ 21357f54
{
"_name_or_path": "ArthurZ/umt5-base",
"architectures": [
"UMT5ForConditionalGeneration"
],
"d_ff": 2048,
"d_kv": 64,
"d_model": 768,
"decoder_start_token_id": 0,
"dense_act_fn": "gelu_new",
"dropout_rate": 0.1,
"eos_token_id": 1,
"feed_forward_proj": "gated-gelu",
"initializer_factor": 1.0,
"is_encoder_decoder": true,
"is_gated_act": true,
"layer_norm_epsilon": 1e-06,
"num_decoder_layers": 12,
"num_heads": 12,
"num_layers": 12,
"output_past": true,
"pad_token_id": 0,
"relative_attention_max_distance": 128,
"relative_attention_num_buckets": 32,
"scalable_attention": true,
"tie_word_embeddings": false,
"tokenizer_class": "T5Tokenizer",
"torch_dtype": "float32",
"transformers_version": "4.31.0.dev0",
"use_cache": true,
"vocab_size": 256384
}
umt5_base/generation_config.json 0 → 100644
View file @ 21357f54
{
"_from_model_config": true,
"decoder_start_token_id": 0,
"eos_token_id": 1,
"pad_token_id": 0,
"transformers_version": "4.31.0.dev0"
}
umt5_base/special_tokens_map.json 0 → 100644
View file @ 21357f54
{
"additional_special_tokens": [
"<extra_id_299>",
"<extra_id_298>",
"<extra_id_297>",
"<extra_id_296>",
"<extra_id_295>",
"<extra_id_294>",
"<extra_id_293>",
"<extra_id_292>",
"<extra_id_291>",
"<extra_id_290>",
"<extra_id_289>",
"<extra_id_288>",
"<extra_id_287>",
"<extra_id_286>",
"<extra_id_285>",
"<extra_id_284>",
"<extra_id_283>",
"<extra_id_282>",
"<extra_id_281>",
"<extra_id_280>",
"<extra_id_279>",
"<extra_id_278>",
"<extra_id_277>",
"<extra_id_276>",
"<extra_id_275>",
"<extra_id_274>",
"<extra_id_273>",
"<extra_id_272>",
"<extra_id_271>",
"<extra_id_270>",
"<extra_id_269>",
"<extra_id_268>",
"<extra_id_267>",
"<extra_id_266>",
"<extra_id_265>",
"<extra_id_264>",
"<extra_id_263>",
"<extra_id_262>",
"<extra_id_261>",
"<extra_id_260>",
"<extra_id_259>",
"<extra_id_258>",
"<extra_id_257>",
"<extra_id_256>",
"<extra_id_255>",
"<extra_id_254>",
"<extra_id_253>",
"<extra_id_252>",
"<extra_id_251>",
"<extra_id_250>",
"<extra_id_249>",
"<extra_id_248>",
"<extra_id_247>",
"<extra_id_246>",
"<extra_id_245>",
"<extra_id_244>",
"<extra_id_243>",
"<extra_id_242>",
"<extra_id_241>",
"<extra_id_240>",
"<extra_id_239>",
"<extra_id_238>",
"<extra_id_237>",
"<extra_id_236>",
"<extra_id_235>",
"<extra_id_234>",
"<extra_id_233>",
"<extra_id_232>",
"<extra_id_231>",
"<extra_id_230>",
"<extra_id_229>",
"<extra_id_228>",
"<extra_id_227>",
"<extra_id_226>",
"<extra_id_225>",
"<extra_id_224>",
"<extra_id_223>",
"<extra_id_222>",
"<extra_id_221>",
"<extra_id_220>",
"<extra_id_219>",
"<extra_id_218>",
"<extra_id_217>",
"<extra_id_216>",
"<extra_id_215>",
"<extra_id_214>",
"<extra_id_213>",
"<extra_id_212>",
"<extra_id_211>",
"<extra_id_210>",
"<extra_id_209>",
"<extra_id_208>",
"<extra_id_207>",
"<extra_id_206>",
"<extra_id_205>",
"<extra_id_204>",
"<extra_id_203>",
"<extra_id_202>",
"<extra_id_201>",
"<extra_id_200>",
"<extra_id_199>",
"<extra_id_198>",
"<extra_id_197>",
"<extra_id_196>",
"<extra_id_195>",
"<extra_id_194>",
"<extra_id_193>",
"<extra_id_192>",
"<extra_id_191>",
"<extra_id_190>",
"<extra_id_189>",
"<extra_id_188>",
"<extra_id_187>",
"<extra_id_186>",
"<extra_id_185>",
"<extra_id_184>",
"<extra_id_183>",
"<extra_id_182>",
"<extra_id_181>",
"<extra_id_180>",
"<extra_id_179>",
"<extra_id_178>",
"<extra_id_177>",
"<extra_id_176>",
"<extra_id_175>",
"<extra_id_174>",
"<extra_id_173>",
"<extra_id_172>",
"<extra_id_171>",
"<extra_id_170>",
"<extra_id_169>",
"<extra_id_168>",
"<extra_id_167>",
"<extra_id_166>",
"<extra_id_165>",
"<extra_id_164>",
"<extra_id_163>",
"<extra_id_162>",
"<extra_id_161>",
"<extra_id_160>",
"<extra_id_159>",
"<extra_id_158>",
"<extra_id_157>",
"<extra_id_156>",
"<extra_id_155>",
"<extra_id_154>",
"<extra_id_153>",
"<extra_id_152>",
"<extra_id_151>",
"<extra_id_150>",
"<extra_id_149>",
"<extra_id_148>",
"<extra_id_147>",
"<extra_id_146>",
"<extra_id_145>",
"<extra_id_144>",
"<extra_id_143>",
"<extra_id_142>",
"<extra_id_141>",
"<extra_id_140>",
"<extra_id_139>",
"<extra_id_138>",
"<extra_id_137>",
"<extra_id_136>",
"<extra_id_135>",
"<extra_id_134>",
"<extra_id_133>",
"<extra_id_132>",
"<extra_id_131>",
"<extra_id_130>",
"<extra_id_129>",
"<extra_id_128>",
"<extra_id_127>",
"<extra_id_126>",
"<extra_id_125>",
"<extra_id_124>",
"<extra_id_123>",
"<extra_id_122>",
"<extra_id_121>",
"<extra_id_120>",
"<extra_id_119>",
"<extra_id_118>",
"<extra_id_117>",
"<extra_id_116>",
"<extra_id_115>",
"<extra_id_114>",
"<extra_id_113>",
"<extra_id_112>",
"<extra_id_111>",
"<extra_id_110>",
"<extra_id_109>",
"<extra_id_108>",
"<extra_id_107>",
"<extra_id_106>",
"<extra_id_105>",
"<extra_id_104>",
"<extra_id_103>",
"<extra_id_102>",
"<extra_id_101>",
"<extra_id_100>",
"<extra_id_99>",
"<extra_id_98>",
"<extra_id_97>",
"<extra_id_96>",
"<extra_id_95>",
"<extra_id_94>",
"<extra_id_93>",
"<extra_id_92>",
"<extra_id_91>",
"<extra_id_90>",
"<extra_id_89>",
"<extra_id_88>",
"<extra_id_87>",
"<extra_id_86>",
"<extra_id_85>",
"<extra_id_84>",
"<extra_id_83>",
"<extra_id_82>",
"<extra_id_81>",
"<extra_id_80>",
"<extra_id_79>",
"<extra_id_78>",
"<extra_id_77>",
"<extra_id_76>",
"<extra_id_75>",
"<extra_id_74>",
"<extra_id_73>",
"<extra_id_72>",
"<extra_id_71>",
"<extra_id_70>",
"<extra_id_69>",
"<extra_id_68>",
"<extra_id_67>",
"<extra_id_66>",
"<extra_id_65>",
"<extra_id_64>",
"<extra_id_63>",
"<extra_id_62>",
"<extra_id_61>",
"<extra_id_60>",
"<extra_id_59>",
"<extra_id_58>",
"<extra_id_57>",
"<extra_id_56>",
"<extra_id_55>",
"<extra_id_54>",
"<extra_id_53>",
"<extra_id_52>",
"<extra_id_51>",
"<extra_id_50>",
"<extra_id_49>",
"<extra_id_48>",
"<extra_id_47>",
"<extra_id_46>",
"<extra_id_45>",
"<extra_id_44>",
"<extra_id_43>",
"<extra_id_42>",
"<extra_id_41>",
"<extra_id_40>",
"<extra_id_39>",
"<extra_id_38>",
"<extra_id_37>",
"<extra_id_36>",
"<extra_id_35>",
"<extra_id_34>",
"<extra_id_33>",
"<extra_id_32>",
"<extra_id_31>",
"<extra_id_30>",
"<extra_id_29>",
"<extra_id_28>",
"<extra_id_27>",
"<extra_id_26>",
"<extra_id_25>",
"<extra_id_24>",
"<extra_id_23>",
"<extra_id_22>",
"<extra_id_21>",
"<extra_id_20>",
"<extra_id_19>",
"<extra_id_18>",
"<extra_id_17>",
"<extra_id_16>",
"<extra_id_15>",
"<extra_id_14>",
"<extra_id_13>",
"<extra_id_12>",
"<extra_id_11>",
"<extra_id_10>",
"<extra_id_9>",
"<extra_id_8>",
"<extra_id_7>",
"<extra_id_6>",
"<extra_id_5>",
"<extra_id_4>",
"<extra_id_3>",
"<extra_id_2>",
"<extra_id_1>",
"<extra_id_0>"
],
"bos_token": "<s>",
"eos_token": "</s>",
"pad_token": "<pad>",
"unk_token": "<unk>"
}
umt5_base/tokenizer.json 0 → 100644 LFS
View file @ 21357f54
This source diff could not be displayed because it is stored in LFS. You can view the blob instead.
umt5_base/tokenizer_config.json 0 → 100644
View file @ 21357f54
{
"additional_special_tokens": [
"<extra_id_0>",
"<extra_id_1>",
"<extra_id_2>",
"<extra_id_3>",
"<extra_id_4>",
"<extra_id_5>",
"<extra_id_6>",
"<extra_id_7>",
"<extra_id_8>",
"<extra_id_9>",
"<extra_id_10>",
"<extra_id_11>",
"<extra_id_12>",
"<extra_id_13>",
"<extra_id_14>",
"<extra_id_15>",
"<extra_id_16>",
"<extra_id_17>",
"<extra_id_18>",
"<extra_id_19>",
"<extra_id_20>",
"<extra_id_21>",
"<extra_id_22>",
"<extra_id_23>",
"<extra_id_24>",
"<extra_id_25>",
"<extra_id_26>",
"<extra_id_27>",
"<extra_id_28>",
"<extra_id_29>",
"<extra_id_30>",
"<extra_id_31>",
"<extra_id_32>",
"<extra_id_33>",
"<extra_id_34>",
"<extra_id_35>",
"<extra_id_36>",
"<extra_id_37>",
"<extra_id_38>",
"<extra_id_39>",
"<extra_id_40>",
"<extra_id_41>",
"<extra_id_42>",
"<extra_id_43>",
"<extra_id_44>",
"<extra_id_45>",
"<extra_id_46>",
"<extra_id_47>",
"<extra_id_48>",
"<extra_id_49>",
"<extra_id_50>",
"<extra_id_51>",
"<extra_id_52>",
"<extra_id_53>",
"<extra_id_54>",
"<extra_id_55>",
"<extra_id_56>",
"<extra_id_57>",
"<extra_id_58>",
"<extra_id_59>",
"<extra_id_60>",
"<extra_id_61>",
"<extra_id_62>",
"<extra_id_63>",
"<extra_id_64>",
"<extra_id_65>",
"<extra_id_66>",
"<extra_id_67>",
"<extra_id_68>",
"<extra_id_69>",
"<extra_id_70>",
"<extra_id_71>",
"<extra_id_72>",
"<extra_id_73>",
"<extra_id_74>",
"<extra_id_75>",
"<extra_id_76>",
"<extra_id_77>",
"<extra_id_78>",
"<extra_id_79>",
"<extra_id_80>",
"<extra_id_81>",
"<extra_id_82>",
"<extra_id_83>",
"<extra_id_84>",
"<extra_id_85>",
"<extra_id_86>",
"<extra_id_87>",
"<extra_id_88>",
"<extra_id_89>",
"<extra_id_90>",
"<extra_id_91>",
"<extra_id_92>",
"<extra_id_93>",
"<extra_id_94>",
"<extra_id_95>",
"<extra_id_96>",
"<extra_id_97>",
"<extra_id_98>",
"<extra_id_99>",
"<extra_id_100>",
"<extra_id_101>",
"<extra_id_102>",
"<extra_id_103>",
"<extra_id_104>",
"<extra_id_105>",
"<extra_id_106>",
"<extra_id_107>",
"<extra_id_108>",
"<extra_id_109>",
"<extra_id_110>",
"<extra_id_111>",
"<extra_id_112>",
"<extra_id_113>",
"<extra_id_114>",
"<extra_id_115>",
"<extra_id_116>",
"<extra_id_117>",
"<extra_id_118>",
"<extra_id_119>",
"<extra_id_120>",
"<extra_id_121>",
"<extra_id_122>",
"<extra_id_123>",
"<extra_id_124>",
"<extra_id_125>",
"<extra_id_126>",
"<extra_id_127>",
"<extra_id_128>",
"<extra_id_129>",
"<extra_id_130>",
"<extra_id_131>",
"<extra_id_132>",
"<extra_id_133>",
"<extra_id_134>",
"<extra_id_135>",
"<extra_id_136>",
"<extra_id_137>",
"<extra_id_138>",
"<extra_id_139>",
"<extra_id_140>",
"<extra_id_141>",
"<extra_id_142>",
"<extra_id_143>",
"<extra_id_144>",
"<extra_id_145>",
"<extra_id_146>",
"<extra_id_147>",
"<extra_id_148>",
"<extra_id_149>",
"<extra_id_150>",
"<extra_id_151>",
"<extra_id_152>",
"<extra_id_153>",
"<extra_id_154>",
"<extra_id_155>",
"<extra_id_156>",
"<extra_id_157>",
"<extra_id_158>",
"<extra_id_159>",
"<extra_id_160>",
"<extra_id_161>",
"<extra_id_162>",
"<extra_id_163>",
"<extra_id_164>",
"<extra_id_165>",
"<extra_id_166>",
"<extra_id_167>",
"<extra_id_168>",
"<extra_id_169>",
"<extra_id_170>",
"<extra_id_171>",
"<extra_id_172>",
"<extra_id_173>",
"<extra_id_174>",
"<extra_id_175>",
"<extra_id_176>",
"<extra_id_177>",
"<extra_id_178>",
"<extra_id_179>",
"<extra_id_180>",
"<extra_id_181>",
"<extra_id_182>",
"<extra_id_183>",
"<extra_id_184>",
"<extra_id_185>",
"<extra_id_186>",
"<extra_id_187>",
"<extra_id_188>",
"<extra_id_189>",
"<extra_id_190>",
"<extra_id_191>",
"<extra_id_192>",
"<extra_id_193>",
"<extra_id_194>",
"<extra_id_195>",
"<extra_id_196>",
"<extra_id_197>",
"<extra_id_198>",
"<extra_id_199>",
"<extra_id_200>",
"<extra_id_201>",
"<extra_id_202>",
"<extra_id_203>",
"<extra_id_204>",
"<extra_id_205>",
"<extra_id_206>",
"<extra_id_207>",
"<extra_id_208>",
"<extra_id_209>",
"<extra_id_210>",
"<extra_id_211>",
"<extra_id_212>",
"<extra_id_213>",
"<extra_id_214>",
"<extra_id_215>",
"<extra_id_216>",
"<extra_id_217>",
"<extra_id_218>",
"<extra_id_219>",
"<extra_id_220>",
"<extra_id_221>",
"<extra_id_222>",
"<extra_id_223>",
"<extra_id_224>",
"<extra_id_225>",
"<extra_id_226>",
"<extra_id_227>",
"<extra_id_228>",
"<extra_id_229>",
"<extra_id_230>",
"<extra_id_231>",
"<extra_id_232>",
"<extra_id_233>",
"<extra_id_234>",
"<extra_id_235>",
"<extra_id_236>",
"<extra_id_237>",
"<extra_id_238>",
"<extra_id_239>",
"<extra_id_240>",
"<extra_id_241>",
"<extra_id_242>",
"<extra_id_243>",
"<extra_id_244>",
"<extra_id_245>",
"<extra_id_246>",
"<extra_id_247>",
"<extra_id_248>",
"<extra_id_249>",
"<extra_id_250>",
"<extra_id_251>",
"<extra_id_252>",
"<extra_id_253>",
"<extra_id_254>",
"<extra_id_255>",
"<extra_id_256>",
"<extra_id_257>",
"<extra_id_258>",
"<extra_id_259>",
"<extra_id_260>",
"<extra_id_261>",
"<extra_id_262>",
"<extra_id_263>",
"<extra_id_264>",
"<extra_id_265>",
"<extra_id_266>",
"<extra_id_267>",
"<extra_id_268>",
"<extra_id_269>",
"<extra_id_270>",
"<extra_id_271>",
"<extra_id_272>",
"<extra_id_273>",
"<extra_id_274>",
"<extra_id_275>",
"<extra_id_276>",
"<extra_id_277>",
"<extra_id_278>",
"<extra_id_279>",
"<extra_id_280>",
"<extra_id_281>",
"<extra_id_282>",
"<extra_id_283>",
"<extra_id_284>",
"<extra_id_285>",
"<extra_id_286>",
"<extra_id_287>",
"<extra_id_288>",
"<extra_id_289>",
"<extra_id_290>",
"<extra_id_291>",
"<extra_id_292>",
"<extra_id_293>",
"<extra_id_294>",
"<extra_id_295>",
"<extra_id_296>",
"<extra_id_297>",
"<extra_id_298>",
"<extra_id_299>"
],
"bos_token": "<s>",
"clean_up_tokenization_spaces": true,
"eos_token": "</s>",
"extra_ids": 300,
"model_max_length": 1000000000000000019884624838656,
"pad_token": "<pad>",
"sp_model_kwargs": {},
"spaces_between_special_tokens": false,
"tokenizer_class": "T5Tokenizer",
"unk_token": "<unk>"
}
umt5_summary.py 0 → 100644
View file @ 21357f54
import torch
from transformers import AutoTokenizer
from transformers import AutoModelForSeq2SeqLM
from torch import nn
import os
os.environ["HIP_VISIBLE_DEVICES"] = "4,5"
device = 'cuda' if torch.cuda.is_available() else 'cpu'
print(f'Using {device} device')
model_checkpoint = "/umt5/umt5_base"
trained_model_weights = '/umt5/saves/train_dtk_weights/epoch_1_valid_rouge_23.4347_model_dtk_weights.bin'
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForSeq2SeqLM.from_pretrained(model_checkpoint)
# 检查是否有多个 GPU 可用
if torch.cuda.device_count() > 1:
print("Let's use", torch.cuda.device_count(), "GPUs!")
# 如果有多个 GPUs，使用 nn.DataParallel 包装模型
model = nn.DataParallel(model).to(device)
model.load_state_dict(torch.load(trained_model_weights))
model = model.to(device)
article_texts = [
"""
5年前的一场风电豪赌，让山东长星集团董事长朱玉国付出了沉重的代价，知情人士爆料称，朱玉国掌控的风电帝国已走到破产边缘。据了解，长星集团涉及多家银行贷款高达60余亿元，现滨州市、邹平县两级政府正在处理善后事宜。
""",
"""
央行今日将召集大型商业银行和股份制银行开会，以应对当前的债市风暴。消息人士表示，央行一方面旨在维稳银行间债券市场，另一方面很可能探讨以丙类户治理为重点的改革内容。此次债市风暴中，国家审计署扮演了至关重要的角色。
""",
"""
今年以来，多家券商都在“找婆家”。7月8日，齐鲁证券4亿股权在北京金融资产交易所挂牌转让，加上目前正在四大产权交易所挂牌转让的世纪证券、申银万国、云南证券等，至少4家券商股权亮相于各地产权交易所。
"""
]
input_ids = tokenizer(
article_texts,
padding=True,
return_tensors="pt",
truncation=True,
max_length=512
).to(device)
generated_tokens = model.module.generate(
input_ids["input_ids"],
attention_mask=input_ids["attention_mask"],
max_length=32,
no_repeat_ngram_size=2,
num_beams=4
)
summarys = tokenizer.batch_decode(
generated_tokens,
skip_special_tokens=True,
clean_up_tokenization_spaces=False
)
print('原文', article_texts)
print('umt5摘要结果:', summarys)
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment