add fairseq0.10.2

7df61696 · Sugon_ldc · 7df61696 · 7df61696 · 7df61696 · 7df61696
Commit 7df61696 authored Jul 28, 2023 by Sugon_ldc
20 changed files
--- a/fairseq/data/nested_dictionary_dataset.py
+++ b/fairseq/data/nested_dictionary_dataset.py
--- a/fairseq/data/noising.py
+++ b/fairseq/data/noising.py
--- a/fairseq/data/num_samples_dataset.py
+++ b/fairseq/data/num_samples_dataset.py
--- a/fairseq/data/numel_dataset.py
+++ b/fairseq/data/numel_dataset.py
--- a/fairseq/data/offset_tokens_dataset.py
+++ b/fairseq/data/offset_tokens_dataset.py
--- a/fairseq/data/pad_dataset.py
+++ b/fairseq/data/pad_dataset.py
--- a/fairseq/data/plasma_utils.py
+++ b/fairseq/data/plasma_utils.py
--- a/fairseq/data/prepend_dataset.py
+++ b/fairseq/data/prepend_dataset.py
--- a/fairseq/data/prepend_token_dataset.py
+++ b/fairseq/data/prepend_token_dataset.py
--- a/fairseq/data/raw_label_dataset.py
+++ b/fairseq/data/raw_label_dataset.py
--- a/fairseq/data/replace_dataset.py
+++ b/fairseq/data/replace_dataset.py
--- a/fairseq/data/resampling_dataset.py
+++ b/fairseq/data/resampling_dataset.py
--- a/fairseq/data/roll_dataset.py
+++ b/fairseq/data/roll_dataset.py
--- a/fairseq/data/round_robin_zip_datasets.py
+++ b/fairseq/data/round_robin_zip_datasets.py
--- a/fairseq/data/shorten_dataset.py
+++ b/fairseq/data/shorten_dataset.py
--- a/fairseq/data/sort_dataset.py
+++ b/fairseq/data/sort_dataset.py
--- a/fairseq/data/strip_token_dataset.py
+++ b/fairseq/data/strip_token_dataset.py
--- a/fairseq/data/subsample_dataset.py
+++ b/fairseq/data/subsample_dataset.py
--- a/fairseq/data/token_block_dataset.py
+++ b/fairseq/data/token_block_dataset.py
--- a/fairseq/data/token_block_utils_fast.cpp
+++ b/fairseq/data/token_block_utils_fast.cpp