# serializer version: 1 # name: test_flash_starcoder dict({ 'details': dict({ 'best_of_sequences': None, 'finish_reason': , 'generated_tokens': 10, 'prefill': list([ dict({ 'id': 589, 'text': 'def', }), dict({ 'id': 1459, 'text': ' print', }), dict({ 'id': 81, 'text': '_', }), dict({ 'id': 7656, 'text': 'hello', }), ]), 'seed': None, 'tokens': list([ dict({ 'id': 2262, 'special': False, 'text': '():', }), dict({ 'id': 284, 'special': False, 'text': ''' ''', }), dict({ 'id': 1459, 'special': False, 'text': ' print', }), dict({ 'id': 440, 'special': False, 'text': '("', }), dict({ 'id': 8279, 'special': False, 'text': 'Hello', }), dict({ 'id': 10896, 'special': False, 'text': ' World', }), dict({ 'id': 657, 'special': False, 'text': '")', }), dict({ 'id': 203, 'special': False, 'text': ''' ''', }), dict({ 'id': 203, 'special': False, 'text': ''' ''', }), dict({ 'id': 589, 'special': False, 'text': 'def', }), ]), }), 'generated_text': ''' (): print("Hello World") def ''', }) # --- # name: test_flash_starcoder_default_params dict({ 'details': dict({ 'best_of_sequences': None, 'finish_reason': , 'generated_tokens': 12, 'prefill': list([ dict({ 'id': 589, 'text': 'def', }), dict({ 'id': 1459, 'text': ' print', }), dict({ 'id': 81, 'text': '_', }), dict({ 'id': 7656, 'text': 'hello', }), ]), 'seed': 0, 'tokens': list([ dict({ 'id': 2262, 'special': False, 'text': '():', }), dict({ 'id': 284, 'special': False, 'text': ''' ''', }), dict({ 'id': 5741, 'special': False, 'text': ' logging', }), dict({ 'id': 32, 'special': False, 'text': '.', }), dict({ 'id': 1338, 'special': False, 'text': 'info', }), dict({ 'id': 463, 'special': False, 'text': "('", }), dict({ 'id': 8279, 'special': False, 'text': 'Hello', }), dict({ 'id': 30, 'special': False, 'text': ',', }), dict({ 'id': 10896, 'special': False, 'text': ' World', }), dict({ 'id': 683, 'special': False, 'text': "')", }), dict({ 'id': 203, 'special': False, 'text': ''' ''', }), dict({ 'id': 0, 'special': True, 'text': '<|endoftext|>', }), ]), }), 'generated_text': ''' (): logging.info('Hello, World') <|endoftext|> ''', }) # --- # name: test_flash_starcoder_load list([ dict({ 'details': dict({ 'best_of_sequences': None, 'finish_reason': , 'generated_tokens': 10, 'prefill': list([ dict({ 'id': 589, 'text': 'def', }), dict({ 'id': 1459, 'text': ' print', }), dict({ 'id': 81, 'text': '_', }), dict({ 'id': 7656, 'text': 'hello', }), ]), 'seed': None, 'tokens': list([ dict({ 'id': 2262, 'special': False, 'text': '():', }), dict({ 'id': 284, 'special': False, 'text': ''' ''', }), dict({ 'id': 1459, 'special': False, 'text': ' print', }), dict({ 'id': 440, 'special': False, 'text': '("', }), dict({ 'id': 8279, 'special': False, 'text': 'Hello', }), dict({ 'id': 10896, 'special': False, 'text': ' World', }), dict({ 'id': 657, 'special': False, 'text': '")', }), dict({ 'id': 203, 'special': False, 'text': ''' ''', }), dict({ 'id': 203, 'special': False, 'text': ''' ''', }), dict({ 'id': 589, 'special': False, 'text': 'def', }), ]), }), 'generated_text': ''' (): print("Hello World") def ''', }), dict({ 'details': dict({ 'best_of_sequences': None, 'finish_reason': , 'generated_tokens': 10, 'prefill': list([ dict({ 'id': 589, 'text': 'def', }), dict({ 'id': 1459, 'text': ' print', }), dict({ 'id': 81, 'text': '_', }), dict({ 'id': 7656, 'text': 'hello', }), ]), 'seed': None, 'tokens': list([ dict({ 'id': 2262, 'special': False, 'text': '():', }), dict({ 'id': 284, 'special': False, 'text': ''' ''', }), dict({ 'id': 1459, 'special': False, 'text': ' print', }), dict({ 'id': 440, 'special': False, 'text': '("', }), dict({ 'id': 8279, 'special': False, 'text': 'Hello', }), dict({ 'id': 10896, 'special': False, 'text': ' World', }), dict({ 'id': 657, 'special': False, 'text': '")', }), dict({ 'id': 203, 'special': False, 'text': ''' ''', }), dict({ 'id': 203, 'special': False, 'text': ''' ''', }), dict({ 'id': 589, 'special': False, 'text': 'def', }), ]), }), 'generated_text': ''' (): print("Hello World") def ''', }), dict({ 'details': dict({ 'best_of_sequences': None, 'finish_reason': , 'generated_tokens': 10, 'prefill': list([ dict({ 'id': 589, 'text': 'def', }), dict({ 'id': 1459, 'text': ' print', }), dict({ 'id': 81, 'text': '_', }), dict({ 'id': 7656, 'text': 'hello', }), ]), 'seed': None, 'tokens': list([ dict({ 'id': 2262, 'special': False, 'text': '():', }), dict({ 'id': 284, 'special': False, 'text': ''' ''', }), dict({ 'id': 1459, 'special': False, 'text': ' print', }), dict({ 'id': 440, 'special': False, 'text': '("', }), dict({ 'id': 8279, 'special': False, 'text': 'Hello', }), dict({ 'id': 10896, 'special': False, 'text': ' World', }), dict({ 'id': 657, 'special': False, 'text': '")', }), dict({ 'id': 203, 'special': False, 'text': ''' ''', }), dict({ 'id': 203, 'special': False, 'text': ''' ''', }), dict({ 'id': 589, 'special': False, 'text': 'def', }), ]), }), 'generated_text': ''' (): print("Hello World") def ''', }), dict({ 'details': dict({ 'best_of_sequences': None, 'finish_reason': , 'generated_tokens': 10, 'prefill': list([ dict({ 'id': 589, 'text': 'def', }), dict({ 'id': 1459, 'text': ' print', }), dict({ 'id': 81, 'text': '_', }), dict({ 'id': 7656, 'text': 'hello', }), ]), 'seed': None, 'tokens': list([ dict({ 'id': 2262, 'special': False, 'text': '():', }), dict({ 'id': 284, 'special': False, 'text': ''' ''', }), dict({ 'id': 1459, 'special': False, 'text': ' print', }), dict({ 'id': 440, 'special': False, 'text': '("', }), dict({ 'id': 8279, 'special': False, 'text': 'Hello', }), dict({ 'id': 10896, 'special': False, 'text': ' World', }), dict({ 'id': 657, 'special': False, 'text': '")', }), dict({ 'id': 203, 'special': False, 'text': ''' ''', }), dict({ 'id': 203, 'special': False, 'text': ''' ''', }), dict({ 'id': 589, 'special': False, 'text': 'def', }), ]), }), 'generated_text': ''' (): print("Hello World") def ''', }), ]) # ---