config.json

{
  'vocab_size': 256000,
  'max_position_embeddings': 8192,
  'num_hidden_layers': 18,
  'num_attention_heads': 8,
  'num_key_value_heads': 1,
  'hidden_size': 2048,
  'intermediate_size': 16384,
  'head_dim': 256,
  'rms_nms_eps': 1e-6,
  'dtype': 'bfloat16',
  'quant': false,
  'tokenizer': 'tokenizer/tokenizer.model',
}