lmops

1

2

3
def get_length(tokenizer, text):
4
        tokenized_example = tokenizer.encode_plus(text,truncation=False,return_tensors='pt')
5
        return int(tokenized_example.input_ids.squeeze().shape[0])