pip3 install --upgrade tiktoken
import tiktoken
str='''
请描述一下以下代码实现了什么功能:
print("hello world")
'''
encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")
codelist = encoding.encode(str)
print(len(codelist))
[print(encoding.decode_single_token_bytes(token)) for token in codelist]
估算的话，英文字数/4=1token,中文1字=1token