OpenAI在6月13日进行了大规模的价格调整和功能升级，其中text-embedding-ada-002降价95%，GPT-3.5-turbo降价25%，GPT-4更是支持高达32K的文本处理。那么，使用ChatGPT聊天究竟要花多少钱呢？本文将从多个角度为您详细解析。
OpenAI的定价机制
在OpenAI的官网上，详细说明了ChatGPT的价格计算方式，其费用是以token为单位计算的。那么，token是什么？如何计算token？我们来一探究竟。
什么是Token？
Token是ChatGPT处理文本的基本单位，可以理解为单词或子词单元。通常情况下，1000个token大约相当于750个单词。例如，以下这段英文样本的长度为35个token：
Multiple models, each with different capabilities and price points. Prices are per 1,000 tokens. You can think of tokens as pieces of words, where 1,000 tokens is about 750 words. This paragraph is 35 tokens.
Token的计算方法
ChatGPT使用Byte-Pair Encoding (BPE)算法进行分词，以下是几种常见的计算token的方法：
- Transformers：通过调用Transformers库中的tokenizer进行计算。
- OpenAI tiktoken：使用OpenAI官方提供的tiktoken工具进行计算。
- 单词数 / 0.75：通过单词数近似估算token数量。
以下是使用Transformers和tiktoken计算token的示例代码：
python
Transformers方法
def get_transformers_tokens(text: str, encoding_name: str) -> int:
tokenizer = transformers.AutoTokenizer.from_pretrained(encoding_name)
tokens = tokenizer.tokenize(text)
return len(tokens)
tiktoken方法
def get_tiktoken_tokens(text: str, encoding_name: str) -> int:
encoding = tiktoken.get_encoding(encoding_name)
return len(encoding.encode(text))
有趣的是，使用上述方法计算的结果为45个token，而OpenAI官方网页中标注的值为35个token。这一差异可能与系统提示、用户提问和AI回答等因素有关。
实际费用计算
以下是一个具体的费用计算示例：
python
import transformers
加载ChatGPT的tokenizer
tokenizer = transformers.AutoTokenizer.from_pretrained(“EleutherAI/gpt-neo-2.7B”)
将文本转换为token
text = “Hello, how are you?”
tokens = tokenizer.tokenize(text)
计算token数量
num_tokens = len(tokens)
print(“Number of tokens:”, num_tokens)
根据OpenAI的定价，GPT-3.5-turbo的输入费用为$0.0015/1K tokens，输出费用为$0.002/1K tokens。假设您的账号有5美元的额度，大约可以进行6887次英文对话。
不同模型的定价
GPT-4
- 8K上下文：输入$0.03/1K tokens，输出$0.06/1K tokens。
- 32K上下文：输入$0.06/1K tokens，输出$0.12/1K tokens。
InstructGPT
- Ada：$0.0004/1K tokens
- Babbage：$0.0005/1K tokens
- Curie：$0.0020/1K tokens
- Davinci：$0.0200/1K tokens
图像模型
- 1024×1024：$0.020/张
- 512×512：$0.018/张
- 256×256：$0.016/张
音频模型
- Whisper：$0.006/分钟（四舍五入到秒）
总结
尽管OpenAI提供了token计算工具，但其结果与官方说明存在一定差异。以GPT-3.5-turbo为例，账号自带的5美元额度大约可以进行6000多次对话。如果您想深入了解token和分词技术，建议进一步学习相关概念。
