302.AI API文档
Chat（长期记忆）
POST/chat/completions为任何大模型增加长期记忆功能，只需要增加一个userid参数即可。
如果此userid是第一次出现，后端会自动生成一个对应的user，并通过LLM总结对话，提取出相关的信息作为长期记忆。
如果此userid曾经出现过，后端会自动检索对应的长期记忆+更新最新记忆，自动加到系统提示词里，传递给大模型。
此功能支持绝大多数模型，要求是支持传递system提示词即可。
注意：userid必须符合uuidV4标准，如果不符合，将不会执行记忆操作。uuid生成测试链接：https://www.uuidgenerator.net/version4
此功能由我们的合作伙伴Memobase提供支持：https://www.memobase.io/
价格：限时免费，只收取模型调用费用
请求参数
将管理后台-API KEYS里生成的API KEY填在Bearer后面，比如Bearer sk-xxxx
要使用的模型的 ID。有关哪些模型适用于聊天 API 的详细信息，请参阅模型端点兼容性表。
uuidV4格式的userid
以聊天格式生成聊天完成的消息。
使用什么采样温度，介于 0 和 2 之间。较高的值（如 0.8）将使输出更加随机，而较低的值（如 0.2）将使输出更加集中和确定。 我们通常建议改变这个或top_p但不是两者。
一种替代温度采样的方法，称为核采样，其中模型考虑具有 top_p 概率质量的标记的结果。所以 0.1 意味着只考虑构成前 10% 概率质量的标记。 我们通常建议改变这个或temperature但不是两者。
为每个输入消息生成多少个聊天完成选项。
API 将停止生成更多令牌的最多 4 个序列。
聊天完成时生成的最大令牌数。 输入标记和生成标记的总长度受模型上下文长度的限制。
-2.0 和 2.0 之间的数字。正值会根据到目前为止是否出现在文本中来惩罚新标记，从而增加模型谈论新主题的可能性。 查看有关频率和存在惩罚的更多信息。
-2.0 和 2.0 之间的数字。正值会根据新标记在文本中的现有频率对其进行惩罚，从而降低模型逐字重复同一行的可能性。 查看有关频率和存在惩罚的更多信息。
修改指定标记出现在完成中的可能性。 接受一个 json 对象，该对象将标记（由标记器中的标记 ID 指定）映射到从 -100 到 100 的关联偏差值。从数学上讲，偏差会在采样之前添加到模型生成的 logits 中。确切的效果因模型而异，但 -1 和 1 之间的值应该会减少或增加选择的可能性；像 -100 或 100 这样的值应该导致相关令牌的禁止或独占选择。
{
"model": "gpt-4o-mini",
"messages": [
{
"role": "user",
"content": "我是谁？"
}
],
"userid": "fe657e7e-862e-4be0-990d-37428979a38c"
}示例代码
返回响应
{
"id": "chatcmpl-123",
"object": "chat.completion",
"created": 1677652288,
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "\n\nHello there, how may I assist you today?"
},
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 9,
"completion_tokens": 12,
"total_tokens": 21
}
}