跳转到内容
彼岸论坛
欢迎抵达彼岸 彼岸花开 此处谁在 -彼岸论坛

[OpenAI] LLM 的长文本的复杂推理优化问题


小天管理

已推荐帖子

提示词长度几 K
输入加输出,大概 10K
推理是个树状的结构

如果直接单轮,准确性问题很大
"一步步思考"之类是个摆设
结构化提示词也收效甚微
也试过请 llm 自己优化提示词,没给出什么有价值的优化

目前发现效果最好的是,把整个任务拆了,每个子任务只包含需要的部分,每次只请求一个任务
这个方案缺点有:
1. token 翻倍(这个怎么解决? 毕竟 token 就是金钱)
2. 耗时翻倍(这个可以并发解决)

或者大家有没有更好的方案?
意见的链接
分享到其他网站

加入讨论

您现在可以发表并稍后注册. 如果您是会员,请现在登录来参与讨论.

游客
回复主题...

×   粘贴为富文本.   粘贴为纯文本来代替

  只允许使用75个表情符号.

×   您的链接已自动嵌入.   显示为链接来代替

×   您之前的内容已恢复.   清除编辑器

×   您无法直接粘贴图片.要从网址上传或插入图片.

  • 游客注册

    游客注册

  • 会员

  • 最新的状态更新

    没有最新的状态更新
  • 最近查看

    • 没有会员查看此页面.
×
×
  • 创建新的...