跳转到内容
彼岸论坛
欢迎抵达彼岸 彼岸花开 此处谁在 -彼岸论坛

[OpenAI] LLM 的长文本的复杂推理优化问题


已推荐帖子

发表于
提示词长度几 K
输入加输出,大概 10K
推理是个树状的结构

如果直接单轮,准确性问题很大
"一步步思考"之类是个摆设
结构化提示词也收效甚微
也试过请 llm 自己优化提示词,没给出什么有价值的优化

目前发现效果最好的是,把整个任务拆了,每个子任务只包含需要的部分,每次只请求一个任务
这个方案缺点有:
1. token 翻倍(这个怎么解决? 毕竟 token 就是金钱)
2. 耗时翻倍(这个可以并发解决)

或者大家有没有更好的方案?
  • 游客注册

    游客注册

  • 会员

    没有会员可显示

  • 最新的状态更新

    没有最新的状态更新
  • 最近查看

    • 没有会员查看此页面.
×
×
  • 创建新的...