FST: Fast-Thinking Slow-Thinking Task Decomposition for LLMs (arXiv:2504.08690)
### 主要内容1. **研究背景**:大语言模型(LLMs)在自然语言处理领域广泛应用,但处理复杂任务时存在局限。现有任务分解方法在面对复杂逻辑和约束的任务时效果不佳,导致生成的解决方案偏离任务目标或包含冗余、错误内容。2. **相关工作**:回顾现有任务分解方法,包括顺序分解法和并行分解法。顺序分解法用于解决推理问题,并行分解法用于处理子任务相互独立的任务。多数现有方法类似人类慢思考系统,易使LLMs过度关注细节而忽略任务全局意义。3. **方法介绍**:提出“快思考-慢思考”(FST)任务分解方法,模拟人类思考模式,分为快思考(FT)、慢思考(ST)和输出检查(OI)三个步骤。FT简化任务,生成通用解决方案;ST考虑被FT忽略的约束,优化解决方案;OI检查并纠正前两步可能出现的错误。4. **算法实现**:给出FST在不同任务上的通用提示模板,包括FT、ST和OI的具体提示设计,通过设置身份、简化任务、生成答案、重新考虑约束、改进答案以及检查正确性和其他特征等步骤,引导LLMs完成任务。5. **实验结果**:在数学推理、长文本回答和受限故事生成三类任务上进行实验,使用GPT-3.5-turbo、Llama-3.1-8B-Instruct和Gemini-pro作为骨干模型,与多种基线方法对比。结果表明FST在多个指标上显著优于基线方法,消融实验和稳定性研究验证了FST各步骤的有效性和方法的稳定性。### 创新点1. **模拟人类思考模式**:首次明确将人类的快思考和慢思考系统结合用于问题分解,使LLMs能够从粗到细地处理复杂任务,兼顾任务全局和局部信息,提升性能。2. **独特的任务处理方式**:与类似的Step-Back Prompting等方法不同,FST先简化任务再逐步细化,通过去除