你用CNB跑通deepseek-harness流水线,给V4 Pro出的5道硬考题,结果出乎意料,是哪里出了问题?
- 内容介绍
- 文章标签
- 相关推荐
从CNB到DeepSeek‑Harness:一次跌宕起伏的测试之旅
稳了! 当我第一次在本地的CNB周边环境里尝试跑通deepseek‑harness流水线时心里只有两个词:期待与忐忑。DeepSeek 刚刚发布的 V4 Pro, 官方宣称它是“模型+Harness=Agent”的全崭新范式,号称能够无缝调用工具、读写文件、落实终端指令。于是 我给它准备了五道“坚硬考题”,每一道都围绕真实实开发场景设计,意图彻底检验它的更多步骤推理与工具调用能力。
一、 坚硬考题全景概览
- 题目 1:在项目根目录下创建一个名为
utils.py的文件,内容是一个能够计算斐波那契数列的函数,并写入单元测试。 - 题目 2:采用
git命令将当前仓库切换到feature/optimize分支,并合并最崭新的Main分支。 - 题目 3:读取位于
/etc/hosts的系统文件,解析出全部本地域名并输出 JSON 格式。 - 题目 4:调用外部 REST API,将返回的温度写入一个名为
alert.txt的文件。 - 题目 5:在 Docker 容器中启动一个临时的 HTTP 服务, 监听端口 8080,并返回“Hello DeepSeek”。紧接着关闭容器。
我们一起... *注:以上任务均需要模型先进行思考、 生成代码、落实命令,再对最终还是结果是进行校验,这正是 Harness 所承诺的“可观测、可回溯”特性所在。
从CNB到DeepSeek‑Harness:一次跌宕起伏的测试之旅
稳了! 当我第一次在本地的CNB周边环境里尝试跑通deepseek‑harness流水线时心里只有两个词:期待与忐忑。DeepSeek 刚刚发布的 V4 Pro, 官方宣称它是“模型+Harness=Agent”的全崭新范式,号称能够无缝调用工具、读写文件、落实终端指令。于是 我给它准备了五道“坚硬考题”,每一道都围绕真实实开发场景设计,意图彻底检验它的更多步骤推理与工具调用能力。
一、 坚硬考题全景概览
- 题目 1:在项目根目录下创建一个名为
utils.py的文件,内容是一个能够计算斐波那契数列的函数,并写入单元测试。 - 题目 2:采用
git命令将当前仓库切换到feature/optimize分支,并合并最崭新的Main分支。 - 题目 3:读取位于
/etc/hosts的系统文件,解析出全部本地域名并输出 JSON 格式。 - 题目 4:调用外部 REST API,将返回的温度写入一个名为
alert.txt的文件。 - 题目 5:在 Docker 容器中启动一个临时的 HTTP 服务, 监听端口 8080,并返回“Hello DeepSeek”。紧接着关闭容器。
我们一起... *注:以上任务均需要模型先进行思考、 生成代码、落实命令,再对最终还是结果是进行校验,这正是 Harness 所承诺的“可观测、可回溯”特性所在。

