SwiftRelay

← All sprint notes

多模态调试笔记:从截图证据到回归验收的七步实操

Model splitsZH

截图里的按钮还在,用户却说点不动;日志没有异常,页面却一直等待。遇到这类问题,先别让模型直接改代码。Gemini 4 Argon 支持文本、图像、视频和音频输入,并输出文本,适合尝试把不同形式的材料组织成一份待验证的调试分析。([ai.google.dev](https://ai.google.dev/gemini-api/docs/models/gemini-4-argon/)) 下面以“移动端结算按钮点击后没有反应”这个假设案例,走完从收集证据到记录修复的七个步骤。

一、把按钮故障写成可复现的问题

新建一份调试笔记,先写预期行为和实际行为,再记录设备、浏览器、页面版本、登录状态与操作顺序。不要只写“结算坏了”,而要写“打开购物车,展开优惠券面板,关闭面板,再点击结算,页面没有跳转”。

同时写出验收条件:关闭优惠券面板后,结算按钮能够触发请求,并进入预期页面。把尚未确认的条件单独列出,例如是否只发生在窄屏、是否依赖特定商品。这一轮的产物是复现步骤,不是根因判断。

二、给截图、录屏和日志建立共同时间线

为材料统一编号:截图一展示正常状态,截图二展示异常状态,录屏一覆盖完整操作过程。日志则保留对应时间段、请求标识和错误堆栈。上传之前,先遮盖令牌、客户信息和支付数据。

图像理解文档列出了内联图像数据和文件上传等输入方式;实际接入时,应按所用接口支持的方式传递图片,而不是只发送本地文件路径。([ai.google.dev](https://ai.google.dev/gemini-api/docs/image-understanding)) 先用一张无敏感信息的截图确认模型确实收到了图像,再提交完整材料。

  • 截图:保留完整页面,同时补充按钮附近的清晰局部图。
  • 录屏:在笔记中标记展开面板、关闭面板和点击按钮的时间点。
  • 日志:说明时间采用设备时间还是服务端时间,避免错配事件。

三、先要求描述画面,再允许提出假设

第一轮提示词可以这样写:“请按时间顺序描述材料中的可见变化。每条观察注明材料编号和时间点。把直接观察、推测和无法确认的事项分开,不要修改代码。”

例如,“按钮颜色没有变化”可以作为画面观察;“按钮被透明遮罩覆盖”只能先列为假设。要求模型解释每个判断依赖哪份材料,并指出缺少什么证据。若截图文字不清楚,就补充原始日志文本,不要让模型猜测错误内容。

将结果整理为三栏式笔记:已观察事实、候选解释、下一步验证。这一阶段不要把“看起来合理”写成“已经确认”。

四、用证据缩小需要阅读的代码范围

第二轮再补充与现象直接相关的代码,例如优惠券面板、遮罩层、结算按钮以及请求触发逻辑。附上文件路径、相关函数和当前提交标识,避免一次粘贴整个项目。

提示模型:“请把候选解释对应到具体代码位置。对于每个位置,说明它如何解释已观察事实,以及什么结果能够否定这个解释。”如果模型认为关闭面板时遮罩没有卸载,就要求它指出对应的状态更新和渲染条件。

如果材料不足以定位,优先接受“需要补充关闭面板后的元素状态”这样的回答,而不是要求模型必须给出一个根因。

五、一次只运行一个能够否定假设的实验

从候选解释中选择一个,设计最小实验。针对遮罩假设,可以在本地检查点击位置实际命中的元素,并临时隐藏疑似遮罩,重新执行相同步骤。不要同时修改层叠顺序、按钮事件和请求逻辑,否则难以判断哪个变化起作用。

  • 实验前:记录当前假设、操作步骤和预期观察。
  • 实验后:记录实际命中元素、是否发出请求及页面变化。
  • 实验判定:注明支持、否定或仍不确定,并附上对应证据。

如果隐藏遮罩后仍无法触发请求,就更新假设,不要要求模型继续为原来的解释寻找理由。将新的观察交回模型,请它调整排查顺序。

六、让最小修复通过同条件回归

只有实验支持某个原因后,才要求生成最小补丁。提示词应限定修改边界:“只处理已经验证的问题,保留现有交互,不重构无关组件,并解释每处修改对应的证据。”

修复后重新录制同一条操作路径,保持设备、视口、账号和测试数据一致。再补测面板反复开关、返回页面和窄屏滚动等相关场景。截图用于对照外观;验收还要检查事件是否触发、请求是否符合预期,以及最终状态是否正确。

把回归结果写成可核对的条目。没有执行的测试明确标记为“未执行”,不要让模型用推测补全通过记录。

七、把调用记录与调试结论一起归档

最后请模型根据已确认材料整理调试笔记,固定保留问题现象、复现步骤、证据索引、被否定的假设、根因依据、修改范围和回归结果。另存模型名称、提示词版本和材料清单,但不要保存访问密钥。

如果团队希望按实际调用量使用这套流程,可以考虑 SwiftRelay 的按词元计费中转服务。先确认所选模型及接口支持本次需要的媒体输入,再用脱敏样例验证;不要把文本请求成功当成图片或视频也已接通。需要开始实践时,可以注册 SwiftRelay,用新账户的小额赠送额度完成首轮验证。

合格的调试笔记应该让下一位开发者能够重走证据链。最终留下的不是一段“模型认为如此”的解释,而是一个经过实验支持、能够复现、能够回归验证的修复记录。

Keep reading

Back for another lap?Log in