本文介绍了基于 UI 交互意图理解的异常检测方法。文章首先介绍了美团到店平台技术部 / 质量工程部与复旦大学合作开发的多模态 UI 交互意图识别模型以及配套的 UI 交互框架。然后，文章详细阐述了 UI 交互意图识别的背景和难点，并提出利用多模态模型对用户可见文本、视觉图像内容和 UI 组件树中的属性进行融合，实现准确识别 UI 交互意图的方法。该方法在实际业务中展现出可以跨端、跨 App 泛化能力，并具有可借鉴的意义。最后，文章展望了基于 UI 交互意图理解能力在智能测试用例驱动、跨分辨率 UI Diff 等领域应用上的潜力，并说明了未来研究方向和落地计划。