使用 Python 设计一个具有界面场景自适应能力的分析工具,识别界面操作过程并记录操作信息。
(1)识别:采用智能算法正确识别所给视频中鼠标点击界面控件的过程信息,界面控件包含按钮(button),复选框(checkbox),单选按钮(RadioButton)及工 具栏(ToolStrip)四种; (2)记录:对视频中鼠标点击操作进行数据记录,记录的数据主要包括时间(要求精确到秒且时间数据延时<1 秒)和点击控件名称,如:按钮控件记录---2023 年 4 月 16 日 08:34:12.000 点击按钮“打开串口”;复选框控件记录---2023年4月16日08:34:12.000 勾选复选框“十六进制显示”;单选按钮控件记录---2023年 4 月 16 日 08:34:12.000 选中单选按钮“工作状态”;工具栏控件记录---2023 年4 月 16 日 08:34:12.000 选中工具栏“窗口”; (3)显示:实时显示视频中的点击操作数据; (4)实时性:每秒识别操作速率不低于 10 帧(10 张图片)。
(1)比较:将所记录的数据(仅针对控件名称)与预先提供的记录文件.txt逐一对比,如果数据匹配,则显示该图形用户界面操作生效,若不匹配则显示操作不生效; (2)准确率:控件名称准确率(与预先提供的记录文件.txt 对比)>90%; (3)实时性:每秒识别速率不低于 20 帧(20 张图片)。
需提交报告,报告主要内容见评分标准