最近通院发布了基于他们自研环境Tongsim开发的一些比赛题目今天这个博文记录一下我使用该环境的过程。他们贴心的提供了可以直接跑的 VLM baseline Agent可以直接运行而且项目里还附带了详细的使用说明和环境构思这部分强烈推荐对整个评测环境架构感兴趣的同学学习一下。好的首先我们到官网下载比赛相关压缩包到本地并解压有几个主要文件夹基准Agent, 客户端赛题系统和文档说明。进入客户端文件夹双击Run.bat可以直接打开测试引擎这个可以一直开着当后续我们在Terminal运行测试任务时引擎画面会切换到对应任务类似任务在跟引擎通信让他帮忙做一些事情之后我们尝试运行评测任务和智能体算法测试任务也是用脚本就可以直接运行但是运行baseline agent前我们要安装uv和对应库。任务相关文件在赛题系统下初赛总共有五道题目我们开启一个Terminal然后运行其中一个测试任务但是此时并不会开启测试原因是我们还没有运行Agent算法。Agent代码在基准Agent文件夹下我们进入该文件夹。小编这里用的conda管理环境并用conda中的pip安装uvconda create -n tcom python3.12 conda activate tcom pip install uv然后我们在 arenaagentpro-competition下运行uv sync这一步会根据文件夹中的.toml配置文件进行环境配置。除此之外我们还需要生成Agent跟环境通信用的grpc配置文件并将项目里的agent配置进行重新命名方便直接使用uv run scripts/generate_pb2.py copy config.toml.example config.tomlOk到此为止便可以运行Agent算法了激动人心的时刻即将到来...不好意思忘了最重要的一步由于主办方提供的baseline Agent是需要接入VLM模型的所以我们需要在运行Agent的终端先指定API Key这一部分具体可以参考赛事说明文件。之后打开终端运行Agent可以发现VLM的返回输出打印在终端同时引擎画面也开始变化为了方便debug我们还可以在logs/prompt下看到每一帧的图像/语义分割和Prompt/response具体信息该说不说他们这个可以返回语义分割兼物体序号的功能真不错可以有效降低智能体“判断当前看到的物体是不是我之前看到的那个”的难度。小编之前做其他三维智能体项目的时候被这个问题困扰了很久。在train模式引擎有画面开发完成后便可以在test模式测试算法得到五个任务的运行结果并用start_bash自带的整合功能整合为一个result_package.bin进行提交官网提交后的页面如下所示好了到此为止我们完全跑通了整个流程拿到了最基本的初始得分之后便可以开始改进算法拿到更高的名次不说了我们决赛见 886
