模板匹配的模板与设置的矩形相对位置的问题

上图为框选模板后，没有改变位置所识别的结果，其中：绿色矩形为模板识别的结果，红色矩形为框选模板的同时框选的一个矩形（目的是获取红色矩形的四个顶点与模板的相对位置的坐标，也就是需要模板位置变化、旋转后矩形和绿色框模板的位置还是和上图一样）


下图是改变模板位置后，红色的矩形位置发生了错误，请问大神们这个问题怎么解决？

你肯定是模板匹配后的XYR直接用来Affine,旋转没问题,但是两个红色矩形的XY坐标需要进行三角函数转换而不是直接Affine