求助焊缝特征点识别图像处理算法

       目前我基于opencv用c++写了一个代码，但是总感觉笨笨的，因为刚接触图像处理，自己一个人实在是有太多不懂的，所以来请教各位大佬，看看有没有更好更简洁的办法。

线结构光扫描的焊缝图像

       我需要将图中焊缝的顶点，也就是那个尖尖给检测到，还要尽可能的准确，由于这个图像在实际应用中不一定是朝上的，所以不能直接遍历所有点直接检测最高点。最好是通过拟合直线求交点的方式，把那个顶点计算出来。所以算法的关键是通过直线的拟合来找交点。我自己写的代码直线拟合的不是很好，经常丢直线，或者有重复直线，导致求交点经常出现一些奇怪的点。

我的检测结果如下图，最左边的直线检测不到拟合不上不知道为啥，改阈值也不行，不是最左边拟合不上就是最右边拟合不上，挺头疼的。而且求交点我写的也不好，我是让相邻两直线求交点，然后对交点进行筛选，保留最高点，这样在实际应用中是不行的，因为如果焊缝是歪的那这个检测的就不对了，我不清楚该怎么改筛选条件能确保把这个尖尖处的点给保留下来。

结果

代码如下：

1. Mat image, grayImg, binaryImg;
   
2.     image = imread("C:\\Users\\86150\\Desktop\\tiliang.jpg");
   
3.     //灰度二值化
   
4.     cvtColor(image, grayImg, COLOR_BGR2GRAY);
   
5.     threshold(grayImg, binaryImg, 50, 255, THRESH_BINARY);//阈值调节
   
6. 
   
7.     // 霍夫直线检测
   
8.     vector<Vec4i> lines; // 注意这里使用了 Vec4i，它包含了两个点的坐标 (x1, y1) 和 (x2, y2)，表示直线的两个端点
   
9.     HoughLinesP(binaryImg, lines, 1, CV_PI / 180, 10, 30, 30); // 参数可根据具体情况调整(后三个，阈值、最小直线长度、最大线段间隙)
   
10. 
    
11.     // 创建彩色直线图像
    
12.     Mat colorLinesImage = Mat::zeros(binaryImg.size(), CV_8UC3);
    
13. 
    
14.     // 存储代表性直线和对应的斜率
    
15.     vector<pair<Vec4i, double>> uniqueLinesWithSlope;
    
16. 
    
17.     // 绘制直线并记录斜率
    
18.     for (size_t i = 0; i < lines.size(); i++) {
    
19.         Vec4i l = lines[/color][i][color=#2e8b57]; //l的存储大概是x,y。l[0]是第一个点的横坐标，l[1]是纵坐标
    
20.         bool unique = true;
    
21. 
    
22.         // 检查直线是否有效，避免起点和终点重合导致的问题
    
23.         if (l[0] == l[2] && l[1] == l[3]) {
    
24.             continue; // 起点和终点重合，跳过这条直线
    
25.         }
    
26. 
    
27.         // 计算当前直线的斜率
    
28.         double dx = static_cast<double>(double(l[2]) - double(l[0]));
    
29.         if (dx == 0.0) {
    
30.             continue; // 避免除数为零的情况
    
31.         }
    
32.         double slope_current = static_cast<double>(double(l[3]) - double(l[1]) )/ dx;
    
33. 
    
34.         // 遍历已有的代表性直线，判断是否与当前直线相似
    
35.         for (size_t j = 0; j < uniqueLinesWithSlope.size(); j++) {
    
36.             Vec4i ul = uniqueLinesWithSlope[j].first;
    
37.             double slope_unique = uniqueLinesWithSlope[j].second;
    
38. 
    
39.             // 判断当前直线与已有直线是否相似，小于的是阈值
    
40.             if (abs(slope_current - slope_unique) < 0.07) {
    
41.                 unique = false;
    
42.                 break;
    
43.             }
    
44.         }
    
45. 
    
46.         // 如果当前直线是独特的，则加入到代表性直线集合中
    
47.         if (unique) {
    
48.             uniqueLinesWithSlope.push_back(make_pair(l, slope_current));
    
49.             // line(colorLinesImage, Point(l[0], l[1]), Point(l[2], l[3]), Scalar(0, 0, 255), 1, LINE_AA);//在colorLinesImage中显示图像
    
50.             line(image, Point(l[0], l[1]), Point(l[2], l[3]), Scalar(0, 0, 255), 1, LINE_AA);//在image中显示图像
    
51.         }
    
52.     }
    
53. 
    
54. 
    
55. // 对检测到的直线按照左端点的横坐标排序
    
56.     sort(uniqueLinesWithSlope.begin(), uniqueLinesWithSlope.end(), [](const pair<Vec4i, double>& a, const pair<Vec4i, double>& b) {
    
57.         return a.first[0] < b.first[0];
    
58.         });
    
59. 
    
60.     // 存储直线交点及其对应的直线索引
    
61.     vector<pair<Point2f, pair<int, int>>> intersections;
    
62. 
    
63.     // 对相邻直线进行遍历，找到斜率突变的直线并求交点
    
64.     for (size_t i = 0; i < uniqueLinesWithSlope.size() - 1; i++) {
    
65.         Vec4i line1 = uniqueLinesWithSlope[/color][i][color=#2e8b57].first;
    
66.         double slope1 = uniqueLinesWithSlope[/color][i][color=#2e8b57].second;
    
67. 
    
68.         Vec4i line2 = uniqueLinesWithSlope[i + 1].first;
    
69.         double slope2 = uniqueLinesWithSlope[i + 1].second;
    
70. 
    
71.         // 计算直线1的参数
    
72.         double x1 = line1[0], y1 = line1[1], x2 = line1[2], y2 = line1[3];
    
73.         double A1 = y2 - y1;
    
74.         double B1 = x1 - x2;
    
75.         double C1 = A1 * x1 + B1 * y1;
    
76. 
    
77.         // 计算直线2的参数
    
78.         double x3 = line2[0], y3 = line2[1], x4 = line2[2], y4 = line2[3];
    
79.         double A2 = y4 - y3;
    
80.         double B2 = x3 - x4;
    
81.         double C2 = A2 * x3 + B2 * y3;
    
82. 
    
83.         // 计算交点坐标
    
84.         double det = A1 * B2 - A2 * B1;
    
85.         if (det != 0) { // 确保直线不平行
    
86.             double intersection_x = (B2 * C1 - B1 * C2) / det;
    
87.             double intersection_y = (A1 * C2 - A2 * C1) / det;
    
88. 
    
89.             // 将交点坐标及对应的直线索引添加到交点向量中
    
90.             intersections.push_back(make_pair(Point2f(intersection_x, intersection_y), make_pair(i, i + 1)));
    
91.         }
    
92.     }
    
93. 
    
94.     // 在彩色直线图像上绘制交点及其来源直线
    
95.     for (const auto& intersection : intersections) {
    
96.         Point2f point = intersection.first;
    
97.         int line1_index = intersection.second.first;
    
98.         int line2_index = intersection.second.second;
    
99. 
    
100.         // 标注交点
     
101.         circle(image, point, 5, Scalar(255, 0, 0), -1); // 以蓝色绘制交点
     
102.          // 在交点附近标注直线索引
     
103.         putText(image, "Line " + to_string(line1_index) + " & Line " + to_string(line2_index),
     
104.             point + Point2f(10, -10), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 0, 255), 1);
     
105.     }
     
106. 
     
107.     // 找到位置最高的交点，，要修改，最高点不准确
     
108.     Point2f highestPoint;
     
109.     bool foundHighestPoint = false;
     
110. 
     
111.     for (const auto& intersection : intersections) {
     
112.         Point2f point = intersection.first;
     
113.         if (!foundHighestPoint || point.y < highestPoint.y) {
     
114.             highestPoint = point;
     
115.             foundHighestPoint = true;
     
116.         }
     
117.     }
     
118. 
     
119.     // 在图像上绘制位置最高的交点及其坐标
     
120.     if (foundHighestPoint) {
     
121.         // 标注交点
     
122.         circle(image, highestPoint, 5, Scalar(0, 255, 0), -1); // 以绿色绘制最高点
     
123. 
     
124.         // 在交点附近标注坐标
     
125.         putText(image, "(" + to_string(static_cast<int>(highestPoint.x)) + ", " + to_string(static_cast<int>(highestPoint.y)) + ")",
     
126.             highestPoint + Point2f(10, -10), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 255, 0), 1);
     
127.     }
     
128. 
     
129.     //// 显示彩色直线图像
     
130.     imshow("Detected Lines", image);

复制代码

恳请各位大佬救救孩子

左边直线干扰区域较多

8034zhang 发表于 2024-6-19 16:57
左边直线干扰区域较多

大佬请细说，那怎么才能拟合上呢

这是再做线激光相机引导机器人焊接呀