随记-点选验证码（二）

之前写过一篇文章随记-点选验证码，当时借助了 ddddocr 完成了ocr 识别，这篇文章算是对之前的补充。
本次更换了新的方案：

通过 ultralytics（YOLO8）训练自己的模型
- 吐槽一句：标注真是一件耗时的事情啊，自己标注了 1600张图片
- 准确率：因为标注的样本以及刚刚接触 ultralytics 的原因，准确率较低。

验证码示例

我将一张完整的验证码图片，划分为两部分 verify 和 target。

target 包含了文字和顺序信息两部分
verify 包含了文字和坐标信息两部分

效果

target
verify

主要代码


def run(image_base_path):
    
    driver.get('https://www.bilibili.com/')

    # 点击 头像
    click_element(driver, """ //div[@class="header-login-entry"] """)
   
    # 点击 短信登录
    click_element(driver, """ //div[@class="login-tab-item"] """)
    
    # 输入 手机号
    input_element(driver, """ //div[@class="login-sms-wp__cid"]/../input """, "15266666666")
    
    # 点击 获取验证码
    click_element(driver, """ //div[@class="login-sms-wp__cid"]/../div[@class="login-sms-send clickable "] """)
    
    style_value = get_element_value(driver, """ //div[@class="geetest_widget"]//div[@class="geetest_tip_img"] """, "style", 10)
    
    target_image_path, verify_image_path = save_image(image_base_path, style_value)
    
    print(target_image_path, verify_image_path)

    results_list = []
    
    # 预测 target
    model = YOLO("C:/Workspace/G_01_Gitee/demo_click_text/yolo/target_600.pt")
    results_list.extend(model([target_image_path]))
    
    # 预测 verify
    model = YOLO("C:/Workspace/G_01_Gitee/demo_click_text/yolo/verify_1000.pt")
    results_list.extend(model([verify_image_path]))
    
        
    for result in results_list:
        boxes = result.boxes  # Boxes object for bounding box outputs
        masks = result.masks  # Masks object for segmentation masks outputs
        keypoints = result.keypoints  # Keypoints object for pose outputs
        probs = result.probs  # Probs object for classification outputs
        obb = result.obb  # Oriented boxes object for OBB outputs
        
        label_index = list(boxes.cls.numpy().astype(int))
        label_conf = list(boxes.conf.numpy())
        
        # 输出label 和 置信度
        for index, value in enumerate(label_index):
            print(f"label:{result.names[value]}, conf:{label_conf[index]}")
        
        result.show()  # display to screen
        result.save(filename="result.jpg")  # save to disk