使用 CloudFlare 后如何才能不影响搜索引擎蜘蛛爬虫

今天，明月给大家再次详细讲解一下，明月在使用 CloudFlare 后如何才能不影响搜索引擎蜘蛛爬虫对站点的抓取，因为这是很多首次使用 CloudFlare 的站长们容易忽略和触犯的问题，并不是 CloudFlare 不友好，而是 CloudFlare 的防火墙（WAF）实在是太给力。其实在【CloudFlare 如何让合法搜索引擎蜘蛛爬虫正常抓取】一文里就给大家分享过使用 CloudFlare 后如何放行搜索引擎蜘蛛爬虫，但因为 CloudFlare 后台多次升级更新，相应的设置也有了些许的变化，所以明月感觉有必要重新给大家分享一下。

目前，明月发现到的 CloudFlare 影响搜索引擎爬虫的只有两个地方，理论上只要这两个地方配置好了，任何搜索引擎爬虫都是可以畅通无阻的来你的站点抓取的，并且每次来访蜘蛛爬虫都可以在 CloudFlare 后台【安全性】——【事件】里看到记录的，如下图所示：

使用 CloudFlare 后如何才能不影响搜索引擎蜘蛛爬虫

可以看到，虽然明月博客已经迁移到境外服务

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/619254.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

IDEA及Maven配置代理及Maven中央仓库配置详解

IDEA及Maven配置代理及Maven中央仓库配置详解

一、配置代理 首先，需要本地开启代理入口，如图。 这个跟你使用代理软件有关。像我使用的是qv2ray。 其次，idea配置代理，如图。 1.1 idea配置代理 打开Settings，如图 1.2 maven配置代理 maven配置代理，修…
阅读更多...
2024湖南理工学院程序设计竞赛（同步赛） G. 区间递减（思维题 分类讨论 ST表）

2024湖南理工学院程序设计竞赛（同步赛） G. 区间递减（思维题 分类讨论 ST表）

题目 https://ac.nowcoder.com/acm/contest/82672/G 思路来源 出题人 涼風青葉7代码 题解 注意到三种情况即可， 第一种情况，10 9 8 1 2，保留1 第二种情况，6 5 10 9 4 4，保留5 4 4 第三种情况，6 5 4&…
阅读更多...
基于Springboot的校园疫情防控管理系统（有报告）。Javaee项目，springboot项目。

基于Springboot的校园疫情防控管理系统（有报告）。Javaee项目，springboot项目。

演示视频： 基于Springboot的校园疫情防控管理系统（有报告）。Javaee项目，springboot项目。 项目介绍： 采用M（model）V（view）C（controller）三层体系…
阅读更多...
Python 整数类型（int）详解：无限范围与多种进制

Python 整数类型（int）详解：无限范围与多种进制

引言 在编程中，整数是最基本的数据类型之一。不同编程语言对整数的处理方式各不相同，这往往影响到程序的性能和开发者的选择。本文将深入探讨 Python 中的整数类型（int），其独特的处理方式，以及它在日常编程…
阅读更多...
【数据结构】环状链表OJ题

【数据结构】环状链表OJ题

✨✨✨专栏：数据结构 🧑‍🎓个人主页：SWsunlight 一、OJ 环形链表： 快慢指针即可解决问题: 2情况： 快指针走到结尾（不是环）快指针和尾指针相遇（是环的） …
阅读更多...
C语言——文件缓冲区

C语言——文件缓冲区

一、用户缓冲区和系统缓冲区 缓冲区的概念确实可以分为多个层次，其中最常见的两个层次是用户缓冲区和系统缓冲区。 这里的用户缓冲区和系统缓冲区都包括输入输出缓冲区。 1、用户缓冲区（User-space Buffer） 用户缓冲区是指由用户程序&…
阅读更多...
09.zabbix自定义模块并使用

09.zabbix自定义模块并使用

zabbix自定义模块并使用 根据tcp的11中状态获取值，进行批量配置监控项 [rootyunlong66 ~]# cat /etc/zabbix/zabbix_agentd.d/tcp.conf UserParameterESTABLISHED,netstat -antp |grep -c ESTABLISHED UserParameterSYN_SENT,netstat -antp |grep -c SYN_SENT Use…
阅读更多...
免费思维13招之七：空间型思维

免费思维13招之七：空间型思维

免费思维13招之七：空间型思维 本篇给你带来的是空间型思维。 空间型思维，具体分为内部空间型思维和外部空间型思维。 什么叫内部空间型思维呢？ 内部空间型就是充分利用现有空间或资源为社会提供免费服务，积累人气，增加流量，从而带动消费。 为什么你生意不好？为什么你…
阅读更多...
银河麒麟服务器操作系统扩展磁盘容量方法（非LVM）

银河麒麟服务器操作系统扩展磁盘容量方法（非LVM）

此方法的使用场景为：对普通的分区扩容，分区格式为xfs，不适用于lvm逻辑卷的扩容。 注意：扩展磁盘空间的操作风险较高，最好先做好备份，或在实验环境下操作成功后，再对目标系统进行扩容操作&#…
阅读更多...
当代 Qt 正确的 安装方法 及 多版本切换

当代 Qt 正确的 安装方法 及 多版本切换

此文写于 20240511 首先去网站Index of /official_releases/online_installers下载一个安装器 安装器有什么用? 可以浏览安装版本 安装组件 安装器版本越能 能装的东西越多 现在只能选Qt5 和 Qt6 至于你公司用的Qt4 我也没招 见招时再拆招 安装器 默认国外源 可以换国内…
阅读更多...
栈的讲解

栈的讲解

栈的概念及结构 栈：一种特殊的线性表，其只允许在固定的一端进行插入和删除元素操作。 进行数据插入和删除操作的一端称为栈顶，另一端称为栈底（因为先进后出）。栈中的数据元素遵守后进先出LIFO（Last In Firs…
阅读更多...
18 【Aseprite 作图】工具栏介绍

18 【Aseprite 作图】工具栏介绍

1 在没有输入法的情况下， 按住Shift 大写的N，就可以快速新建图层 ctrl z 撤回这个图层 2 双击图层，可以修改图层名称和属性 3 按住图层，拖动图层，可以把图层拉到 组，就可以方便一组一组管理图层 4 保存的…
阅读更多...
Redis—图文详解高可用原因

Redis—图文详解高可用原因

本文不会讲解Redis的用途，关于用途会发另一片文章讲解，本文主要讲的是高可用的原理。 Redis高可用主要有以下三个原因：主从模式(上一篇讲Kafka的文章里有涉及到)，哨兵模式，Redis-Cluster(Redis集群)。 什么是主从模式…
阅读更多...
消息队列——Kafka

消息队列——Kafka

1、什么是消息队列，什么是Kafka？ 我们通常说的消息队列，简称MQ（Message Queue），它其实就指消息中间件，比较流行的开源消息中间件有：Kafka、RabbitMQ、RocketMQ等。今天我们要介绍的…
阅读更多...
基于yolov8+gradio目标检测演示系统设计

基于yolov8+gradio目标检测演示系统设计

YOLOv8与Gradio：开启目标检测的可视化新篇章 随着人工智能技术的飞速发展，目标检测作为计算机视觉领域的重要分支，已经广泛应用于安防监控、自动驾驶、医疗影像等多个领域。而YOLO（You Only Look Once）系列算法作为目…
阅读更多...
（七）SQL基础知识练习题（选择题）（上）#CDA学习打卡

（七）SQL基础知识练习题（选择题）（上）#CDA学习打卡

本文整理了SQL基础知识相关的练习题，共133道，可作为CDA一级的补充习题，也适用于刚入门初级SQL想巩固基础的同学。来源：如荷学数据科学题库（技术专项-SQL）。暂时按照原题库顺序present，如有需要之…
阅读更多...
网安面经之文件包含漏洞

网安面经之文件包含漏洞

一、文件包含漏洞 1、文件包含漏洞原理？危害？修复？ 原理：开发⼈员⼀般希望代码更灵活，所以将被包含的⽂件设置为变量，⽤来进⾏动态调⽤，但是由于⽂件包含函数加载的参数没有经过过滤或者严格的…
阅读更多...
巩固学习6

巩固学习6

正则表达式 又称规则表达式，Regular Expression，在代码中常简写为regex、regexp或RE），是一种文本模式，包括普通字符（例如，a到z之间的字母）和特殊字符（称为“元字符”&…
阅读更多...
基于Springboot的村庄果园预售系统（有报告）。Javaee项目，springboot项目。

基于Springboot的村庄果园预售系统（有报告）。Javaee项目，springboot项目。

演示视频： 基于Springboot的村庄果园预售系统（有报告）。Javaee项目，springboot项目。 项目介绍： 采用M（model）V（view）C（controller）三层体系结构…
阅读更多...
全面了解 LLM 微调——根据应用场景独特需求定制大型语言模型

全面了解 LLM 微调——根据应用场景独特需求定制大型语言模型

1.概述 截至2023年，大型语言模型（LLM）的发展确实在不断进步，涌现出了多种新的模型，如ChatGLM、Alpaca、Falcon以及Llama 2，还有GPT-4等。这些模型在自然语言处理领域展现出了强大的潜力，它们能…
阅读更多...
最新文章

Copyright @ 2022~2023