如何使用DeadFinder寻找失效链接

关于DeadFinder

DeadFinder是一款功能强大的链接分析工具，该工具可以帮助广大研究人员快速地寻找目标页面中的无效链接（死链）。所谓死链，即一个页面中存在的无法被连接的一条链接。这些链接如果一直保留在页面中的话，可能会影响SEO的效果，更严重的可能会影响整个网站的安全。因此，DeadFinder便应运而生，在该工具的帮助下，广大研究人员可以轻松识别和修改这些死链。

工具安装

源码获取

广大研究人员可以使用下列命令将该项目源码克隆至本地：

git clone https://github.com/hahwul/deadfinder.git

使用Gem安装

我们还可以使用Gem来安装DeadFinder：

gem install deadfinder

Docker镜像安装

除此之外，该工具还提供了预构建的Docker镜像：

docker pull ghcr.io/hahwul/deadfinder:latest

工具使用

Commands:

  deadfinder file            # Scan the URLs from File. (e.g deadfinder file urls.txt)

  deadfinder help [COMMAND]  # Describe available commands or one specific command

  deadfinder pipe            # Scan the URLs from STDIN. (e.g cat urls.txt | deadfinder pipe)

  deadfinder sitemap         # Scan the URLs from sitemap.

  deadfinder url             # Scan the Single URL.

  deadfinder version         # Show version.

Options:

  c, [--concurrency=N]  # Set Concurrncy

                        # Default: 20

  t, [--timeout=N]      # Set HTTP Timeout

                        # Default: 10

  o, [--output=OUTPUT]  # Save JSON Result

参数解释

deadfinder file：从文件读取并扫描多个URL地址，例如“deadfinder file urls.txt”            

  deadfinder help [COMMAND]：查看工具可用命令和指定命令帮助信息

  deadfinder pipe：从STDIN扫描多个URL地址，例如“cat urls.txt | deadfinder pipe”            

  deadfinder sitemap：从站点sitemap扫描多个URL地址

  deadfinder url：扫描单个URL地址

  deadfinder version：显示工具版本信息

  c, [--concurrency=N]：设置并发数量，默认为20

  t, [--timeout=N]：设置HTTP超时，默认为10秒

  o, [--output=OUTPUT]：存储JSON结果

运行模式

从STDIN扫描多个URL地址：

cat urls.txt | deadfinder pipe

从文件读取并扫描多个URL地址：

deadfinder file urls.txt

扫描单个URL地址：

deadfinder url https://www.hahwul.com

从站点sitemap扫描多个URL地址：

deadfinder sitemap https://www.hahwul.com/sitemap.xml

JSON处理

deadfinder sitemap https://www.hahwul.com/sitemap.xml \

  -o output.json

cat output.json | jq

工具运行截图

题外话

初入计算机行业的人或者大学计算机相关专业毕业生，很多因缺少实战经验，就业处处碰壁。下面我们来看两组数据：

2023届全国高校毕业生预计达到1158万人，就业形势严峻；
国家网络安全宣传周公布的数据显示，到2027年我国网络安全人员缺口将达327万。

一方面是每年应届毕业生就业形势严峻，一方面是网络安全人才百万缺口。

6月9日，麦可思研究2023年版就业蓝皮书（包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》）正式发布。

2022届大学毕业生月收入较高的前10个专业

本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中，本科计算机类专业起薪与2021届基本持平，高职自动化类月收入增长明显，2022届反超铁道运输类专业（5295元）排在第一位。

具体看专业，2022届本科月收入较高的专业是信息安全（7579元）。对比2018届，电子科学与技术、自动化等与人工智能相关的本科专业表现不俗，较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼，已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。

“没有网络安全就没有国家安全”。当前，网络安全已被提升到国家战略的高度，成为影响国家安全、社会稳定至关重要的因素之一。

网络安全行业特点

1、就业薪资非常高，涨薪快 2021年猎聘网发布网络安全行业就业薪资行业最高人均33.77万！

2、人才缺口大，就业机会多

2019年9月18日《中华人民共和国中央人民政府》官方网站发表：我国网络空间安全人才需求140万人，而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W，现在从事网络安全行业的从业人员只有10W人。

行业发展空间大，岗位非常多

网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性，尤其是掌握工作中的核心网络架构、安全技术，在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升，所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟，升值空间一路看涨，这也是为什么受大家欢迎的主要原因。

从某种程度来讲，在网络安全领域，跟医生职业一样，越老越吃香，因为技术愈加成熟，自然工作会受到重视，升职加薪则是水到渠成之事。