关于xurlfind3r
xurlfind3r是一款功能强大的URL地址查询工具,该工具本质上是一个CLI命令行工具,可以帮助广大研究人员从多种在线源来查询目标域名的已知URL地址。
功能介绍
1、从被动在线源获取URL地址以实现最大数量结果获取;
2、支持从Wayback网页和robots.txt快照解析URL地址;
3、支持URL匹配和过滤;
4、支持stdin和stdout已实现轻松跟工作流整合;
5、跨平台支持,支持Windows、Linux和macOS;
支持的在线源
AlienVault's OTX
BeVigil
Common Crawl
Github
Intelligence X
URLScan
Wayback Machine
工具安装
安装发布版本代码(不需要安装Go环境)
广大研究人员可以直接访问该项目的【Releases页面】下载和安装对应操作系统和架构的发布版本代码。
或者也可以使用wget或curl命令行工具来下载和安装xurlfind3r:
wget https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz
或
curl -OL https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz
然后提取代码即可:
tar xf xurlfind3r-<version>-linux-amd64.tar.gz
别忘了将xurlfind3r代码拷贝到PATH路径下,比如说:
sudo mv xurlfind3r /usr/local/bin/
源码安装(需要安装Go环境)
首先,我们需要在本地设备上安装并配置好最新版本的Go语言环境。接下来,使用go install命令下载该工具即可:
go install -v github.com/hueristiq/xurlfind3r/cmd/xurlfind3r@latest
除此之外,我们也可以先将项目源码克隆至本地:
git clone https://github.com/hueristiq/xurlfind3r.git
然后构建工具:
cd xurlfind3r/cmd/xurlfind3r && \ go build .
工具配置
在使用该工具之前,我们还需要配置相应的API密钥,配置文件为config.yaml:
version: 0.3.0 sources: - bevigil - commoncrawl - github - intelx - otx - urlscan - wayback keys: bevigil: - awA5nvpKU3N8ygkZ github: - d23a554bbc1aabb208c9acfbd2dd41ce7fc9db39 - asdsd54bbc1aabb208c9acfbd2dd41ce7fc9db39 intelx: - 2.intelx.io:00000000-0000-0000-0000-000000000000 urlscan: - d4c85d34-e425-446e-d4ab-f5a3412acbe8
工具使用
-h参数可以直接查看工具的帮助选项:
xurlfind3r -h
帮助信息如下:
_ __ _ _ _____ __ ___ _ _ __| |/ _(_)_ __ __| |___ / _ __ \ \/ / | | | '__| | |_| | '_ \ / _` | |_ \| '__| > <| |_| | | | | _| | | | | (_| |___) | | /_/\_\\__,_|_| |_|_| |_|_| |_|\__,_|____/|_| v0.3.0 USAGE: xurlfind3r [OPTIONS] INPUT: -d, --domain string[] 设置目标域名 -l, --list string 目标域名的列表文件路径 SCOPE: --include-subdomains bool 匹配子域名URL SOURCES: --sources bool 列举支持的源 -u, --use-sources string[] 要使用的源,用逗号分隔 -e, --exclude-sources string[] 要排除的源,用逗号分隔 --parse-wayback-robots bool 使用wayback,解析robots.txt快照 --parse-wayback-source bool 使用wayback,解析源代码快照 FILTER & MATCH: -f, --filter string 正则式过滤URL -m, --match string 正则式匹配URL OUTPUT: --no-color bool 禁用颜色高亮输出 -o, --output string 输出URL文件路径 -O, --output-directory string 输出URL目录路径 -v, --verbosity string Verbose模式,默认为info CONFIGURATION: -c, --configuration string 配置文件路径(默认为~/.hueristiq/xurlfind3r/config.yaml)
工具使用样例
基础使用:
xurlfind3r -d hackerone.com --include-subdomains
过滤器正则表达式:
# filter images xurlfind3r -d hackerone.com --include-subdomains -f '`^https?://[^/]*?/.*\.(jpg|jpeg|png|gif|bmp)(\?[^\s]*)?$`'
匹配正则表达式:
# match js URLs xurlfind3r -d hackerone.com --include-subdomains -m '^https?://[^/]*?/.*\.js(\?[^\s]*)?$'
黑客&网络安全如何学习
今天只要你给我的文章点赞,我私藏的网安学习资料一样免费共享给你们,来看看有哪些东西。
1.学习路线图
攻击和防守要学的东西也不少,具体要学的东西我都写在了上面的路线图,如果你能学完它们,你去就业和接私活完全没有问题。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己录的网安视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等,都是网络安全入门必知必会的学习内容。
(都打包成一块的了,不能一一展开,总共300多集)
因篇幅有限,仅展示部分资料,需要保存下方图片,微信扫码即可前往获取
3.技术文档和电子书
技术文档也是我自己整理的,包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点,电子书也有200多本,由于内容的敏感性,我就不一一展示了。
因篇幅有限,仅展示部分资料,需要保存下方图片,微信扫码即可前往获取
4.工具包、面试题和源码
“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等,感兴趣的同学不容错过。
还有我视频里讲的案例源码和对应的工具包,需要的话也可以拿走。
因篇幅有限,仅展示部分资料,需要保存下方图片,微信扫码即可前往获取
最后就是我这几年整理的网安方面的面试题,如果你是要找网安方面的工作,它们绝对能帮你大忙。
这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的,如果大家有好的题目或者好的见解欢迎分享。
参考解析:深信服官网、奇安信官网、Freebuf、csdn等
内容特点:条理清晰,含图像化表示更加易懂。
内容概要:包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…
因篇幅有限,仅展示部分资料,需要保存下方图片,微信扫码即可前往获取