Gateway网关在url参数带有特殊字符的情况下转发失败(响应400)

本文主要分享了,SpringCloud Gateway网关在url参数带有空格或者特殊字符的情况下,转发失败导致响应错误码400的解决方案。

响应400错误码的2种场景:

1.参数带空格,Gateway会误认为该空格是切割符,如?phone= 135****6862&type=44,不能正常解析协议,直接异常

2.参数带特殊字符,如?phone=|135****6862&type=44,能正常解析协议,但转发后异常

一、问题分析

1.可用性<99的问题接口:

质量组反馈的可用性文档中,显示错误码(4xx)特别多,如下图 

2.排查:

根据错误码匹配应用日志,未发现异常日志

根据错误码匹配Gateway网关日志,未发现异常日志

根据错误码匹配nginx日志,发现异常日志(基本都是响应400错误码)

{
	"clientip": "100.xxx.xxx.250",
	"timestamp": "2024-01-03T00:52:10+08:00",
	"request_method": "POST",
	"response": "400",
	"byte": "131",
	"uri": "/api/xxx/xxx/smsCode",
	"param": "phone= 135****6862&type=44",
	"referrer": "-",
	"agent": "Mozilla/5.0 (Linux; U; Android 4.4.1; zh-cn; R815T Build/JOP40D) AppleWebKit/533.1 (KHTML, like Gecko)Version/4.0 MQQBrowser/4.5 Mobile Safari/533.1",
	"httpx_for": "221.xx.xx.60",
	"http_host": "domain.com",
	"upstream_addr": "172.xxx.xxx.123:8280",
	"request_time": "0.011",
	"upstream_response_time": "0.010",
	"ssl_protocol": "-"
}

3.分析:

是由于请求参数带了空格(phone= 135****6862&type=44)导致(该空格非前端正常传参误操作,是恶意请求),初步怀疑是nginx转发问题,因为网关未找到任何日志。经运维同事协助排查,发现是Gateway网关响应的400错误码,没有日志是因为日志级别没有设置到debug,所以未打印

4.排查与复现:

问题复现测试用例

 

断点排查发现经过代码HttpObjectDecoder.splitInitialLine后将sb内容切割为一个3个元素的数组,切割规则中空格就是其中一个切割符。

注意:这里不能使用hutool http工具请求,因为会对url进行urlencode,无法复现效果

sb样本为:

GET http://localhost:8280/api/xxx/xxx/smsCode?phone= 135****6862 HTTP/1.1

数组样本为:

["GET","http://localhost:8280/api/xxx/xxx/smsCode?phone=","135****6862 HTTP/1.1"]

后续代码中取第三个元素‘135****6862 HTTP/1.1’作为http协议转换导致异常,所以响应400

二、解决方案

1.思路:

想办法改写HttpObjectDecoder.splitInitialLine的逻辑,上述情况数组样本为:

["GET","http://localhost:8280/api/xxx/xxx/smsCode?phone=135****6862","HTTP/1.1"]

2.实现:

经网络资料查询,可以通过以下代码在Netty ChannelPipeline中添加ChannelHandler

经源码分析,ChannelPipeline会有默认的http处理器NettyPipeline.HttpCodec(其实现类为HttpServerCodec),而HttpObjectDecoder.splitInitialLine的逻辑就是通过HttpServerCodec实现类来调用的

所以,想办法替换NettyPipeline.HttpCodec的实现类即可

 

复制框架源码HttpObjectDecoder、HttpRequestDecoder、HttpServerCodec至项目目录中(重命名加前缀Custom),如下图 

将这3个类(Custom*)中用到HttpObjectDecoder、HttpRequestDecoder、HttpServerCodec的地方,全部修改为加Custom前缀的类,如 

修改CustomHttpObjectDecoder.splitInitialLine的逻辑

核心思想:将sb按切割符切割出所有元素,数组组装逻辑改为取第一个、取最后一个、中间部分拼接在一起 

sb样本为:

GET http://localhost:8280/api/xxx/xxx/smsCode?phone= 135****6862 HTTP/1.1

list样本为:

["GET","http://localhost:8280/api/xxx/xxx/smsCode?phone=","135****6862","HTTP/1.1"]

数组样本为:

["GET","http://localhost:8280/api/xxx/xxx/smsCode?phone=135****6862","HTTP/1.1"]

保险起见(非必要逻辑):

1)在异常情况下执行旧逻辑

2)增加开关控制(可通过apollo动态修改)

3.url带特殊字符处理:

某些情况下,参数带特殊字符,如下,Gateway也会响应400

http://localhost:8280/api/xxx/xxx/smsCode?phone=|135****6862

http://localhost:8280/api/xxx/xxx/smsCode?phone=?135****6862

解决方案是增加UrlParamHandler,获取url对其参数做urlencode

注意:hutool工具的URLUtil.encodeQuery会对一些RSA加密的+转换为空格,需要用URLUtil.encodeAll或者java原生java.net.URLEncoder,这2个又会把所有的路径参数、=、?之类的也转换,所以下面写了个复杂的逻辑去获取参数值,仅参数值做urlencode

 

怎么样?如果你觉得有用的话,还不快快收藏起来!!!

附:涉及的代码目录

github: GitHub - 897665787/springcloud-template: 一个基于springcloud netflix微服务框架,记录了关于微服务开发的一些最佳应用,欢迎大家学习指导。

gitee:springcloud-template: 一个基于springcloud netflix开发的脚手架,记录了关于微服务开发中一些基础功能、通用功能的最佳设计,欢迎大家学习、指导。

springcloud-template
└── template-gateway
     └── netty -- 日志配置
          └── CustomHttpObjectDecoder -- 复制于源码
          └── CustomHttpRequestDecoder -- 复制于源码
          └── CustomHttpServerCodec -- 复制于源码
          └── NettyWebServerCustomizer -- 配置初始化
          └── UrlParamHandler -- 使用urlencode替换特殊字符

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/458333.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

B/S基于云计算的云HIS智慧医院管理系统源码带电子病历编辑器

目录 一、系统概述 二、开发环境 三、系统功能 1、门诊部分 2、住院部分 3、电子病历 4、药物管理 5、统计报表 6、综合维护 7、运营运维 云HIS系统:病案首页 云his系统源码 SaaS应用 功能易扩 统一对外接口管理 现如今,大数据、云计算、移动…

深入浅出计算机网络 day.2 概论⑥ 计算机网络体系结构

上帝疯狂杜撰世界悲情的命题 将凉薄和荒芜尽写 —— 24.3.13 内容概述 1.常见的三种计算机网络体系结构 2.计算机网路体系结构分层的必要性 3.计算机网络体系结构分层思想举例 4.计算机网络体系结构中的专用术语 一、常见的三种计算机网络体系结构 1.OSI参考模型 …

Linux第77步_处理Linux并发的相关函数

了解linux中的“原子整形数据”操作、“原子位数据”操作、自旋锁、读写锁、顺序锁、信号量和互斥体,以及相关函数。 并发就是多个“用户”同时访问同一个共享资源。如:多个线程同时要求读写同一个EEPROM芯片,这个EEPROM就是共享资源&#x…

运行vue项目时的问题

1.问题:在终端输入:npm run serve时,弹出选择应用以打开npm 2.解决方法: 在你的终端中输入:get-command npm(第一次可能没反应 再输入一次) 根据这个路径找到npm删除即可 再次运行npm run serve

谈谈你对Java平台的理解?

从你接触 Java 开发到现在,你对 Java 最直观的印象是什么呢?是它宣传的 “Write once, run anywhere”,还是目前看已经有些过于形式主义的语法呢?你对于 Java 平台到底了解到什么程度?请你先停下来总结思考一下。 今天…

VSCode提交代码

VSCode提交代码方式: 先在电脑本地文件夹中打开git的bash窗口使用git clone https://github.com/xxxx/克隆仓库地址到本地,并生成一个项目的文件夹打开VSCode,点击文件按钮,打开加载项目的文件夹对于VSCode设置Git路径&#xff…

【小黑嵌入式系统第十九课】结课总结(三)——操作系统部分(RTOSμC/OS-Ⅲ程序设计基础(任务函数时间临界区通信))

上一课: 【小黑嵌入式系统第十八课】结课总结(二)——软件部分(系统架构&调试&测试&运行&系统软件设计) 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默&#xff0…

迷你洗衣机排名前十名:2024年十大性能超强内衣洗衣机优选

随着现在的生活水平的不断提高,高科技能帮我们搞定不少问题,如果你比较注重个人卫生、追求生活品质,可以考虑选择一台专用的迷你洗衣机,我们就无须自己亲自动手去清洗内衣物,从而导致浪费时间,如果你担心孩…

Docker常见指令

1.docker search mysql :从docker镜像仓库搜索和mysql有关的镜像 docker search mysql 2.docker pull mysql :从docker仓库拉取mysql镜像 docker pull mysql 3.docker run mysql :启动mysql镜像 docker run mysql 4.docker ps &#xff…

iconfont 字体应用

1、登录 打开阿里图标 https://www.iconfont.cn/ 2、选择心仪的图标制作 iconfont 字体。 3、图标全部选择入库之后, 点右上角的购物车。 添加到项目,是方便管理图标字体的。 也可以直接下载代码的 4、下载到本地之后,把里面的 iconfont.…

altgraph的安装和用途说明

前言 altgraph 是 graphlib 的一个分支:一个图(网络)包,用于构建图、BFS 和 DFS 遍历、拓扑排序、最短路径等,带有 graphviz 输出。 安装 pip install altgraph 函数和用例 生物链 from altgraph import Graph# 定…

linux查看服务器登录成功和登录失败的命令

last 查看成功登录服务器的信息,包括ip,时间,登录用户,时长。lastb 查看登录服务器失败的信息。 last命令实例: 其他参数: -a:把从何处登入系统的主机名称或ip地址,显示在最后一行…

软件设计师16--段页式存储

软件设计师16--段页式存储 考点1:页式存储存储管理 - 页式存储组织存储管理 - 页面置换算法例题: 考点2:段式存储存储管理 - 段式存储组织例题: 考点1:页式存储 存储管理 - 页式存储组织 页式存储:将程序…

MySQL数据表的增删改查(基础)(CRUD)

1.CRUD 注释:在SQL中可以使用“--空格描述”来表示注释说明. CRUD 即增加(Create)、查询(Retrieve)、更新(Update)、删除(Delete)四个单词的首字母缩写. 2.新增(Create) 语法: insert into 表名 values (值,值...); into --可以省略; values -- 关键字. 下面以一…

IDEA编写各种WordCount运行

目录 一、编写WordCount(Spark_scala)提交到spark高可用集群 1.项目结构 2.导入依赖 3.编写scala版的WordCount 4.maven打包 5.运行jar包 ​6.查询hdfs的输出结果 二、本地编写WordCount(Spark_scala)读取本地文件 1.项目结构 2.编写scala版的WordCount 3.编辑Edit …

HDFS的架构优势与基本操作

目录 写在前面一、 HDFS概述1.1 HDFS简介1.2 HDFS优缺点1.2.1 优点1.2.2 缺点 1.3 HDFS组成架构1.4 HDFS文件块大小 二、HDFS的Shell操作(开发重点)2.1 基本语法2.2 命令大全2.3 常用命令实操2.3.1 上传2.3.2 下载2.3.3 HDFS直接操作 三、HDFS的API操作3…

influxdb2使用

(作者:陈玓玏) influxdb2首次使用时,通过k8s部署的,所以进入pod内部执行命令。 先在k8sdashboard找到influx的pod,点击执行,即可进入命令行界面。 首次连接时,通过influx setup启动…

Tomcat部署web项目与idea中配置web项目方法【通俗易懂】

✨前言✨   本文章主要介绍tomcat环境的配置,idea配置web项目,idea一般项目中配置tomcat,内容有点长,建议点击目录跳转阅读,文中所含均为官方文件,请放心使用。 🍒欢迎点赞 👍 收藏…

Visual Studio 2022 配置“Debug|x64”的 Designtime 生成失败。IntelliSense 可能不可用。

今天写代码,无缘无故就给我整个这个错误出来,我一头雾水。 经过我几个小时的奋战,终于解决问题 原因就是这个Q_INTERFACES()宏,我本想使用Q_DECLARE_INTERFACE Q_INTERFACES这两个Qt宏实现不继承QObject也能使用qobjec…

【AI+CAD】(二)LLM和VLM生成结构化数据结构(PPT/CAD/DXF)

当前LLM和VLM在PPT生成任务上已经小有成效,如ChatPPT。 @TOC 1. PPT-LLM LLM根据用户的instruction生成规范的绘制ppt的API语句:即使是最强的GPT-4 + CoT也只能达到20-30%的内容准确度。 LLM输入:User_instruction(当前+过去)、PPT_content、PPT_reader_API。其中 PPT_rea…