简介
对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存储服务,具有高扩展性、低成本、可靠安全等优点。通过控制台、API、SDK 和工具等多样化方式,用户可简单、快速地接入 COS,进行任意格式文件的上传、下载和管理,实现海量数据存储和管理。同时遍布全国范围的 CDN/EdgeOne 节点可以对文件下载进行加速。
基本概念
下面通过几个名词概念,帮助您进一步了解腾讯云 COS:
存储桶(Bucket) :是对象的载体,可理解为存放对象的“容器”。一个存储桶可容纳无数个对象。
对象(Object):是 COS 的基本单元,可理解为任何格式类型的数据,例如图片、文档和音视频文件等。
地域(Region):是腾讯云托管机房的分布地区,COS 的数据存放在这些地域的存储桶中。
多 AZ(Multiple Availability Zones) :是由腾讯云对象存储推出的多 AZ 存储架构。客户数据分散存储在城市中多个不同的数据中心,当某个数据中心因为自然灾害、断电等极端情况导致整体故障时,多 AZ 存储架构依然可以为客户提供稳定可靠的存储服务。
访问域名(Endpoint):对象被存放到存储桶中,用户可通过访问域名访问和下载对象。
存储类型(StorageClass):指对象在 COS 中的存储级别和活跃程度。COS 提供多种存储类型:标准存储(多 AZ)、低频存储(多 AZ)、智能分层存储(多 AZ)、智能分层存储、标准存储、低频存储、归档存储、深度归档存储。每种存储类型适用于不同的业务场景,拥有不同的特性(例如对象访问频度、访问时延等)。关于不同存储类型的详细介绍,请参见 存储类型概述。
优点
相比起自己搭建上传下载的服务,COS的优点如下:
- 完全不占用用户服务器上下行的带宽
- 网络加速,遍布全国范围的 CDN/EdgeOne 节点
- 不占用服务器的磁盘存储空间
- 防盗链,
- SSL 加密传输,控制每个单独文件的读写权限
- 存储资源的高可用,提供数据跨多设备冗余存储,为用户数据提供异地容灾和资源隔离功能
- 无需传统硬件的采购、部署和运维,节省了运维工作和托管成本。
- 上传后的,自动对数据万象图片处理,文档,音视频转码,语音识别,媒体的后续处理等
- 存储桶挂载到本地的云主机功能
使用
访问管理
腾讯云 COS 服务在使用时需要对请求进行访问管理。通过临时密钥机制,您可以临时授权您的 App 访问您的存储资源,而不会泄露您的永久密钥。密钥的有效期由您指定,过期后自动失效。通常,我们都不建议您把永久密钥放到客户端代码中。本文主要介绍如何在后台快速搭建一个临时密钥服务,通过生成的临时密钥来对上传或者下载请求进行签名,从而保证您数据的安全性。
其中:
用户客户端:即用户手机上的 App
用户服务端:用户的后台服务器,这里用于获取临时密钥,并返回给用户客户端
CAM权限系统:腾讯云访问管理,用于生成 COS 的临时密钥
COS对象存储:腾讯云对象存储,负责存储 App 上传的数据
获取永久密钥
临时密钥需要通过永久密钥才能生成。请登录 腾讯云访问管理控制台 获取,包含:SecretId,SecretKey
搭建临时密钥服务
引入SDK
implementation 'com.qcloud:cos-sts_api:3.1.1';
实现
在nacos中添加配置,也是必须修改参数,其他参数根据自身情况修改。
#对象存储
cos:
enable: true
duration: 1800
bucket: gamioo-1258024122
region: ap-shanghai
secretId: **********************************
secretKey: *********************************
endpoint: https://gamioo-1258024122.cos.ap-shanghai.myqcloud.com
配置初始化:
/**
* 获取联合身份临时访问凭证
*/
public Response reloadCredential() {
TreeMap<String, Object> config = new TreeMap<>();
// 云 api 密钥 SecretId
config.put("secretId", cosProperties.getSecretId());
// 云 api 密钥 SecretKey
config.put("secretKey", cosProperties.getSecretKey());
// 设置域名,可通过此方式设置内网域名
//config.put("host", "sts.internal.tencentcloudapi.com");
// 临时密钥有效时长,单位是秒
config.put("durationSeconds", cosProperties.getDuration());
// 换成你的 bucket
config.put("bucket", cosProperties.getBucket());
// 换成 bucket 所在地区
config.put("region", cosProperties.getRegion());
// 可以通过 allowPrefixes 指定前缀数组, 例子: a.jpg 或者 a/* 或者 * (使用通配符*存在重大安全风险, 请谨慎评估使用)
config.put("allowPrefixes", new String[]{"*"});
// 密钥的权限列表。简单上传和分片需要以下的权限,其他权限列表请看 https://cloud.tencent.com/document/product/436/31923
String[] allowActions = new String[]{
// 简单上传
"name/cos:PutObject",
"name/cos:PostObject",
// 分片上传
"name/cos:InitiateMultipartUpload",
"name/cos:ListMultipartUploads",
"name/cos:ListParts",
"name/cos:UploadPart",
"name/cos:CompleteMultipartUpload"
};
config.put("allowActions", allowActions);
Response response = null;
try {
response = CosStsClient.getCredential(config);
} catch (Exception e) {
logger.error(e.getMessage(), e);
}
return response;
}
其中,请求参数说明:
字段 | 类型 | 描述 |
---|---|---|
secretId | String | 云 API 密钥 Id |
secretKey | String | 云 API 密钥 key |
durationSeconds | int | 要申请的临时密钥最长有效时间,单位秒,默认 1800,最大可设置 7200 |
bucket | String | 存储桶名称:bucketName-appid, 如 example-125000000 |
region | String | 存储桶所属地域,如 ap-guangzhou |
allowPrefix | String | 资源的前缀,可以根据自己网站的用户登录态判断允许上传的具体路径,例子: a.jpg 或者 a/* 或者 * (使用通配符*存在重大安全风险, 请谨慎评估使用) |
allowActions | String[] | 授予 COS API 权限集合, 如简单上传操作:name/cos:PutObject |
policy | String | 策略:由 allowActions、bucket、region、allowPrefix字段组成的描述授权的具体信息 |
返回值说明
{
"credentials":{
"sessionToken":"mPOLNpDJjVK4Qm22GaUmnWlYzKlpCAja431a1bf3d94fdf541d2be2dcbf82f7baK843Oxi15MH7GZkSGyYVNSNJn9yrtBZxO5_ASQWWL8eR8z_UyHNCxMi6ZMKuwg-hrcLAw-fDPg5LlykM5Y9kiePhd6FBM9UGmVwWCt1b48w3I6vrcFvIM6Cqf_UwbPWiXZYaBNjLMMkVbu869iGvUcTic9X75Bi2Dcmq52GLpUMvie5aFQTw5l_SrKGODOnUIEYEG8Ihnp-l_rdCej2YmcaXEDe8OnP9BuU5SR3lMC93W0cKeyikAHKyeMEG2To2FEQIGCGxogeQfHG03pfQD_8vZUlBOS7qUsK2qzb6B8Uqi7m_7UIyEYZF3b35FQmj9BvMbuJdyXbCoeYeMgk9J1qKDcPtdjAoBPvIo_cCl_PALjbD32mYlpbJoVYJfPC0I3eCT_lI-VMJ4Flb7a81K5bl2A33FUodCBz7MHBvD6140m2iTGNifHz29PJw2QqkvFY08dWiEi3Al0o8qUO5rbxPngt4u7uIZhRmfpiob0eDOLOVFgl5K1TaK7eYowKvv_q-yDBf2qhZSD54iYPcYbIivx4h1Yp7ZriQpaKaGSSZwGYP9cg3LLlEqaAeupvc",
"tmpSecretId":"AKIDiYcPkzj-O6e8k24xCifHoiWeNkZPgHr4l_n7qgj8dbPtsgveL99YCTn-H6cCGu0v",
"tmpSecretKey":"85/Jm3Fu9QoUDEXEOyrZJrCDKjEesFOOhbHQOqOTf18="
},
"expiration":"2023-08-23T04:14:35Z",
"expiredTime":1692764075,
"requestId":"ea06d01d-772a-491e-b736-1d1e55d64d08",
"startTime":1692762275
}
字段 | 类型 | 描述 |
---|---|---|
credentials | String | 临时密钥信息 |
tmpSecretId | String | 临时密钥 Id,可用于计算签名 |
tmpSecretKey | String | 临时密钥 Key,可用于计算签名 |
sessionToken | String | 请求时需要用的 token 字符串,最终请求 COS API 时,需要放在 Header 的 x-cos-security-token 字段 |
startTime | String | 密钥的起始时间,是 UNIX 时间戳 |
expiredTime | String | 密钥的失效时间,是 UNIX 时间戳 |
对返回的值进行二次封装后,得到如下的返回体:
@ApiModel(value = "存储对象临时访问凭证")
public class ResponseDTO {
@ApiModelProperty("存储桶名")
private String bucket;
@ApiModelProperty("地域")
private String region;
@ApiModelProperty("临时证书密钥ID")
private String secretId;
@ApiModelProperty("临时证书密钥Key")
private String secretKey;
@ApiModelProperty("临时令牌")
private String sessionToken;
@ApiModelProperty("临时访问凭证开始时间")
private long startTime;
@ApiModelProperty("临时访问凭证过期时间")
private long expiredTime;
}
在业务层做一层缓存,在失效前从本地读取,失效或者找不到的情况下,才再次去获取临时访问凭证:
/**
* 获取联合身份临时访问凭证
*/
@Override
public ResponseDTO getCredential() {
ResponseDTO ret = null;
Response response = null;
String key = RedisConstant.COS_CREDENTIAL;
Object value = redisService.get(key);
if (value != null) {
response = JSON.parseObject(value.toString(), Response.class);
} else {
response = configuration.reloadCredential();
if (response != null) {
long duration = Math.max(0, response.expiredTime - System.currentTimeMillis());
redisService.setExpire(key, JSON.toJSONString(response), duration, TimeUnit.SECONDS);
}
}
if (response != null) {
ret = ResponseDTO.from(configuration.getCosProperties(), response);
}
return ret;
}
最终提供获取临时访问凭证的接口:
/**
* 对象存储(Cloud Object Storage,COS)
*
*/
@RestController
@RequestMapping("/cos")
@Api(tags = "对象存储管理")
public class CosController extends BaseController {
@Resource
private ICosService cosService;
/**
* 获取联合身份临时访问凭证
*
* @return Result
*/
@PreAuth
@GetMapping("/get")
@ApiOperation(value = "获取联合身份临时访问凭证", notes = "获取联合身份临时访问凭证")
public Result<ResponseDTO> get() {
ResponseDTO response = cosService.getCredential();
return Result.data(response);
}
}
总结
本文主要是主要介绍了腾讯云的对象存储(Cloud Object Storage,COS),阐述了使用COS带来的好处及优势,通过实例来介绍了如何使用。下一篇,我们将介绍在客户端拿到临时访问凭证后,进行存储和获取的操作。
参考链接:
对象存储快速入门
临时密钥生成及使用指引
腾讯云对象存储COS简介和如何接入