提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档
文章目录
- 前言
- 一、原理
- 二、工具类
- 二、注意事项
- 总结
前言
最近做到项目中一个上传视频的功能，需要使用大文件分片上传，在网上找了一些资源借鉴，算是整出来一套可以用的，但是无奈，公司使用的是OSS，之前的东西只能推翻，使用阿里的OSS大文件分片上传SDK，此处记录一下。
一、原理
上边是官方给的图解
大文件分片上传的原理还是十分易懂的，主要是将一个文件切割成若干个固定的数据块（最后一块除外），然后将每个块分别上传，最后在云端存储的bucket中进行文件合并，并删除所有的文件块，其主要作用是为了去加快上传效率。
二、工具类
直接上代码。我将OSS的sdk封了一个工具类出来
import com.aliyun.oss.ClientException;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.OSSException;
import com.aliyun.oss.common.auth.CredentialsProvider;
import com.aliyun.oss.common.auth.DefaultCredentialProvider;
import com.aliyun.oss.internal.Mimetypes;
import com.aliyun.oss.model.*;
import com.vibang.tyrl.admin.api.enums.OssFileOriginEnum;
import com.vibang.tyrl.common.core.util.R;
import org.springframework.web.multipart.MultipartFile;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.nio.charset.StandardCharsets;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
public class OSSUtil {
// Endpoint以华东1（杭州）为例，其它Region请按实际情况填写。
private final static String endpoint = "https://oss-cn-beijing.aliyuncs.com";
// RAM用户的访问密钥（AccessKey ID和AccessKey Secret）。
private final static String accessKeyId = "";
private final static String accessKeySecret = "";
// 使用代码嵌入的RAM用户的访问密钥配置访问凭证。
private final static CredentialsProvider credentialsProvider = new DefaultCredentialProvider(accessKeyId, accessKeySecret);
// 填写Bucket名称，例如examplebucket。
private final static String bucketName = "";
public static R upload(MultipartFile file,Integer key) throws Exception {
// 填写Object完整路径，例如exampledir/exampleobject.txt。Object完整路径中不能包含Bucket名称。
String originalFilename = file.getOriginalFilename();
String suffix = originalFilename.substring(originalFilename.lastIndexOf("."));
String fileName = System.currentTimeMillis()+suffix;
//根据枚举类进行文件分包上传
String objectName = OssFileOriginEnum.getEumByCode(key).getPacketName() + "/" + fileName;
// 获取字节数组
byte[] bytes = file.getBytes();
// 创建临时文件
File tempFile = File.createTempFile("temp", suffix);
// 将字节数组写入临时文件
try (FileOutputStream fos = new FileOutputStream(tempFile)) {
fos.write(bytes);
}
// 创建OSSClient实例。
OSS ossClient = new OSSClientBuilder().build(endpoint, credentialsProvider);
try {
// 创建InitiateMultipartUploadRequest对象。
InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName);
// 如果需要在初始化分片时设置请求头，请参考以下示例代码。
ObjectMetadata metadata = new ObjectMetadata();
// 指定初始化分片上传时是否覆盖同名Object。此处设置为true，表示禁止覆盖同名Object。
// metadata.setHeader("x-oss-forbid-overwrite", "true");
// // 根据文件自动设置ContentType。如果不设置，ContentType默认值为application/oct-srream。
request.setObjectMetadata(metadata);
if (metadata.getContentType() == null) {
metadata.setContentType(Mimetypes.getInstance().getMimetype(tempFile, objectName));
}
// 初始化分片。
InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);
// 返回uploadId。
String uploadId = upresult.getUploadId();
// 根据uploadId执行取消分片上传事件或者列举已上传分片的操作。
// 如果您需要根据您需要uploadId执行取消分片上传事件的操作，您需要在调用InitiateMultipartUpload完成初始化分片之后获取uploadId。
// 如果您需要根据您需要uploadId执行列举已上传分片的操作，您需要在调用InitiateMultipartUpload完成初始化分片之后，且在调用CompleteMultipartUpload完成分片上传之前获取uploadId。
// System.out.println(uploadId);
// partETags是PartETag的集合。PartETag由分片的ETag和分片号组成。
List<PartETag> partETags = new ArrayList<PartETag>();
// 每个分片的大小，用于计算文件有多少个分片。单位为字节。
final long partSize = 10 * 1024 * 1024L; //10 MB。
// 根据上传的数据大小计算分片数。以本地文件为例，说明如何通过File.length()获取上传数据的大小。
final File sampleFile = tempFile;
long fileLength = sampleFile.length();
int partCount = (int) (fileLength / partSize);
if (fileLength % partSize != 0) {
partCount++;
}
// 遍历分片上传。
for (int i = 0; i < partCount; i++) {
long startPos = i * partSize;
long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
UploadPartRequest uploadPartRequest = new UploadPartRequest();
uploadPartRequest.setBucketName(bucketName);
uploadPartRequest.setKey(objectName);
uploadPartRequest.setUploadId(uploadId);
// 设置上传的分片流。
// 以本地文件为例说明如何创建FIleInputstream，并通过InputStream.skip()方法跳过指定数据。
InputStream instream = new FileInputStream(sampleFile);
instream.skip(startPos);
uploadPartRequest.setInputStream(instream);
// 设置分片大小。除了最后一个分片没有大小限制，其他的分片最小为100 KB。
uploadPartRequest.setPartSize(curPartSize);
// 设置分片号。每一个上传的分片都有一个分片号，取值范围是1~10000，如果超出此范围，OSS将返回InvalidArgument错误码。
uploadPartRequest.setPartNumber(i + 1);
// 每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。
// 上传文件的同时指定进度条参数。此处PutObjectProgressListenerDemo为调用类的类名，请在实际使用时替换为相应的类名。
UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest.withProgressListener(new ProgressOSSUtil()));
// 每次上传分片之后，OSS的返回结果包含PartETag。PartETag将被保存在partETags中。
partETags.add(uploadPartResult.getPartETag());
}
// 创建CompleteMultipartUploadRequest对象。
// 在执行完成分片上传操作时，需要提供所有有效的partETags。OSS收到提交的partETags后，会逐一验证每个分片的有效性。当所有的数据分片验证通过后，OSS将把这些分片组合成一个完整的文件。
CompleteMultipartUploadRequest completeMultipartUploadRequest =
new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);
// 完成分片上传。
CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);
System.out.println(completeMultipartUploadResult.getETag());
System.out.println("uploadId:"+uploadId);
Map<String, Object> map = new HashMap<>();
map.put("path","https://vibang.oss-cn-beijing.aliyuncs.com/" + objectName);
map.put("uploadId",uploadId);
map.put("totalPart",partCount);
return R.ok(map);
} catch (OSSException oe) {
Map<String, Object> map = new HashMap<>();
map.put("ErrorMessage",oe.getErrorMessage());
map.put("ErrorCode",oe.getErrorCode());
map.put("RequestID",oe.getRequestId());
map.put("HostID",oe.getHostId());
return R.ok(map);
} catch (ClientException ce) {
Map<String, Object> map = new HashMap<>();
map.put("ErrorMessage", ce.getMessage());
return R.ok(map);
} finally {
if (ossClient != null) {
ossClient.shutdown();
}
}
}
public static R deleteFile(String path){
// 填写文件完整路径。文件完整路径中不能包含Bucket名称。
int lastIndex = path.lastIndexOf("aliyuncs.com/");
String objectName = path.substring(lastIndex + 13);
// 创建OSSClient实例。
OSS ossClient = new OSSClientBuilder().build(endpoint, credentialsProvider);
try {
// 删除文件或目录。如果要删除目录，目录必须为空。
ossClient.deleteObject(bucketName, objectName);
return R.ok("成功");
} catch (OSSException oe) {
Map<String, Object> map = new HashMap<>();
map.put("ErrorMessage",oe.getErrorMessage());
map.put("ErrorCode",oe.getErrorCode());
map.put("RequestID",oe.getRequestId());
map.put("HostID",oe.getHostId());
return R.ok(map);
} catch (ClientException ce) {
Map<String, Object> map = new HashMap<>();
map.put("ErrorMessage", ce.getMessage());
return R.ok(map);
} finally {
if (ossClient != null) {
ossClient.shutdown();
}
}
}
}
二、注意事项
官方不推荐将accessKeyId 和 accessKeySecret 直接配置在代码当中，建议的是直接配置在环境变量中，由于前期的开发测试是在本地进行的，所以就使用了，如果需要配置环境变量，还是需要去官方给的手册上，按步骤进行操作即可：传送门放这里
OSS文件存储JavaSDK配置访问凭证
也可以在yml文件中配置固定值，比我写的这种方式要安全一点，在类中再使用@Value取值，需要注意的是，当使用@Value取值时，该类需要使用@Component注解标注为组件，并且，这些属性不能使用static和final修饰，否则会报null异常。
可以对该工具类进行扩展，只要没有执行最后的合并，这些数据块永远也不会删除，结合数据库，可以对上传的文件块做一个记录，因为每一个文件块都有固定的md5值，并且上传完以后，sdk会返回这个文件块的md5值，所以利用这点可以做一个断点续传和秒传，断点续传即：在库中查找文件上次上传的文件块，跳过已完成上传的文件块，秒传：根据文件的MD5唯一值去判定，是否存在这个文件，进行秒传。不过公司并不需要这个功能，就没做。
总结
主要记录一下OSS大文件分片上传的SDK使用
