C++ 操作MinIO做文件数据的上传和下载（踩坑与经验）包含编译包

前言

最近在做项目流程优化，准备将之前的java对文件的操作转换到c++端，因此做了基于c++的minio操作的测试demo。期间的各种踩坑与问题，花了一天时间总算是成功了，当然还有一些小问题，等待后续其他大拿解决。

项目环境

vs2019个人版

minio操作的代码本来是计划自己下载源码编译的，但觉得它麻烦，就在csdn上下载了被人编译好的，s3 vs2019 debug（此处第一个坑），我自己刚开始的开发环境直接就是release版本，也是最近一直是release版本，所以配置完环境变量就没有注意，直接开始跑代码了，各种问题也没有仔细查，折腾了几个小时，才发现，这个坑我在最后给大家展示。
minio的编译好的链接是：链接: AWS S3 对象云存储_SDK msvc_x64下使用_vs2019编译 debug库。

测试代码

需要准备的头文件和宏定义等（请严格按照此复制，不要轻易重新）：

#define USE_IMPORT_EXPORT
#include"iostream"

#include "aws\s3\S3Client.h"
#include "aws\core\Aws.h"
#include "aws\core\auth\AWSCredentialsProvider.h"
#include <iostream>
#include <fstream>
using namespace Aws::S3;
using namespace Aws::S3::Model;
using namespace std;

#include "aws\s3\model\PutObjectRequest.h"
#include "aws\s3\model\GetObjectRequest.h" 
#include <aws/s3/model/ListObjectsRequest.h>

文件上传的代码：


bool uploadfile(std::string BucketName, std::string objectKey, std::string pathkey)
{
    Aws::SDKOptions m_options;
    S3Client* m_client = { NULL };

    Aws::InitAPI(m_options);
    Aws::Client::ClientConfiguration cfg;
    cfg.endpointOverride = "192.111.111.111:901";  // S3服务器地址和端口
    cfg.scheme = Aws::Http::Scheme::HTTP;
    cfg.verifySSL = false;
    Aws::Auth::AWSCredentials cred("2222", "23666");
    m_client = new S3Client(cred, cfg,
        Aws::Client::AWSAuthV4Signer::PayloadSigningPolicy::Always, false);
    PutObjectRequest putObjectRequest;
    //BucketName桶的名称，如cplus；objectKeyoss上文件的名称，如11.txt,此处要设置好文件的后缀类型，因此其是唯一的，不然不同文件不就重名了；pathkey，待上传的数据的本地路径，即文件本身
    putObjectRequest.WithBucket(BucketName.c_str()).WithKey(objectKey.c_str());
    auto input_data = Aws::MakeShared<Aws::FStream>("PutObjectInputStream",  pathkey.c_str(), std::ios_base::in | std::ios_base::binary);
    putObjectRequest.SetBody(input_data);
    auto putObjectResult = m_client->PutObject(putObjectRequest);
    if (putObjectResult.IsSuccess())
    {
        std::cout << "Done!" << std::endl;
        return true;
    }
    else
    {
        std::cout << "PutObject error: " <<
            putObjectResult.GetError().GetExceptionName() << " " <<
            putObjectResult.GetError().GetMessage() << std::endl;
        return false;
    }

    if (m_client != nullptr)
    {
        delete m_client;
        m_client = NULL;
    }
    Aws::ShutdownAPI(m_options);
}

文件下载的模块：


bool downloadfile1(std::string BucketName, std::string objectKey, std::string pathkey)
{
    Aws::SDKOptions m_options;
    S3Client* m_client = { NULL };

    Aws::InitAPI(m_options);
    Aws::Client::ClientConfiguration cfg;
    cfg.endpointOverride = "192.111.111.111:901";  // S3服务器地址和端口
    cfg.scheme = Aws::Http::Scheme::HTTP;
    cfg.verifySSL = false;

    Aws::Auth::AWSCredentials cred("123", "2222");
     
    m_client = new S3Client(cred, cfg,
        Aws::Client::AWSAuthV4Signer::PayloadSigningPolicy::Always, false);

    Aws::S3::Model::GetObjectRequest object_request;
    object_request.WithBucket(BucketName.c_str()).WithKey(objectKey.c_str());
    auto get_object_outcome = m_client->GetObject(object_request);
    if (get_object_outcome.IsSuccess())
    {
        Aws::OFStream local_file;
        local_file.open(pathkey.c_str(), std::ios::out | std::ios::binary);
        local_file << get_object_outcome.GetResult().GetBody().rdbuf();
        std::cout << "Done!" << std::endl;
        return true;
    }
    else
    {
        std::cout << "GetObject error: " <<
            get_object_outcome.GetError().GetExceptionName() << " " <<
            get_object_outcome.GetError().GetMessage() << std::endl;
        return false;
    }

    if (m_client != nullptr)
    {
        delete m_client;
        m_client = NULL;
    }
    Aws::ShutdownAPI(m_options);

    return true;
}

关键的调用方法：


int main()
{
    downloadfile1("cplus","logo.png", "C:\\Users\\OUR\\Desktop\\新建文件夹\\1.png"); 
    uploadfile("cplus","", "D:/11.txt"); 
}

其中的关键点

（1）上传时

函数定义：bool uploadfile(std::string BucketName, std::string objectKey, std::string pathkey)
函数调用：uploadfile(“cplus”,“csdn.txt”, “D:/11.txt”);
参数说明分别是：

name	Value
BucketName	minio云端的桶的名称，如下截图的cpus、dicom等，此处类似于的是文件夹，注：桶需要提前设置好，在minio上新建就行
objectKey	传到云端的文件的名称和后缀（此处需要唯一性），如logo.png、csdn.txt名称，注：key必须是带有后缀的，否则上传后不会自动设置文件的后缀
pathkey	待上传的本地文件的路径；本地准备上传的路径和地址；注：本地文件存在即可

MinIO上“桶”列表 ↑

cplsu桶中的文件情况↑
问题：下载数报错：

*Fatal error condition occurred in D:\SDK\aws-sdk-cpp\crt\aws-crt-cpp\crt\aws-c-io\source\event_loop.c:75: aws_thread_launch(&cleanup_thread, s_event_loop_destroy_async_thread_fn, el_group, &thread_options) == AWS_OP_SUCCESS
Exiting Application
at 0x7FFECBE41E6A: aws_byte_buf_append_null_terminator
at 0x7FFECBE41E6A: aws_byte_buf_append_null_terminator
at 0x7FFECBE41E6A: aws_byte_buf_append_null_terminator
at 0x7FFEBDAD1735: aws_retry_strategy_release
at 0x7FFECBE41E6A: aws_byte_buf_append_null_terminator
at 0x7FFEBDAD1735: aws_retry_strategy_release
at 0x7FFEBDAD1735: aws_retry_strategy_release
*

（2）下载时

std::string BucketName, std::string objectKey, std::string pathkey
“cplus”,“logo.png”, "C:\Users\OUR\Desktop\新建文件夹\1.png
分别是：

name	Value
BucketName	minio云端的桶的名称，如下截图的cpus、dicom等，此处类似于的是文件夹，注：桶需要提前设置好，在minio上新建就行
pathkey	Minio上的数据文件注：需要文件名和后缀
objectKey	现在后文件的路径，如：C:\Users\OUR\Desktop\新建文件夹\1.png，注：不是设置下载文件接收的文件夹，而是文件，接收时需要自己设置文件后缀类型，否则无法下载

MinIO上“桶”列表 ↑

cplsu桶中的文件情况↑

下载到的文件↑
问题：下载数报错：
在这里插入图片描述

PutObject error: SDK failed to sign the request
Hello World!
Fatal error condition occurred in D:\SDK\aws-sdk-cpp\crt\aws-crt-cpp\crt\aws-c-io\source\event_loop.c:75: aws_thread_launch(&cleanup_thread, s_event_loop_destroy_async_thread_fn, el_group, &thread_options) == AWS_OP_SUCCESS
Exiting Application
at 0x7FFEE6CF1E6A: aws_byte_buf_append_null_terminator
at 0x7FFEE6CF1E6A: aws_byte_buf_append_null_terminator
at 0x7FFEE6CF1E6A: aws_byte_buf_append_null_terminator
at 0x7FFEC9AD1735: aws_retry_strategy_release
at 0x7FFEE6CF1E6A: aws_byte_buf_append_null_terminator
at 0x7FFEC9AD1735: aws_retry_strategy_release
at 0x7FFEC9AD1735: aws_retry_strategy_release
待后来人解决吧