导航：首页 > 互联网科技 >

基于Go SDK操作京东云对象存储OSS的入门指南是什么

发表于：2024-09-25 作者：千家信息网编辑

千家信息网最后更新 2024年09月25日，这篇文章给大家介绍基于Go SDK操作京东云对象存储OSS的入门指南是什么，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助在实际操作之前，我们先看一下京东云OSS的API接口支持范围

千家信息网最后更新 2024年09月25日基于Go SDK操作京东云对象存储OSS的入门指南是什么

这篇文章给大家介绍基于Go SDK操作京东云对象存储OSS的入门指南是什么，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助

在实际操作之前，我们先看一下京东云OSS的API接口支持范围和能力。从对象存储的API文档可以看到，京东云提供两套接口：

1、兼容S3 API，支持AWS S3接口，兼容大部分重要功能，作为后续重点开发和优化版本。由于并不是完全兼容S3的接口，因此需要重点阅读兼容接口列表，相关介绍见
https://docs.jdcloud.com/cn/object-storage-service/compatibility-api-overview

2、旧版OSS API，京东云前期独立封装的restful接口，支持基本的service、bucket、object等操作。该版本目前仍能使用，但后续不再开发。

很明显，京东云提供兼容S3的接口，一方面可以快速支持原有基于AWS S3开发的应用程序，另一方面帮助客户的数据从AWS S3迁移过来。建议您使用兼容S3的接口，而同时京东云提供了丰富的多种语言版本的SDK，可以根据您项目开发的需要进行不同语言SDK的选择。
相关介绍见

https://docs.jdcloud.com/cn/object-storage-service/introduction-3

这里需要注意查看兼容接口列表，对比京东云OSS和AWS S3接口的兼容情况。譬如Put Bucket接口仅使用通用的请求header，默认创建权限为private的bucket。由于不支持x-amz-acl, x-amz-grant-*等请求头，无法使用标准权限来设置ACL（即Canned ACL）。如果需要创建时指定bucket ACL，需要通过另外的接口实现，这个下文会提及。
兼容接口列表：
https://docs.jdcloud.com/cn/object-storage-service/compatibility-api-overview

下面以Go SDK介绍京东云OSS的基本操作，实现对象资源的上传下载等功能。

环境准备

1、安装或更新Go 1.5及以上版本（参考1 - Mac下安装Go语言环境配置）。

2、（可选）通过可视化IDE Atom搭建Go编译环境。相比于sublime text或者传统的vim编辑方式，Atom是更为先进的文本代码编辑器，是由Github打造的编程开发工具，除了界面美观，还有各种强大的插件。本文以Atom开发环境作为展示（参考2 - Mac下基于Atom构建Go开发环境）

3、在使用Go SDK发起请求之前，需提前在京东云用户中心账户管理下的AccessKey管理页面申请accesskey和secretKey密钥对（简称AK/SK）。这个秘钥对会在后续程序初始化使用到。

下载和安装

1、命令行安装
go get github.com/aws/aws-sdk-go

2、Atom安装（可选）
菜单【Packages】-> 【Go】-> 【Get Package】，然后输入github.com/aws/aws-sdk-go，稍等片刻便下载和安装完成。代码会被下载到GOPATH环境变量中第一个路径src目录中，效果与命令行安装方法一样。

SDK组成概述

在具体编码之前，建议了解AWS SDK的构成，主要包括SDK core和service clients两个部分。SDK core适用于所有AWS的服务，service中的client仅适用于对应的service，作为该服务的客户端进行调用。

SDK core包括一些通用的类，帮助更容易地构造API参数，譬如Config、Logger等。其中，
awserr：进程异常的接口，返回进程中遇到的异常和错误，对应错误码和信息。
credential：API调用需要身份认证，需要使用京东云的AK/SK进行认证，并且需要修改默认的Config配置项。
endpoints：服务的调用入口，有区域属性，需要在Config中配置。
session：提供配置的初始化，可以自定义配置中的参数进行初始化，包括region、endpoints、credential等。
request：提供API请求和重试，可以自定义请求及其处理方法。

创建s3 client的示例
在发起OSS（S3协议）的请求之前，需要初始化s3 client，以下为创建client的例子。

1 ak := "your accesskey"2    sk := "your secretkey"3    token := "" //Token留空4    creds := credentials.NewStaticCredentials(ak, sk, token)5    _,err := creds.Get()67    config := &aws.Config{8        Region:      aws.String("cn-north-1"),                 //Bucket所在Region9        Endpoint:    aws.String("s3.cn-north-1.jcloudcs.com"), //Bucket所在Endpoint10        DisableSSL      :aws.Bool(false),11        Credentials     :creds,12    }13    client := s3.New(session.New(config))

创建完s3 client之后，就可以对bucket、object等oss资源进行请求操作了。下面分别介绍创建bucket、上传文件（PutObject、Upload）、分片上传文件进行demo展示。

创建bucket空间

目标：在京东云华北区创建一个名字为go-sdk-sample的bucket，并设置ACL为公有读私有写（public-read）。

示例代码：

1 package main23 import (4    "fmt"5    "os"6    "github.com/aws/aws-sdk-go/aws"7    "github.com/aws/aws-sdk-go/aws/credentials"8    "github.com/aws/aws-sdk-go/aws/session"9    "github.com/aws/aws-sdk-go/service/s3"10 )1112 func main() {13    bucket := "go-sdk-sample"14    // Create S3 service client15    svc := s3.New(newSession())1617    crParams := &s3.CreateBucketInput{18        Bucket: aws.String(bucket),19    }2021    _, err := svc.CreateBucket(crParams)2223    if err != nil {24        exitErrorf("Unable to create bucket %q, %v", bucket, err)25    }2627    // Wait until bucket is created before finishing28    fmt.Printf("Waiting for bucket %q to be created...\n", bucket)2930    err = svc.WaitUntilBucketExists(&s3.HeadBucketInput{31        Bucket: aws.String(bucket),32    })33    if err != nil {34        exitErrorf("Error occurred while waiting for bucket to be created, %v", bucket)35    }3637    fmt.Printf("Bucket %q successfully created\n", bucket)3839    puParams := &s3.PutBucketAclInput{40        Bucket: aws.String(bucket),41    }42    puParams.SetACL("public-read") //set bucket ACL4344    _, err = svc.PutBucketAcl(puParams)45    if err != nil {46        exitErrorf(err.Error())47    }48    fmt.Println("Set", bucket, "ACL to public-read")4950}5152 func newSession() *session.Session {53    ak := " your accesskey "54    sk := " your secretkey "55    token := "" //Token留空5657    creds := credentials.NewStaticCredentials(ak, sk, token)58    creds.Get()5960    config := &aws.Config{61        Region:      aws.String("cn-north-1"),                 //Bucket所在Region62        Endpoint:    aws.String("s3.cn-north-1.jcloudcs.com"), //Bucket所在Endpoint63        DisableSSL:  aws.Bool(false),64        Credentials: creds,65    }66    return session.New(config)67 }6869 func exitErrorf(msg string, args ...interface{}) {70    fmt.Fprintf(os.Stderr, msg+"\n", args...)71    os.Exit(1)72 }

示例中可以看出，我们通过CreatBucket的接口创建bucket，并通过PutBucketAcl的接口设置bucket的ACL。目前京东云支持三种访问权限，包括私有读写（private）、公有读私有写（public-read）、公有读写（public-read-write）。

执行结果：

执行成功，控制台显示对应的bucket创建成功。

上传文件（PutObject）

目标：把一个object上传到bucket中，并加入MD5校验确保数据完整性。

示例代码：

1 package main23 import (4    "crypto/md5"5    "encoding/hex"6    "fmt"7    "io"8    "os"910    "github.com/aws/aws-sdk-go/aws"11    "github.com/aws/aws-sdk-go/aws/credentials"12    "github.com/aws/aws-sdk-go/aws/session"13    "github.com/aws/aws-sdk-go/service/s3"14)1516 func main() {17    filename := "your file path" //file path1819    file, err := os.Open(filename)20    if err != nil {21        exitErrorf("Unable to open file %q, %v", err)22    }23    defer file.Close()2425    md5_file := CreateMd5(filename)2627    // Create S3 service client28    svc := s3.New(newSession())2930    input := &s3.PutObjectInput{31        Body:       file,32        Bucket:     aws.String("go-sdk-sample"),33        Key:        aws.String(filename),34        ContentMD5: aws.String(md5_file), //MD5 校验（可选）35    }3637    result, err := svc.PutObject(input)3839    if err != nil {40        exitErrorf("Put Object Error, %v", err)41    }4243    fmt.Println(result)4445 }46 // MD5校验47 func CreateMd5(filename string) string {4849    f, err := os.Open(filename)50    if err != nil {51        exitErrorf("Unable to open file %q, %v", err)52    }53    defer f.Close()5455    md5hash := md5.New()56    io.Copy(md5hash, f)5758    return hex.EncodeToString(md5hash.Sum(nil))5960}6162 func newSession() *session.Session {63    ak := " your accesskey "64    sk := " your secretkey "65    token := "" //Token留空6667    creds := credentials.NewStaticCredentials(ak, sk, token)68    creds.Get()6970    config := &aws.Config{71        Region:      aws.String("cn-north-1"),                 //Bucket所在Region72        Endpoint:    aws.String("s3.cn-north-1.jcloudcs.com"), //Bucket所在Endpoint73        DisableSSL:  aws.Bool(false),74        Credentials: creds,75    }76    return session.New(config)77 }7879 func exitErrorf(msg string, args ...interface{}) {80    fmt.Fprintf(os.Stderr, msg+"\n", args...)81    os.Exit(1)82 }

示例中可以看出，我们通过PutObject接口上传本地文件，同时为了校验数据的准确性，加入了CreateMd5方法生成文件的MD5值，并传参到ContentMD5中，OSS服务端会校验文件，如果为相同值会返回成功的result，即文件的ETAG值。

执行结果：

可以从控制台看到文件已经正确上传，ETag与文件计算的MD5值相符。可以尝试修改ContentMD5的参数为其他值，会返回错误结果，这里就不具体展示了。

上传文件（Uploader）

上面通过PutObject的方法进行文件上传，那么如果文件比较大，一般通过分片上传的方式来实现分块、并发和重试机制，确保大，文件的上传。这里需要用到CreateMultipartUpload、UploadPart、CompletedPart、AbortMultipartUpload等多个接口来完成整个过程，同时需要自行实现重试、并行等逻辑，相对比较复杂。S3提供了S3 Upload Manager来帮助用户实现以上逻辑，能够自动判断文件大小来选择单次上传或分块上传的方式来完成。同时，用户可以自定义块大小（PartSize）、并发数（Concurrency）以及最大块数量（MaxUploadParts）等参数，满足不同场景的需要。

示例代码：

1 package main23 import (4    "fmt"5    "os"67    "github.com/aws/aws-sdk-go/aws"8    "github.com/aws/aws-sdk-go/aws/credentials"9    "github.com/aws/aws-sdk-go/aws/session"10    "github.com/aws/aws-sdk-go/service/s3/s3manager"11 )1213 func main() {14    bucket := " go-sdk-sample "                                   //bucket name15    filename := " your file path " //file url1617    file, err := os.Open(filename)18    if err != nil {19        exitErrorf("Unable to open file %q, %v", err)20    }21    defer file.Close()2223    sess := newSession()24    uploader := s3manager.NewUploader(sess)2526    upParams := &s3manager.UploadInput{27        Bucket: aws.String(bucket),28        Key:    aws.String(filename),29        Body:   file,30    }3132    //33    result, err := uploader.Upload(upParams, func(u *s3manager.Uploader) {34        u.PartSize = 10 * 1024 * 1024  //自定义分块大小，10M每个分片35        u.LeavePartsOnError = true     //true,上传出错会保留已成功上传的分块36        u.Concurrency = 3             //定义并发数，即goroutines数量37        u.MaxUploadParts = 10000      //定义最大可上传块数量38    })3940    if err != nil {41        exitErrorf("Put Object Error, %v", err)42    }4344    fmt.Printf("Successfully uploaded!\n")45    fmt.Println("File URL: " + result.Location)46}4748 func newSession() *session.Session {49    ak := " your accesskey "50    sk := " your secretkey "51    token := "" //Token留空5253    creds := credentials.NewStaticCredentials(ak, sk, token)54    creds.Get()5556    config := &aws.Config{57        Region:      aws.String("cn-north-1"),                 //Bucket所在Region58        Endpoint:    aws.String("s3.cn-north-1.jcloudcs.com"), //Bucket所在Endpoint59        DisableSSL:  aws.Bool(false),60        Credentials: creds,61    }62    return session.New(config)63}6465 func exitErrorf(msg string, args ...int，erface{}) {66    fmt.Fprintf(os.Stderr, msg+"\n", args...)67    os.Exit(1)68 }

可以看到，与前面PutObject不同，这里使用s3manager.NewUploader来构造上传服务，通过uploader.Upload方法上传文件。Upload的具体实现逻辑可以参考源码：

https://github.com/aws/aws-sdk-go/blob/master/service/s3/s3manager/upload.go

譬如自动判断是否分块上传的逻辑如下：

执行结果：

本次上传的文件大小为16M，比PartSize的10M大，因此会执行分块上传。在上传过程中，可以在控制台-分片管理看到对应正在上传的分片任务，说明正在分片上传。upload的上传成功后会返回文件访问地址location。

至此，我们已经把主要的OSS操作示例介绍完毕，其余的操作我们根据实际需要继续整理，譬如不使用s3manager，直接用MultipartUpload等基础接口来实现分块上传，大家可以尝试一下，我们下回分解。