背景

之前没有针对 Spanner 的数据层单元测试框架,后端服务在完成编码后 DAO 层单测的数据,基本通过 Mock 的方式,或对测试数据库的读写来实现。这种单测手段存在一些问题:

  1. 使用 mock 数据, 在接口和 Service 层代码不变的情况下, 内部的重构需要改写大量的单元测试用例。
  2. 使用测试数据库, 随意修改数据导致的单元测试不稳定, 考虑测试完成后手动清理数据的低效问题。
  3. 使用 mock 数据, 跟落盘到 Spanner 的区别,无法验证 DAO 层的代码是正确的。

目前公司部分服务的单元测试依赖以上两种方式, 本文介绍一种通过模拟 Spanner 的方式, 来解决以上问题。

Spanner Emulator

目前有两个业界用得比较多的 Spanner 的模拟器:

  • handy-spanner: 一个非官方 Spanner 模拟器。内部的存储用到 sqlite3 。 初始化简单,可以在 Go 中作为内置服务器运行。
  • cloud-spanner-emulator:官方 Spanner 模拟器。仅将数据存储在内存中,专门用于针对 Cloud Spanner 应用程序的本地单元测试。

本文仅介绍 cloud-spanner-emulator。

注:使用 handy-spanner 作为单测和 BDD 测试 的数据存储也是一个不错的选择, 关于 BDD 测试 , 可参考Go 项目的 BDD 实践

单元测试流程

初始化 Emulator

cloud-spanner-emulator 支持以下几种方式完成初始化:

  1. gcloud 内置emulator命令的支持
  2. 预编译的 docker 镜像
  3. 预编译的 linux 二进制文件 (在 Ubuntu 16.04/18.04, CentOS 8, RHEL 8, and Debian 9/10 做过测试)
  4. bazel
  5. 自定义的 docker 镜像

本地可以通过 gcloud 的方式调用 spanner emulator:

1
2
3
4
5
6
gcloud config configurations create emulator
gcloud config set auth/disable_credentials true
gcloud config set project your-project-id
gcloud config set api_endpoint_overrides/spanner http://localhost:9010/
gcloud spanner instances create test-instance \
   --config=emulator-config --description="Test Instance" --nodes=1

线上通过预编译 linux 二进制程序 + docker 镜像提供 spanner emulator 环境。

对于线上和线下环境 spanner 模拟器初始化步骤的差异,可在项目中的 unit_test.sh 脚本做处理:

1
2
3
4
5
6
# export spanner emulator env
if [ "x_$NODE_ENV" != "x_local" ]; then
  /spanner/emulator/init.sh
  /spanner/emulator/start.sh
fi
export SPANNER_EMULATOR_HOST=localhost:9010

初始化 DB Client

以 Go 项目为例, 我们的开发脚手架封装有一个 spannerClient,对 DB 的 CURD 操作通过同一个全局的 spannerClient 完成。所以要接入 Cloud Spanner Emulator 仅仅需要在初始化 spannerClient 连上测试的 DB实例:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
var db = "projects/emulator-project/instances/emulator-instance/databases/example-db"
func InitTestingSpannerClient() {
	cli, err := spanner.NewClient(context.TODO(), db, spanner2.ClientConfig{SessionPoolConfig: spanner2.SessionPoolConfig{
		MaxOpened: 200,
		MinOpened: 5,
		MaxIdle:   10,
	}})
	if err != nil {
		logger.Critical(context.TODO(), "Connecting to spanner emulator failed: %v!",
			zap.Error(err))
	}
	spannerClient = cli
}

同时我们需要初始化一个 AdminClient, 用于调用Cloud Spanner数据库管理API, 进行 DDL 操作:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
func InitTestingSpannerAdminClient() {
  emulatorAddr := os.Getenv("SPANNER_EMULATOR_HOST")
	var opts []option.ClientOption
	opts = append(
		opts,
		option.WithEndpoint(emulatorAddr),
		option.WithGRPCDialOption(grpc.WithInsecure()), option.WithoutAuthentication(),
	)
	var err error
	TestingSpannerAdminClient, err = dbadmin.NewDatabaseAdminClient(context.Background(), opts...)
	if err != nil {
		panic(fmt.Sprintf("Setting up testing's Spanner admin client failed: %v", err))
	}
}

操作测试数据

初始化 spannerClient 和 spannerAdminClient 之后, 在做单元测试之前创建数据表,并灌数据到 Emulator。 封装了以下函数,通过原生 Spanner SDK 直接操作数据:

  1. 创建 Tables:

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    
    func CreateTables(ctx context.Context, statements []string) error {
     matches := regexp.MustCompile("^(.*)/databases/(.*)$").FindStringSubmatch(db)
     if matches == nil || len(matches) != 3 {
         return fmt.Errorf("Invalid database id %s", db)
     }
     // if db.State == "READY"
     _, err := TestingSpannerAdminClient.GetDatabase(ctx, &dbadminpb.GetDatabaseRequest{
         Name: db,
     })
     if err == nil {
         return nil
     }
     op, err := TestingSpannerAdminClient.CreateDatabase(ctx, &adminpb.CreateDatabaseRequest{
         Parent:          matches[1],
         CreateStatement: "CREATE DATABASE `" + matches[2] + "`",
         ExtraStatements: statements,
     })
     if err != nil {
         return err
     }
     if _, err := op.Wait(ctx); err != nil {
         return err
     }
     return nil
    }
    
  2. 更新 Schema:

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    
    func UpdateMockData(ctx context.Context, statements ...string) error {
     op, err := TestingSpannerAdminClient.UpdateDatabaseDdl(ctx, &dbadminpb.UpdateDatabaseDdlRequest{
         Database:   dbName,
         Statements: statements,
     })
     if err != nil {
         return err
     }
     return op.Wait(mockCtx)
    }
    
  3. 删除 Mock 数据:

    1
    2
    3
    4
    5
    6
    
    func DeleteMockData(ctx context.Context, table string, key interface{}) (err error) {
     _, err = spannerClient.NativeClient().Apply(ctx, []*spanner2.Mutation{
         spanner2.Delete(table, spanner2.Key{key}),
     })
     return
    }
    
  4. 新增 Mock 数据:

    1
    2
    3
    4
    
    func InsertMockData(table string, keys []string, vals []interface{}) (err error) {
     _, err = spannerClient.NativeClient().Apply(context.TODO(), []*spanner2.Mutation{spanner2.Insert(table, keys, vals)})
     return
    }
    
  5. 查询 Mock 数据:

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    
    func GetMockData(query string, params map[string]interface{}) ([]interface, error) {
     stmt := spanner2.NewStatement(query)
     stmt.Params = params
     rows := spannerClient.NativeClient().Single().Query(context.TODO(), stmt)
     var ret []interface{}
       
     err := rows.Do(func(row *spanner2.Row) error {
         var meta string
         if err := row.Columns(&meta); err != nil {
             return fmt.Errorf("decode Colunms error: %v", err)
         }
         ret = append(ret, meta)
         return nil
     })
      if err != nil {
        return ret, err
      }
      return ret, nil
    

总结

本文主要介绍了官方的 Cloud Spanner Emulator: 如何初始化环境、进行单元测试以及对 Mock 数据的处理 。通过 Spanner Emulator, 来弥补 GCP Spanenr 在 DAO 层单元测试上的缺失。

参考

  1. cloud-spanner-emulator
  2. 有赞单元测试实践
  3. 使用Cloud Spanner模拟器