请注意,此文章尚未完成。
当此文章完结时,此声明将被删除。

1. 什么是 YCSB

YCSB 全称 Yahoo! Cloud Serving Benchmark,即是一个雅虎云基准测试工具。

根据官方 wiki 描述,其现支持以下数据库:

  1. HBase
  2. Hypertable
  3. Cassandra
  4. Couchbase
  5. Voldemort
  6. MongoDB
  7. OrientDB
  8. Infinispan
  9. Redis
  10. GemFire
  11. DynamoDB
  12. Tarantool
  13. Memcached

… 等等更多(上述列出的数据库类型均为 NoSQL)。

我们很难知道哪个存储系统更适合我们的应用程序,一部分原因是不同的系统有不同特性,一部分原因是比较存储系统的性能比较困难。而 YCSB 主要用于解决后者 —— 测试某些存储系统的性能。

YCSB 项目的目标是开发一套框架和通用的工作负载,以评估不同的 “key-value” 和 “云” 服务的性能。该项目包括两件事:

  1. YCSB 客户端,一个可扩展的工作负载生成器。
  2. 核心工作负载,一组将由生成器执行的工作负载方案。

尽管 YCSB 核心工作负载提供了对一个系统性能的全面分析,但客户端是可扩展的,因此你可以定义新的不同的工作负载来检查核心工作负载未充分涵盖的系统方面或应用场景。同样,客户端可扩展以支持对不同数据库进行基准测试。

YCSB 中已经包含了用于对 HBase、Cassandra、Infinispan 和 MongoDB 进行基准测试的示例代码,但编写一个新的接口层来对我们喜欢的数据库进行基准测试是很简单的。

YCSB 工具的常用用途是对多个存储系统进行基准测试,并进行这些系统。例如,你可以在相同的硬件配置上安装多个系统,并针对每个系统运行相同的工作负载。然后,你可以绘制每个系统的性能(例如,作为延迟与吞吐量曲线),以查看一个系统何时比另一个系统更好。

这里是一篇描述了这个基准测试和一些结果的论文。

wiki 中还给出了一篇使用 YCSB 对 Redis 进行基准测试的文档 —— http://robertlehmann.de/img/redis.pdf。

注:YCSB 最新的 Release 版本是 0.17.0,发布时间是 2019 年 10 月 6 日。

2. 开始使用

本文将略过Windows 上使用 YCSB 的方法,仅在 Linux
如果你需要在 Windows 上使用 YCSB,请自行查看官方 wiki 中的内容。

2.1. 获取 YCSB

目前最新版就是 0.17.0,我们直接下载这个版本就好。

1
2
3
curl -O --location https://github.com/brianfrankcooper/YCSB/releases/download/0.17.0/ycsb-0.17.0.tar.gz
tar xfvz ycsb-0.17.0.tar.gz
cd ycsb-0.17.0

(这个 ycsb-0.17.0.tar.gz 足足有 675 MB,可以自己根据实际情况调整下载方案。)

运行 ./bin/ycsb 命令但不给出任何参数,将打印用法。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
[gukaifeng@iZ8vbf7xcuoq7ug1e7hjk5Z ycsb-0.17.0]$ ./bin/ycsb
usage: ./bin/ycsb command database [options]

Commands:
load Execute the load phase
run Execute the transaction phase
shell Interactive mode

Databases:
accumulo https://github.com/brianfrankcooper/YCSB/tree/master/accumulo
accumulo1.6 https://github.com/brianfrankcooper/YCSB/tree/master/accumulo1.6
accumulo1.7 https://github.com/brianfrankcooper/YCSB/tree/master/accumulo1.7
accumulo1.8 https://github.com/brianfrankcooper/YCSB/tree/master/accumulo1.8
aerospike https://github.com/brianfrankcooper/YCSB/tree/master/aerospike
arangodb https://github.com/brianfrankcooper/YCSB/tree/master/arangodb
arangodb3 https://github.com/brianfrankcooper/YCSB/tree/master/arangodb3
asynchbase https://github.com/brianfrankcooper/YCSB/tree/master/asynchbase
azurecosmos https://github.com/brianfrankcooper/YCSB/tree/master/azurecosmos
azuretablestorage https://github.com/brianfrankcooper/YCSB/tree/master/azuretablestorage
basic https://github.com/brianfrankcooper/YCSB/tree/master/basic
basicts https://github.com/brianfrankcooper/YCSB/tree/master/basicts
cassandra-cql https://github.com/brianfrankcooper/YCSB/tree/master/cassandra
cassandra2-cql https://github.com/brianfrankcooper/YCSB/tree/master/cassandra2
cloudspanner https://github.com/brianfrankcooper/YCSB/tree/master/cloudspanner
couchbase https://github.com/brianfrankcooper/YCSB/tree/master/couchbase
couchbase2 https://github.com/brianfrankcooper/YCSB/tree/master/couchbase2
crail https://github.com/brianfrankcooper/YCSB/tree/master/crail
dynamodb https://github.com/brianfrankcooper/YCSB/tree/master/dynamodb
elasticsearch https://github.com/brianfrankcooper/YCSB/tree/master/elasticsearch
elasticsearch5 https://github.com/brianfrankcooper/YCSB/tree/master/elasticsearch5
elasticsearch5-rest https://github.com/brianfrankcooper/YCSB/tree/master/elasticsearch5
foundationdb https://github.com/brianfrankcooper/YCSB/tree/master/foundationdb
geode https://github.com/brianfrankcooper/YCSB/tree/master/geode
googlebigtable https://github.com/brianfrankcooper/YCSB/tree/master/googlebigtable
googledatastore https://github.com/brianfrankcooper/YCSB/tree/master/googledatastore
griddb https://github.com/brianfrankcooper/YCSB/tree/master/griddb
hbase098 https://github.com/brianfrankcooper/YCSB/tree/master/hbase098
hbase10 https://github.com/brianfrankcooper/YCSB/tree/master/hbase10
hbase12 https://github.com/brianfrankcooper/YCSB/tree/master/hbase12
hbase14 https://github.com/brianfrankcooper/YCSB/tree/master/hbase14
hbase20 https://github.com/brianfrankcooper/YCSB/tree/master/hbase20
hypertable https://github.com/brianfrankcooper/YCSB/tree/master/hypertable
ignite https://github.com/brianfrankcooper/YCSB/tree/master/ignite
ignite-sql https://github.com/brianfrankcooper/YCSB/tree/master/ignite
infinispan https://github.com/brianfrankcooper/YCSB/tree/master/infinispan
infinispan-cs https://github.com/brianfrankcooper/YCSB/tree/master/infinispan
jdbc https://github.com/brianfrankcooper/YCSB/tree/master/jdbc
kudu https://github.com/brianfrankcooper/YCSB/tree/master/kudu
maprdb https://github.com/brianfrankcooper/YCSB/tree/master/maprdb
maprjsondb https://github.com/brianfrankcooper/YCSB/tree/master/maprjsondb
memcached https://github.com/brianfrankcooper/YCSB/tree/master/memcached
mongodb https://github.com/brianfrankcooper/YCSB/tree/master/mongodb
mongodb-async https://github.com/brianfrankcooper/YCSB/tree/master/mongodb
nosqldb https://github.com/brianfrankcooper/YCSB/tree/master/nosqldb
orientdb https://github.com/brianfrankcooper/YCSB/tree/master/orientdb
postgrenosql https://github.com/brianfrankcooper/YCSB/tree/master/postgrenosql
rados https://github.com/brianfrankcooper/YCSB/tree/master/rados
redis https://github.com/brianfrankcooper/YCSB/tree/master/redis
rest https://github.com/brianfrankcooper/YCSB/tree/master/rest
riak https://github.com/brianfrankcooper/YCSB/tree/master/riak
rocksdb https://github.com/brianfrankcooper/YCSB/tree/master/rocksdb
s3 https://github.com/brianfrankcooper/YCSB/tree/master/s3
solr https://github.com/brianfrankcooper/YCSB/tree/master/solr
solr6 https://github.com/brianfrankcooper/YCSB/tree/master/solr6
tablestore https://github.com/brianfrankcooper/YCSB/tree/master/tablestore
tarantool https://github.com/brianfrankcooper/YCSB/tree/master/tarantool

Options:
-P file Specify workload file
-cp path Additional Java classpath entries
-jvm-args args Additional arguments to the JVM
-p key=value Override workload property
-s Print status to stderr
-target n Target ops/sec (default: unthrottled)
-threads n Number of client threads (default: 1)

Workload Files:
There are various predefined workloads under workloads/ directory.
See https://github.com/brianfrankcooper/YCSB/wiki/Core-Properties
for the list of workload properties.
ycsb: error: too few arguments

注:在 ./bin 目录下,有 3 个 ycsb 相关的可执行程序(脚本):

  1. ycsb:这是一个 python2 的脚本,注意是 2。
  2. ycsb.bat:看后缀就知道,这个是在 windows 上用的。
  3. ycsb.sh:这是个 shell 脚本,不过需要系统中安装了 java。

本文使用的是第一个。

2.2. 运行一个工作负载

运行一个工作负载分为 6 步:

  1. 设置要测试的数据库系统;
  2. 选择合适的数据库接口层;
  3. 选择合适的工作负载;
  4. 选择合适的运行参数(如客户端线程数、目标吞吐量,等等);
  5. 加载数据;
  6. 执行工作负载。

这里描述的步骤假设你正在运行一个客户端服务器。对于中小型集群(例如 10台 机器),这应该足够。对于更大的群集,你可能必须在不同的服务器上运行多个客户端才能生成足够的负载。同样,在某些情况下,使用多个客户端机器加载数据库可能会更快。有关并行运行多个客户端的更多详细信息,请参见 Running a Workload in Parallel

2.2.1. 步骤 1. 设置要测试的数据库系统

第一步是设置你要测试的数据库系统。这可以在单台计算机或群集上完成,具体取决于你希望基准测试的配置。

你还必须创建或设置 tables/keyspaces/storage 桶以存储记录。详细信息根据每个数据库系统而有所不同,并依赖你希望运行的工作负载。在运行 YCSB 客户端之前,必须创建表,因为客户端本身不会要求创建表。这是因为对于某些系统,有一个手动(人为操作)的步骤来创建表,而对于其他系统,必须在启动数据库集群之前创建表。

必须创建的表取决于工作负载。对于 CoreWorkload,YCSB 客户端将假设有一个称为 “Usertable” 具有灵活架构的“表”:可以根据需要在运行时添加列。这个 “Usertable” 可以映射到任何合适的存储容器中。例如:在 MySQL 中,你将 CREATE TABLE;在 Cassandra 中,你将 Cassandra 配置中定义一个键空间;等等诸如此类。数据库接口层(步骤 2 中描述)将收到 “Usertable” 中读或写记录的请求,并将其转换为你指定的实际存储的请求。这可能意味着您必须为数据库接口层提供信息,以帮助其了解下层存储的结构是什么。例如,在 Cassandra 中,除了键空间(keyspace)之外,你还必须定义“列族(column families)”。因此,有必要创建一个列族并给列族提供一些名称(例如,你可以使用 “values”)。然后,数据库访问层将需要知道引用 “values” 列族,因为字符串 “values” 作为属性传递,或者是因为它在数据库接口层中进行了硬编码。

2.2.2. 步骤 2. 选择合适的数据库接口层

数据库接口层是一个 Java 类,可以执行由 YCSB 客户端生成的 readinsertupdatedeletescan 操作对应你的数据库的 API 的调用。这个类是在 com.yahoo.ycsb 包中抽象 DB 类的子类。在运行 YCSB 客户端以前,你需要在命令行指定数据库接口层的类名,客户端会动态加载你的接口类。任何在命令行中(或命令行中的参数文件中)指定的属性,都会被传递给 DB 接口实例,用来配置这个接口层(例如,告诉接口层你要测试的数据库的 hostname)。

YCSB 客户端具有简单的虚拟接口层,com.yahoo.ycsb.BasicDB。这个层只会用 System.out 打印其要执行的操作。这对于确保客户端正确运行、调试你的工作负载是有帮助的。

关于在运行 YCSB 时如何使用客户端的详细信息,参见 Using the Database Libraries。关于更多实现 DB 接口层的细节,参见 Adding a Database

你可以对数据库直接使用 ycsb 命令。这个客户端使用数据库接口层发送命令给数据库。你可以使用此客户端来确保 DB 层正常工作,数据库正确设置,DB 层可以连接到数据库等等。它还为各种数据库提供了一个通用的接口,可用于检查数据库中的数据。运行命令行客户端:

1
2
3
4
5
6
7
8
9
10
$ ./bin/ycsb shell basic
> help
Commands:
read key [field1 field2 ...] - Read a record
scan key recordcount [field1 field2 ...] - Scan starting at key
insert key name1=value1 [name2=value2 ...] - Insert a new record
update key name1=value1 [name2=value2 ...] - Update a record
delete key - Delete a record
table [tablename] - Get or [set] the name of the table
quit - Quit

2.2.3. 步骤 3. 选择合适的工作负载

工作负载定义将在**加载(loading)阶段加载到数据库中的数据,以及将在事务(transaction)**阶段对数据集执行的操作。

通常,一个工作负载由以下组成:

  1. 工作负载 Java 类(com.yahoo.ycsb.Workload 的子类)
  2. 参数文件(以 Java 的属性格式)

因为该数据集的属性必须在加载阶段(以便可以构建和插入正确的记录)以及在事务阶段(以便可以引用正确的记录 ID 和字段)已知,所以单个属性集合在两个阶段之间共享。因此这两个阶段都会用到参数文件。工作负载 Java 类使用这些属性来插入记录(加载阶段)或执行针对这些记录的事务(事务阶段)。选择运行哪个阶段基于你在运行 ycsb 命令时指定的参数。

你要在运行 YCSB 客户端时指定这个 java 类和参数文件。客户端将会动态地加载你的工作负载类,并将参数文件中的属性(以及任何在命令行中额外添加的属性)传递给这个类,然后执行工作负载。

2.2.4. 步骤 4. 选择合适的运行参数

2.2.5. 步骤 5. 加载数据

2.2.6. 步骤 6. 执行工作负载