Flask教程-测试 Flask 程序
在开发大型程序时，为程序编写自动化测试是非常重要的。手动测试所有功能不仅耗时而且容易出错，而自动化测试可以减轻这个负担并提高测试的可靠性。本章我们将介绍如何使用 Python 的 unittest 测试框架编写单元测试。
单元测试
单元测试是对程序中的独立单元（如函数、方法）进行测试的一种形式。我们将使用 Python 标准库中的 unittest 框架来编写单元测试。下面通过一个简单的例子来介绍一些基本概念。
假设我们有一个名为 sayhello 的函数，代码如下：
def sayhello(to=None):
if to:
return f'Hello, {to}!'
return 'Hello!'我们可以为这个函数编写单元测试，代码如下：
import unittest
from hello import sayhello
class SayHelloTestCase(unittest.TestCase):
def setUp(self):
pass
def tearDown(self):
pass
def test_sayhello(self):
rv = sayhello()
self.assertEqual(rv, 'Hello!')
def test_sayhello_to_somebody(self):
rv = sayhello(to='Grey')
self.assertEqual(rv, 'Hello, Grey!')
if __name__ == '__main__':
unittest.main()在上面的代码中，我们创建了一个名为 SayHelloTestCase 的测试用例，继承自 unittest.TestCase 类。在测试用例中，以 test_ 开头的方法将被视为测试方法。
在测试用例中，我们还可以定义两个特殊的方法：setUp 和 tearDown。setUp 方法在每个测试方法执行前被调用，tearDown 方法在每个测试方法执行后被调用。这些方法可以用来准备测试环境和清理测试数据。
每个测试方法（以 test_ 开头的方法）对应一个要测试的函数、功能或使用场景。在上面的例子中，我们定义了两个测试方法：test_sayhello 测试 sayhello 函数不传入参数时的返回值，test_sayhello_to_somebody 测试传入参数时的返回值。
在测试方法中，我们使用断言方法来判断程序功能是否正常。例如，使用 self.assertEqual(rv, 'Hello!') 来判断函数调用的返回值是否符合预期。如果断言失败，则表示该测试方法未通过。
常用的断言方法包括：
assertEqual(a, b): 判断a和b是否相等assertNotEqual(a, b): 判断a和b是否不相等assertTrue(x): 判断x是否为真assertFalse(x): 判断x是否为假assertIs(a, b): 判断a和b是否为同一对象assertIsNot(a, b): 判断a和b是否不为同一对象assertIsNone(x): 判断x是否为NoneassertIsNotNone(x): 判断x是否不为NoneassertIn(a, b): 判断a是否在b中assertNotIn(a, b): 判断a是否不在b中
将上述代码保存为 test_sayhello.py 文件，并执行 python test_sayhello.py 命令即可执行所有测试，并输出测试的结果、通过情况、总耗时等信息。
测试 Flask 程序
import unittest
from app import app, db, Movie, User
class WatchlistTestCase(unittest.TestCase):
def setUp(self):
# 更新配置
app.config.update(
TESTING=True,
SQLALCHEMY_DATABASE_URI='sqlite:///:memory:'
)
# 创建数据库和表
db.create_all()
# 创建测试数据，一个用户，一个电影条目
user = User(name='Test', username='test')
user.set_password('123')
movie = Movie(title='Test Movie Title', year='2019')
# 使用 add_all() 方法一次添加多个模型类实例，传入列表
db.session.add_all([user, movie])
db.session.commit()
self.client = app.test_client() # 创建测试客户端
self.runner = app.test_cli_runner() # 创建测试命令运行器
def tearDown(self):
db.session.remove() # 清除数据库会话
db.drop_all() # 删除数据库表
def test_app_exist(self):
"""测试程序实例是否存在"""
self.assertIsNotNone(app)
def test_app_is_testing(self):
"""测试程序是否处于测试模式"""
self.assertTrue(app.config['TESTING'])在这段代码中，我们创建了一个名为WatchlistTestCase的测试用例类，继承自unittest.TestCase。在setUp()方法中，我们更新了配置变量的值，将TESTING设置为True以开启测试模式，并将SQLALCHEMY_DATABASE_URI设置为'sqlite:///:memory:'，使用内存型SQLite数据库。
然后，我们调用db.create_all()创建数据库和表，并添加了一个用户和一个电影条目作为测试数据。接下来，我们创建了测试客户端和测试命令运行器作为类属性，用于模拟客户端请求和触发自定义命令。
在tearDown()方法中，我们清除数据库会话并删除数据库表。
最后，我们编写了两个简单的测试方法test_app_exist()和test_app_is_testing()，分别用于测试程序实例是否存在和程序是否处于测试模式。每个测试方法都以注释形式提供了简要的描述。
测试客户端
app.test_client() 返回一个测试客户端对象，可以用来模拟客户端（浏览器），我们创建类属性 self.client 来保存它。对它调用 get() 方法就相当于浏览器向服务器发送 GET 请求，调用 post() 则相当于浏览器向服务器发送 POST 请求，以此类推。下面是两个发送 GET 请求的测试方法，分别测试 404 页面和主页：
test_watchlist.py：测试固件
class WatchlistTestCase(unittest.TestCase):
# ...
# 测试 404 页面
def test_404_page(self):
response = self.client.get('/nothing') # 传入目标 URL
data = response.get_data(as_text=True)
self.assertIn('Page Not Found - 404', data)
self.assertIn('Go Back', data)
self.assertEqual(response.status_code, 404) # 判断响应状态码
# 测试主页
def test_index_page(self):
response = self.client.get('/')
data = response.get_data(as_text=True)
self.assertIn('Test\'s Watchlist', data)
self.assertIn('Test Movie Title', data)
self.assertEqual(response.status_code, 200)调用这类方法返回包含响应数据的响应对象，对这个响应对象调用 get_data() 方法并把 as_text 参数设为 True 可以获取 Unicode 格式的响应主体。我们通过判断响应主体中是否包含预期的内容来测试程序是否正常工作，比如 404 页面响应是否包含 Go Back，主页响应是否包含标题 Test's Watchlist。
接下来，我们要测试数据库操作相关的功能，比如创建、更新和删除电影条目。这些操作对应的请求都需要登录账户后才能发送，我们先编写一个用于登录账户的辅助方法：
test_watchlist.py：测试辅助方法
class WatchlistTestCase(unittest.TestCase):
# ...
# 辅助方法，用于登入用户
def login(self):
self.client.post('/login', data=dict(
username='test',
password='123'
), follow_redirects=True)在 login() 方法中，我们使用 post() 方法发送提交登录表单的 POST 请求。和 get() 方法类似，我们需要先传入目标 URL，然后使用 data 关键字以字典的形式传入请求数据（字典中的键为表单 <input> 元素的 name 属性值），作为登录表单的输入数据；而将 follow_redirects 参数设为 True 可以跟随重定向，最终返回的会是重定向后的响应。
下面是测试创建、更新和删除条目的测试方法：
test_watchlist.py：测试创建、更新和删除条目
class WatchlistTestCase(unittest.TestCase):
# ...
# 测试创建条目
def test_create_item(self):
self.login()
# 测试创建条目操作
response = self.client.post('/', data=dict(
title='New Movie',
year='2019'
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertIn('Item created.', data)
self.assertIn('New Movie', data)
# 测试创建条目操作，但电影标题为空
response = self.client.post('/', data=dict(
title='',
year='2019'
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertNotIn('Item created.', data)
self.assertIn('Invalid input.', data)
# 测试创建条目操作，但电影年份为空
response = self.client.post('/', data=dict(
title='New Movie',
year=''
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertNotIn('Item created.', data)
self.assertIn('Invalid input.', data)
# 测试更新条目
def test_update_item(self):
self.login()
# 测试更新页面
response = self.client.get('/movie/edit/1')
data = response.get_data(as_text=True)
self.assertIn('Edit item', data)
self.assertIn('Test Movie Title', data)
self.assertIn('2019', data)
# 测试更新条目操作
response = self.client.post('/movie/edit/1', data=dict(
title='New Movie Edited',
year='2019'
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertIn('Item updated.', data)
self.assertIn('New Movie Edited', data)
# 测试更新条目操作，但电影标题为空
response = self.client.post('/movie/edit/1', data=dict(
title='',
year='2019'
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertNotIn('Item updated.', data)
self.assertIn('Invalid input.', data)
# 测试更新条目操作，但电影年份为空
response = self.client.post('/movie/edit/1', data=dict(
title='New Movie Edited Again',
year=''
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertNotIn('Item updated.', data)
self.assertNotIn('New Movie Edited Again', data)
self.assertIn('Invalid input.', data)
# 测试删除条目
def test_delete_item(self):
self.login()
response = self.client.post('/movie/delete/1', follow_redirects=True)
data = response.get_data(as_text=True)
self.assertIn('Item deleted.', data)
self.assertNotIn('Test Movie Title', data)在这几个测试方法中，大部分的断言都是在判断响应主体是否包含正确的提示消息和电影条目信息。
登录、登出和认证保护等功能的测试如下所示：
test_watchlist.py：测试认证相关功能
class WatchlistTestCase(unittest.TestCase):
# ...
# 测试登录保护
def test_login_protect(self):
response = self.client.get('/')
data = response.get_data(as_text=True)
self.assertNotIn('Logout', data)
self.assertNotIn('Settings', data)
self.assertNotIn('<form method="post">', data)
self.assertNotIn('Delete', data)
self.assertNotIn('Edit', data)
# 测试登录
def test_login(self):
response = self.client.post('/login', data=dict(
username='test',
password='123'
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertIn('Login success.', data)
self.assertIn('Logout', data)
self.assertIn('Settings', data)
self.assertIn('Delete', data)
self.assertIn('Edit', data)
self.assertIn('<form method="post">', data)
# 测试使用错误的密码登录
response = self.client.post('/login', data=dict(
username='test',
password='456'
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertNotIn('Login success.', data)
self.assertIn('Invalid username or password.', data)
# 测试使用错误的用户名登录
response = self.client.post('/login', data=dict(
username='wrong',
password='123'
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertNotIn('Login success.', data)
self.assertIn('Invalid username or password.', data)
# 测试使用空用户名登录
response = self.client.post('/login', data=dict(
username='',
password='123'
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertNotIn('Login success.', data)
self.assertIn('Invalid input.', data)
# 测试使用空密码登录
response = self.client.post('/login', data=dict(
username='test',
password=''
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertNotIn('Login success.', data)
self.assertIn('Invalid input.', data)
# 测试登出
def test_logout(self):
self.login()
response = self.client.get('/logout', follow_redirects=True)
data = response.get_data(as_text=True)
self.assertIn('Goodbye.', data)
self.assertNotIn('Logout', data)
self.assertNotIn('Settings', data)
self.assertNotIn('Delete', data)
self.assertNotIn('Edit', data)
self.assertNotIn('<form method="post">', data)
# 测试设置
def test_settings(self):
self.login()
# 测试设置页面
response = self.client.get('/settings')
data = response.get_data(as_text=True)
self.assertIn('Settings', data)
self.assertIn('Your Name', data)
# 测试更新设置
response = self.client.post('/settings', data=dict(
name='Grey Li',
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertIn('Settings updated.', data)
self.assertIn('Grey Li', data)
# 测试更新设置，名称为空
response = self.client.post('/settings', data=dict(
name='',
), follow_redirects=True)
data = response.get_data(as_text=True)
self.assertNotIn('Settings updated.', data)
self.assertIn('Invalid input.', data)测试命令
除了测试程序的各个视图函数，我们还需要测试自定义命令。app.test_cli_runner() 方法返回一个命令运行器对象，我们创建类属性 self.runner 来保存它。通过对它调用 invoke() 方法可以执行命令，传入命令函数对象，或是使用 args 关键字直接给出命令参数列表。invoke() 方法返回的命令执行结果对象，它的 output 属性返回命令的输出信息。下面是我们为各个自定义命令编写的测试方法：
test_watchlist.py：测试自定义命令行命令
# 导入命令函数
from app import app, db, Movie, User, forge, initdb
class WatchlistTestCase(unittest.TestCase):
# ...
# 测试虚拟数据
def test_forge_command(self):
result = self.runner.invoke(forge)
self.assertIn('Done.', result.output)
self.assertNotEqual(Movie.query.count(), 0)
# 测试初始化数据库
def test_initdb_command(self):
result = self.runner.invoke(initdb)
self.assertIn('Initialized database.', result.output)
# 测试生成管理员账户
def test_admin_command(self):
db.drop_all()
db.create_all()
result = self.runner.invoke(args=['admin', '--username', 'grey', '--password', '123'])
self.assertIn('Creating user...', result.output)
self.assertIn('Done.', result.output)
self.assertEqual(User.query.count(), 1)
self.assertEqual(User.query.first().username, 'grey')
self.assertTrue(User.query.first().validate_password('123'))
# 测试更新管理员账户
def test_admin_command_update(self):
# 使用 args 参数给出完整的命令参数列表
result = self.runner.invoke(args=['admin', '--username', 'peter', '--password', '456'])
self.assertIn('Updating user...', result.output)
self.assertIn('Done.', result.output)
self.assertEqual(User.query.count(), 1)
self.assertEqual(User.query.first().username, 'peter')
self.assertTrue(User.query.first().validate_password('456'))在这几个测试中，大部分的断言是在检查执行命令后的数据库数据是否发生了正确的变化，或是判断命令行输出（result.output）是否包含预期的字符。
运行测试
最后，我们在程序结尾添加下面的代码：
if __name__ == '__main__':
unittest.main()使用下面的命令执行测试：
(env) $ python test_watchlist.py
...............
----------------------------------------------------------------------
Ran 15 tests in 2.942s
OK如果测试出错，你会看到详细的错误信息，进而可以有针对性的修复对应的程序代码，或是调整测试方法。
测试覆盖率
为了让程序更加强壮，你可以添加更多、更完善的测试。那么，如何才能知道程序里有哪些代码还没有被测试？整体的测试覆盖率情况如何？我们可以使用 Coverage.py来检查测试覆盖率，首先安装它：
(env) $ pip install coverage使用下面的命令执行测试并检查测试覆盖率：
(env) $ coverage run --source=app test_watchlist.py因为我们只需要检查程序脚本 app.py 的测试覆盖率，所以使用 --source 选项来指定要检查的模块或包。
最后使用下面的命令查看覆盖率报告：
$ coverage report
Name Stmts Miss Cover
----------------------------
app.py 146 5 97%从上面的表格可以看出，一共有 146 行代码，没测试到的代码有 5 行，测试覆盖率为 97%。
你还可以使用 coverage html 命令获取详细的 HTML 格式的覆盖率报告，它会在当前目录生成一个 htmlcov 文件夹，打开其中的 index.html 即可查看覆盖率报告。点击文件名可以看到具体的代码覆盖情况。
同时在 .gitignore 文件后追加下面两行，忽略掉生成的覆盖率报告文件：
htmlcov/
.coverage
