ソフトウェア開発|Python変異テスト入門

突然変異テストによる未知のバグの修正。

もしかしたら、プロジェクトリポジトリにテストカバレッジ100%というバッジを貼っているかもしれません。どうしてわかるのですか？

開発者はユニットテストについてよく知っています。テストは書かなければなりません。時には期待通りに動かないこともあります。テストが成功することもあれば、コードを変更せずに失敗することもあります。ユニットテストを通して発見された小さな問題は貴重ですが、たいていは開発者のマシンに黙って現れ、バージョン管理にコミットされる前に修正されます。しかし、本当に心配な問題のほとんどは目に見えません。最悪なのは、完全に目に見えないことです。バグがユーザーの手に渡るまで、バグが発見されないことはありません。

見えないエラーを見えるようにするテストがあります。

変異テストは、アルゴリズムによってソースコードを変更し、各テストで「変異体」が生き残るかどうかをチェックします。単体テストで生き残った変異型はすべて問題です。それは、コードへの変更が標準のテストスイートで検出されなかったことを意味します。

Python 突然変異をテストするためのフレームワークの1つに mutmutあります。

例えば、時計の時針と分針の間の角度を度単位で計算するコードを書く必要があるとします：

def hours_hand(hour, minutes):
    base = (hour % 12 ) * (360 // 12)
    correction = int((minutes / 60) * (360 // 12))
    return base + correction
def minutes_hand(hour, minutes):
    return minutes * (360 // 60)
def between(hour, minutes):
    return abs(hours_hand(hour, minutes) - minutes_hand(hour, minutes))

まず、簡単なユニットテストを書きます：

import angle
def test_twelve():
    assert angle.between(12, 00) == 0

これで十分ですか？このコードにはif文がないので、カバレッジを見ると

$ coverage run `which pytest`
============================= test session starts ==============================
platform linux -- Python 3.8.3, pytest-5.4.3, py-1.8.2, pluggy-0.13.1
rootdir: /home/moshez/src/mut-mut-test
collected 1 item                                                              
tests/test_angle.py .                                                    [100%]
============================== 1 passed in 0.01s ===============================

完璧です！テストは100%のカバレッジでパスし、あなたは本当にテストのエキスパートになりました。しかし、突然変異テストを使うと、カバレッジはどうなるでしょうか？

$ mutmut run --paths-to-mutate angle.py
<snip>
Legend for output:
? Killed mutants. The goal is for everything to end up in this bucket.
 Timeout. Test suite took 10 times as long as the baseline so were killed.
? Suspicious. Tests took a long time, but not long enough to be fatal.
? Survived. This means your tests needs to be expanded.
? Skipped. Skipped.
<snip>
⠋ 0? 0 ? 16 ? 0

なんと、21人の変異体のうち生き残ったのは16人。突然変異検査に合格したのは5人だけでしたが、どういうことですか？

突然変異のテストごとに、 mutmut は潜在的なエラーをシミュレートするためにソースコードの一部を修正します。この境界条件に対する単体テストがない場合、突然変異は "生きる "ことになります。

より良いユニットテストを書く時間です。 results 使った変更をチェックするのは簡単です：

$ mutmut results
<snip>
Survived ? (16)
---- angle.py (16) ----
4-7, 9-
$ mutmut apply 4
$ git diff
diff --git a/angle.py b/angle.py
index b5dca41..644
--- a/angle.py
+++ b/angle.py
@@ -1,6 +1,6 @@
def hours_hand(hour, minutes):
 hour = hour % 12
- base = hour * (360 // 12)
+ base = hour / (360 // 12)
    correction = int((minutes / 60) * (360 // 12))
    return base + correction

これは mutmut がソースコードを解析し、演算子を異なるものに変更する突然変異を起こした典型的な例です。この場合は乗算から除算です。一般に、ユニットテストは演算子が変更されたときのエラーを検出する必要があります。そうでないと、効果的に動作をテストすることができません。このロジックに従って mutmut はテストをダブルチェックするためにソースコードを走査します。

def minutes_hand(hour, minutes): 使えば、失敗したミュータントを適用することができます。hour 引数が正しく使用されていることをほとんどチェックしていなかったことが判明しました。修正してください：

$ git diff
diff --git a/tests/test_angle.py b/tests/test_angle.py
index f51d43a..1a2e4df 
--- a/tests/test_angle.py
+++ b/tests/test_angle.py
@@ -2,3 +2,6 @@ import angle
def test_twelve():
    assert angle.between(12, 00) == 0
+def test_three():
+ assert angle.between(3, 00) == 90

以前は12時方向のテストだけでしたが、今は3時方向のテストを加えるだけで十分ですか？

$ mutmut run --paths-to-mutate angle.py
<snip>
⠋ 0? 0 ? 14 ? 0

この新しいテストでは、以前よりもうまく2匹のミュータントを殺すことができましたが、もちろんまだ先は長いです。残りの14のテストケースについては、パターンがはっきりしていると思うので、ひとつひとつ取り組むつもりはありません。

変異テストは、カバレッジと同様、テストスイートの網羅性を確認するためのツールです。これを使うことで、テストケースを改善する必要があります。生き残っている変異体は、人間がコードを改ざんするときに犯す可能性のあるミスであり、プログラムに潜む隠れたバグでもあります。テストを続け、バグ探しを楽しんでください。