Sebagian besar alat otomatisasi pengujian hanya melakukan otomatisasi eksekusi pengujian. Tanpa melibatkan desain pengujian dalam keseluruhan proses otomatisasi pengujian, kasus pengujian tetap bersifat ad hoc dan hanya mendeteksi bug sederhana. Solusi ini hanyalah otomatisasi tanpa pengujian nyata. Selain itu, otomatisasi pelaksanaan pengujian sangat tidak efisien.