Testautomatisering; is een ‘record and play’ tool iets voor jou?

 In DeltaISIS, Werken Bij, Kwaliteitsmanagement

Vanuit de markt komt telkens weer de vraag om de functionele testen te automatiseren. Eén van de manieren om dat ‘simpel’ te doen is via een record and play tool. Zo’n tool kan ervoor zorgen dat je zonder al te veel infrastructuur en kennis van programmeren je wel een geautomatiseerde testset tot je beschikking hebt.

Onze productmanager Bjorn v/d Einden heeft een kleine samenvatting gemaakt met zaken waar je op moet letten wanneer je kiest voor een record and play tool.

Toepassing – waarom zou je voor een record and play tool kiezen?

Voordelen:

  • Learning tool
    • Als tool om een start te maken met automatisering kan het enorm helpen
      • Als je een test met record en play automatiseert, en ziet wat onderwater allemaal gebeurt, kan dit helpen om een regressie test later in een code-based tool vorm te geven!
      • Proof of concept voor testautomatisering
  • Load testing
    • Als je bijvoorbeeld 50 gebruikers wil simuleren, is het enorm low-cost en simpel om dit te realiseren
  • Repeatability
    • Indien je veel handmatige regressietesten hebt, die veel tijd kosten, zorgt dit voor een enorme verlichting van de workload
  • Simplicity
    • Iedereen kan dit met minimale inspanning toepassen op web-based applications

Nadelen:

  • Limited test coverage
    • Eigenlijk test je niet veel meer dan pad-navigatie en simpel semantisch/syntactisch
    • Het is een goede aanvulling, maar kan nooit de volledige oplossing zijn voor een klant
  • Poor integration
    • Als je testautomatisering wil toepassen, wil je dit ook in een pijplijn hangen
    • Bij dit soort tools moet je waarschijnlijk nog steeds handmatig aftrappen, analyseren en rapporteren
  • Duplication
    • Iedere test bouw je opnieuw op, als je vaker door dezelfde paden wandelt, dupliceer je constant testcode
    • Als je een paar kleine testjes automatiseert, is dit geen probleem
    • Als je dit breed toepast, groeit je ‘code’ heel snel uit de klauwen
  • Test suite fragility
    • Iedere test dupliceert alle elementen
    • Een fout in 1 element betekent dat je al je testen moet fixen
      • Over 70% of all breakages are due to locator fragility in the face of change, and over 50% of all breakages are further due to attribute-based locators
    • Dit zorgt voor hoge onderhoudskosten aan een dergelijke testset

Samengevat

Binnen een aantal context voorwaarden kan een dergelijke tool van toegevoegde waarde zijn voor de klant. Waar tenminste rekening mee gehouden moet worden is:

  • De code / schermen wijzigen niet veel en het systeem is redelijk stabiel
  • De hoeveelheid testen is relatief klein
  • Het gebruik van een ‘code based tool’ als CodeCept of iets dergelijks is te zwaar
    • Gebrek aan kennis
    • Tijdsinvestering te groot

Toolkeuze

Uit de record and play tool inventarisatie is naar voren gekomen dat Selenium IDE (nog steeds) de beste kandidaat is.

  • de tool is gratis
  • er zijn veel features
  • er is veel documentatie
  • er zijn tutorial video’s en dergelijke beschikbaar
  • er is veel support

Screenster, TestingWhiz en Ranorex zijn ook goede kandidaten,

  • omdat ze makkelijker te leren / toe te passen zijn
  • minder installatie/configuratie benodigen
  • meer features hebben

maar:

  • die zijn (veel) duurder
  • de (indien beschikbaar) gratis versie heeft relatief weinig features
  • er is veel minder documentatie en dergelijke

 

Natuurlijk heeft iedereen zijn eigen afwegingen, maar hopelijk geeft dit weer voldoende stof tot nadenken of een record and play tool iets voor jou is en kun je daarna er snel mee aan de slag.

Recommended Posts