Property Based Testing (También conocido como Generative Testing) @guilespi Guillermo Winkler Guillermo Winkler Ingeniero Guillermo Winkler Ingeniero Programador Guillermo Winkler Ingeniero Programador Tester Property Based Testing O Cómo no escribir mas Unit Tests Property Based Testing O Cómo no escribir mas Unit Tests Types vs. Tests Cuál es la mejor forma de demostrar que nuestros sistemas son correctos? (O sea que hacen lo que tienen que hacer) Cuál es la mejor forma de demostrar que nuestros sistemas son correctos? (O sea que hacen lo que tienen que hacer) Types • Sirven como parte de la especificación • Ayudan durante el diseño • Ayudan a capturar requerimientos Tests • Sirven como parte de la especificación • Sirven como “comentarios ejecutables” • Ayudan durante el diseño • Ayudan a capturar requerimientos Una lista de timestamps en Scala Un loop en Ruby “Program testing can be used to show the presence of bugs, but never to show their absence” Edsger Dijkstra double f1(int x) { return 1/x; } @Test public void testUnity() { assertEquals(1, f1(1)); } double f1(int x) { return 1/x; } @Test public void testUnity() { assertEquals(1, f1(1)); } 100% code coverage! Patch Quién se morfo el unit test? Átomos en la tierra: 1.33 x 10^50 Joe Armstrong (Erlang) https://www.youtube.com/watch?v=lKXe3HUG2l4 2^k=10^50 k=50log(10)/log(2) k=166.09 k/32=5.18 Un programa en C con 6 enteros tiene más estados posibles que átomos hay en el planeta… Un programa en C con 6 enteros tiene más estados posibles que átomos hay en el planeta… ? Fred Brooks Digital computers are more complex than most things that people build. They have large numbers of states. Software systems have orders of magnitude more states than computers do. No Silver Bullet Essence and Accidents of Software Engineering Property based testing Definir propiedades que tiene que cumplir nuestro sistema para cierto dominio de valores. Property based testing Poner al sistema en la mayor cantidad de estados posibles Precisamos generar valores (De ahí lo de generative testing) Enteros int 0 1 1 0 2 -4 0 5 -7 -8 4 5 3 11 -9 -4 6 -5 -3 0 Vectores de enteros [int] [] [] [1] [1] [] [] [5 6 6 2 0 1] [3 7 5] [2 0 0 6 2 5 8] [9 1 9 3 8 3 5] Listas de booleanos (bool) () () (false) (false true false) (false true) (false true true true) (true) (false false true true) () (true) Alfanuméricos (string) “hZO*3" “m-W2@KL” ",P+po0#2 “ "tlt^[ ui`V" Estructuras compuestas {:user-name "kWodcsE2", :user-id 1, :email "r2ed3VE@computer.org", :active? true} QuickCheck • • • • • • • • • • • • • C C++ Chicken Scheme Clojure Common Lisp D Elm Erlang F# Factor Io Java Javascript • • • • • • • • • • • • Node.js Objective-C OCaml Perl Prolog Python R Ruby Scala Scheme Smalltalk Standard ML function sort(values) { var length = values.length - 1; do { var swapped = false; for(var i = 0; i < length; ++i) { if (values[i] > values[i+1]) { var temp = values[i]; values[i] = values[i+1]; values[i+1] = temp; swapped = true; } } } while(swapped == true) }; sort([7, 4, 5, 2, 9, 1]); Cómo se define una propiedad? Ejemplo: En un array ordenado el primer elemento es siempre menor que el último. Cómo se define una propiedad? Ejemplo: En un array ordenado el primer elemento es siempre menor que el último. Promueve una visión de más alto nivel con restricciones que se deben satisfacer de manera universal. Javascript JSC.reps(10); JSC.test( "First is lower than last after sort", function (verdict, v) { var sorted = v.sort(); return verdict(sorted[0] < sorted[sorted.length - 1]); }, [ JSC.array([JSC.integer()]]) ] ); Clojure (def prop-sorted-first-less-than-last (prop/for-all [v (gen/vector gen/int)] (let [s (sort v)] (< (first s) (last s))))) (tc/quick-check 10 prop-sorted-first-less-than-last) Un nombre para la propiedad… Javascript JSC.reps(10); JSC.test( "First is lower than last after sort", function (verdict, v) { var sorted = v.sort(); return verdict(sorted[0] < sorted[sorted.length - 1]); }, [ JSC.array([JSC.integer()]]) ] ); Clojure (def prop-sorted-first-less-than-last (prop/for-all [v (gen/vector gen/int)] (let [s (sort v)] (< (first s) (last s))))) (tc/quick-check 10 prop-sorted-first-less-than-last) Javascript Un generador de valores para la función a testear… JSC.reps(10); JSC.test( "First is lower than last after sort", function (verdict, v) { var sorted = v.sort(); return verdict(sorted[0] < sorted[sorted.length - 1]); }, [ JSC.array([JSC.integer()]]) ] ); Clojure (def prop-sorted-first-less-than-last (prop/for-all [v (gen/vector gen/int)] (let [s (sort v)] (< (first s) (last s))))) (tc/quick-check 10 prop-sorted-first-less-than-last) Javascript Invocar a la función para el valor generado… JSC.reps(10); JSC.test( "First is lower than last after sort", function (verdict, v) { var sorted = v.sort(); return verdict(sorted[0] < sorted[sorted.length - 1]); }, [ JSC.array([JSC.integer()]]) ] ); Clojure (def prop-sorted-first-less-than-last (prop/for-all [v (gen/vector gen/int)] (let [s (sort v)] (< (first s) (last s))))) (tc/quick-check 10 prop-sorted-first-less-than-last) Javascript Validar que la propiedad se cumple… JSC.reps(10); JSC.test( "First is lower than last after sort", function (verdict, v) { var sorted = v.sort(); return verdict(sorted[0] < sorted[sorted.length - 1]); }, [ JSC.array([JSC.integer()]]) ] ); Clojure (def prop-sorted-first-less-than-last (prop/for-all [v (gen/vector gen/int)] (let [s (sort v)] (< (first s) (last s))))) (tc/quick-check 10 prop-sorted-first-less-than-last) Ejecutar 10 casos… Javascript JSC.reps(10); JSC.test( "First is lower than last after sort", function (verdict, v) { var sorted = v.sort(); return verdict(sorted[0] < sorted[sorted.length - 1]); }, [ JSC.array([JSC.integer()]]) ] ); Clojure (def prop-sorted-first-less-than-last (prop/for-all [v (gen/vector gen/int)] (let [s (sort v)] (< (first s) (last s))))) (tc/quick-check 10 prop-sorted-first-less-than-last) Javascript JSC.reps(10); JSC.test( "First is lower than last after sort", function (verdict, v) { var sorted = v.sort(); return verdict(sorted[0] < sorted[sorted.length - 1]); }, [ JSC.array([JSC.integer()]]) ] ); Clojure (def prop-sorted-first-less-than-last (prop/for-all [v (gen/vector gen/int)] (let [s (sort v)] (< (first s) (last s))))) (tc/quick-check 10 prop-sorted-first-less-than-last) => {:result false, :failing-size 0, :num-tests 1, :fail [[3]], :shrunk {:total-nodes-visited 5, :depth 2, :result false, :smallest [[0]]}} Shrinking (def prop-no-42 (prop/for-all [v (gen/vector gen/int)] (not (some #{42} v)))) (tc/quick-check 100 prop-no-42) ;; => {:result false, :failing-size 45, :num-tests 46, :fail [[10 1 28 40 11 -33 42 -42 39 -13 13 -44 -36 11 27 -42 4 21 -39]], :shrunk {:total-nodes-visited 38, :depth 18, :result false, :smallest [[42]]}} (def prop-no-42 (prop/for-all [v (gen/vector gen/int)] (not (some #{42} v)))) (tc/quick-check 100 prop-no-42) ;; => {:result false, :failing-size 45, :num-tests 46, :fail [[10 1 28 40 11 -33 42 -42 39 -13 13 -44 -36 11 27 -42 4 21 -39]], :shrunk {:total-nodes-visited 38, :depth 18, :result false, :smallest [[42]]}} (def prop-no-42 (prop/for-all [v (gen/vector gen/int)] (not (some #{42} v)))) (tc/quick-check 100 prop-no-42) ;; => {:result false, :failing-size 45, :num-tests 46, :fail [[10 1 28 40 11 -33 42 -42 39 -13 13 -44 -36 11 27 -42 4 21 -39]], :shrunk {:total-nodes-visited 38, :depth 18, :result false, :smallest [[42]]}} Shrink Tree http://www.slideshare.net/PhilipKoopman/toyota-unintended-acceleration http://www.quviq.com/volvo-quickcheck/ Property Based Testing • Es complementario con unit tests y/o type systems. • Promueve una visión de más alto nivel sobre las definiciones en nuestras pruebas. • Permite poner a nuestro sistema en una cantidad de estados solo alcanzable de forma computacional. • Antes que los errores ocurran para prevenir • Después que ocurran para diagnosticar