UN ALGORITMO PARA LA MEDICION EN LINEA DE LA LONGITUD DE TIRAS FLEXIBLES SOBREPUESTAS Joaquín Salas 1, Gonzalo Velázquez 2, J. Antonio Torres 2 1. CICATA-IPN, José Siurob 10. Col. Alameda., Querétaro, México 76040 e-mail: salas@ieee.org 2. Food Process Engineering Group, Dept. of Food Science & Technology Oregon State University, 100 Wiegand Hall, Corvallis, OR 97331-6602 e-mail: Gonzalo.Velazquez@orst.edu, J_Antonio.Torres@orst.edu Resumen: Este documento describe un algoritmo basado en análisis de imágenes para la determinación en línea de la longitud de una muestra de tiras flexibles sobrepuestas y de dimensión variable. Primero, se determina la dirección preferencial de las tiras mediante la proyección radial de segmentos de la imagen. Posteriormente, la sección central de la tira es definida recorriéndola de extremo a extremo. El algoritmo permite identificar y medir tiras individuales aun en presencia de traslapes múltiples, diversos grados de curvatura y con la misma dirección preferencial. INTRODUCCIÓN El presente trabajo es parte de un proyecto para desarrollar un proceso basado en altas presiones hidrostáticas para queso rayado. El objetivo principal del proyecto es reducir el tiempo de almacenamiento refrigerado requerido para la maduración del queso antes de poder ser rayado en la planta. En este proyecto es de particular interés determinar si existen diferencias significativas en la distribución del tamaño de las tiras por efecto de las distintas combinaciones de tiempo y presión. En el presente artículo se describe un algoritmo para la determinación en línea de la longitud de tiras sobrepuestas. Las tiras son objetos flexibles con tamaños que varían entre 5 y 50 mm de longitud, amplitud entre 3 y 5 mm y que pueden mostrar cierto grado de curvatura. Para caracterizar un producto en forma automática, se toma cierta cantidad de tiras como muestra representativa, se coloca en un vibrador electromecánico para reducir el grado de traslape y la muestra es depositada sobre una banda transportadora la cual se desplaza a una velocidad controlada. Para analizar la muestra, se coloca una cámara de video cuyo eje focal es perpendicular a la dirección de la banda. Aun cuando el equipamiento y procedimiento descrito permite separar las tiras, es común observar cierto traslape entre ellas. Se requiere, por lo tanto, un método de análisis rápido considerando la cantidad de tiras, sus diferentes grados de curvatura y el traslape que pueden presentar muchas de ellas (Fig. 1). Los problemas principales en este trabajo son la identificación de las tiras y su medición adecuada para esta aplicación en particular. En el proceso de identificación se calcula la semejanza de caracterizaciones de porciones de la imagen. La dificultad para caracterizar estriba en que porciones de la tira pueden estar ocluidas o sobrepuestas. Para resolver este problema, Ullman[1] propone el uso de árboles de búsqueda para encontrar interpretaciones válidas donde los objetos son caracterizados por un conjunto de parámetros. Las hojas del árbol constituyen interpretaciones parciales, mientras que las variaciones de los parámetros se organizan en los nodos internos. Este método requiere del conocimiento previo de un modelo geométrico para identificar y localizar Fig. 1. Imagen de queso rayado en tonos inversos ilustrando como el traslape dificulta la determinación de los extremos de las tiras. Las tiras de interés se encuentran en un rango entre 5 y 50 mm. CALIBRACIÓN DE LA CÁMARA En este sistema de medición se caracteriza la cámara para obtener una relación entre los puntos en la escena y los puntos en la imagen. Tradicionalmente[4], los parámetros de la cámara se clasifican en intrínsecos y extrínsecos. Además, dependiendo de las características del sistema óptico, puede ser necesario realizar correcciones por distorsiones radiales. Los parámetros extrínsecos definen la posición y orientación del sistema de referencia de la cámara con respecto al mundo real. Es decir, la relación entre las coordenadas de un punto en el espacio de coordenadas del sistema de referencia de la cámara ( p c ) y del mundo real ( p w ), es p c = R (p w − t ) . Donde t es la traslación entre ambos sistemas de r11 Referencia y R esta dada por r21 r 31 r12 r22 r32 r13 r23 . r33 Por otro lado, los parámetros intrínsecos definen la caracterización óptica y geométrica de la cámara. Es decir, relacionan las coordenadas de un punto en la imagen con las coordenadas en el sistema de referencia de la cámara. Una cámara puede ser caracterizada en función de su centro óptico (c x , c y ) , el tamaño efectivo del píxel (s x , s y ) y la longitud focal f = ( f x , f y ). En algunos casos, el sistema óptico introduce algunas distorsiones que son evidentes en la periferia de la imagen. Ese fenómeno pueden ser modelado como distorsiones radiales con la siguientes relaciones (ver Sang Bing Kang[5]) xu = x d (1 + k1r 2 + k 2 r 4 ) y u = y d (1 + k1r 2 + k 2 r 4 ) ⇐ IZQ objetos ocluidos o traslapados. En este caso, las tiras son difíciles de modelar geométricamente debido a su curvatura variable. Considerando lo anterior, puede ser importante considerar la utilidad de la técnica de contornos activos[2] pues las variaciones dadas por la estructura local podrían permitir aproximar el contorno de las siluetas de forma suave. Sin embargo, debido a la cantidad de parámetros implicados en la definición y optimización de funciones de potencial requeridas, la convergencia de la búsqueda es generalmente lenta y por ello esta técnica es más adecuada para aplicaciones fuera de línea. En el proceso de medición, la imagen es dividida en segmentos que contienen tiras o agregados de ellas. Cada segmento es analizado por separado para determinar las diferentes tiras que lo componen. El método se basa en las proyecciones sobre líneas[3] de los conglomerados de tiras de las cuales se obtiene un mapa de direcciones preferenciales que indica las direcciones hacia donde posiblemente se encuentre una tira. Cada máximo en el mapa de direcciones preferenciales es utilizado como una pista para el seguimiento de la trayectoria de las tiras. Un segundo problema es la exactitud en la medición de la longitud de las tiras. Para ello, es necesario encontrar los parámetros intrínsecos de la cámara para estimar la relación entre píxeles y milímetros. En el resto del documento se describe el proceso de calibración de la cámara, se presentan las heurísticas de detección de partículas flexibles sobrepuestas y se muestran los resultados experimentales y conclusiones obtenidas. ⇐ x f ← xi −1 ⇒ bloque ⇑ Bloque LEJOS (3) DER ⇒ ⇑ LEJOS bloque bloque x f ← xi − 1 x f ← xi + 1 bloque x f ← xi + 1 bloque bloque x f ← x i − 1 x f ← xi + 1 Tabla 1. Heurística para la determinación de la dirección de recorrido de la tira de un extremo al otro. La instrucción que se ejecuta depende de las condiciones ⇐ , ⇒ , ⇑ y LEJOS de los bordes IZQ y DER de la tira. Para detalles sobre los símbolos y su significado ver el texto. Con ( x d , y d ) siendo las coordenadas del punto en la imagen distorsionada, r = x d + y d , y ( xu , y u ) las coordenadas no distorsionadas del punto. Este modelo de la cámara tiene 19 parámetros de los cuales, 11 son extrínsecos, 6 intrínsecos y 2 representan la distorsión radial. Por lo general, se usa un patrón de dimensiones y geometría conocidos de donde puedan obtenerse una gran cantidad de puntos referenciados lo cual permite determinar los parámetros mediante la minimización de algún criterio de error (ver Zhang[6]). 2 2 2 [ línea que pasa por cosθ la siguiente ecuación. h(θ , a ) = ∞ ∑S r = −∞ k senθ ] está dada por T cosθ − senθ a senθ + r cosθ (5) Con − ∞ < a < ∞ y 0 ≤ θ ≤ 2π . La orientación preferencial H (θ ) puede obtenerse al calcular las proyecciones para un segmento en todas las direcciones. Esto es : H (θ ) = max a h(θ , a ) (6) Cada uno de los máximos de H (θ ) es una dirección preferencial y establece una posibilidad de localizar una tira. Con esta dirección y un punto de inicio q en un extremo de la tira el problema ahora es como desplazarse en una dirección perpendicular a θ , por la parte media de la tira hacia el otro extremo (ver Figura 2). El segmento S k preferencial. Sea q i = ( xi , y i ) la posición inicial de búsqueda. La heurística en la Tabla 1 ayuda a determinar la nueva posición q f = ( x f , y f ) . Sea Fig. 2 Ejemplo del recorrido al seguir la trayectoria de las tiras de queso. MEDICIÓN DE TIRAS DE QUESO RAYADO Sea I : Z × Z → Z una función bidimensional que describe un mapeo de posición en un plano a un nivel de intensidad. Supóngase adicionalmente que es posible realizar modificaciones del ambiente de tal forma que la distinción entre tiras y fondo sea trivial. Es decir, 1 Tira I (x) = 0 Fondo se orienta en una dirección (4) Es posible entonces definir la imagen en términos de regiones conexas S 0 , S1 , K, S n llamadas segmentos. La unión de estas regiones es igual a la imagen I y su intersección es nula. Aquí S 0 equivale al fondo y los demás segmentos corresponden a tiras individuales o superpuestas. Sea S k el segmento S k con posiciones referenciadas a su centroide. Su proyección sobre la IZQ y DER el vector de curvatura local del borde de la tira. Al ir avanzando sobre la tira, la curvatura quede hacia la izquierda, la derecha o continuar avanzando. Estas tendencias se abrevian en la Tabla 1 con los símbolos ⇐, ⇒y ⇑ respectivamente. La situación que refleja que el borde de la tira está muy alejado se etiqueta como LEJOS. En todos los casos se continua avanzando en la dirección preferencial, y f ← y i − 1 . De acuerdo a la estructura local de los lados IZQ y DER se modifica el valor de x f . La primera condición que se verifica es LEJOS, la cual implica la definición de un umbral α . La frontera de la tira se encuentra LEJOS si su distancia a la posición actual de recorrido es mayor a α . La instrucción bloque se refiere a la modificación de x f dependiendo de una condición lógica. Si la frontera IZQ se encuentra más lejos que la frontera DER entonces x f ← x i − 1 en otro caso x f ← xi + 1 . RESULTADOS EXPERIMENTALES El algoritmo descrito ha sido implementado en un programa para computadora desarrollado en Visual C++ 6.0 de Microsoft. La Figura 1 muestra un ejemplo de las muestras de queso rayado que se examinaron. La resolución de las imágenes es de 240 líneas por 320 columnas. Las tiras de interés tienen una longitud entre 5 y 50 mm. En una muestra típica se presenta una gran cantidad de traslapes y en muchas ocasiones es prácticamente imposible decidir donde están ambos extremos de las tiras. El primer paso para usar el sistema consiste en calibrar la cámara y obtener sus parámetros intrínsecos. (a) Detalle de uno de los segmentos mostrados en la figura 1 con varias tiras superpuestas donde es difícil distinguir ambos extremos. (b) Mapa de direcciones preferenciales. Cada máximo señala la presencia de una acumulación y con ello la posibilidad de la presencia de una tira en la dirección angular que se indica en el eje horizontal Fig. 4 Fig. 3 Conjunto de imágenes utilizado para calibrar la cámara. Todas ellas son imágenes de un objeto planar sobre el que se sobrepone una ilustración de tablero de ajedrez. Los cuadros miden un centímetro de ancho. En cada imagen el plano se coloca en diferente orientación. En la Figura 3 se muestran las imágenes de un plano al que se le sobrepone un patrón de cuadros tipo tablero de ajedrez con cuadros de un centímetro por lado. El patrón fue creado en Microsoft Word e impreso en una impresora laserjet HP1000 de 600 puntos por pulgada. El procedimiento consiste en obtener las coordenadas de las esquinas interiores del tablero de ajedrez y ejecutar el procedimiento de optimización propuesto por Zhang [6] para calcular los parámetros intrínsecos de la cámara. Para este trabajo se obtuvieron los siguientes parámetros: Longitud focal (372,60626; 375,52414) ± (1,99056; 1,94248), Centro óptico (155,30815; 129,68668) ± (2,54610; 1,60044), Distorsión radial (-0,34481; 0,20036) Segmento con tiras sobrepuestas y mapa de direcciones preferenciales de acuerdo a la ecuación (6). ± (0,02465; 0,14460). La relación entre los parámetros muestra que los píxeles son prácticamente cuadrados, el centro óptico está cerca del centro de la imagen, la distorsión radial y su incertidumbre es significativamente alta. Debido a esta incertidumbre se decidió no considerar la distorsión radial en las mediciones. La relación entre píxeles y milímetros se establece midiendo la distancia en píxeles entre los centros de dos cuadrados cuya separación es conocida. En la siguiente etapa se probaron cinco tiras de papel de dimensiones 10mm, 20mm, 30mm, 40mm y 50mm. Se midieron cada una de ellas en 20 posiciones y orientaciones diferentes. La media, desviación estándar de la muestra y el cociente entre ellos se muestra en la Tabla 2. La variación obtenida se debe a factores tales como la resolución de la imagen, el umbral para distinguir tiras de fondo, y el balance automático de la cámara que cambia dinámicamente el brillo y contraste dependiendo de la cantidad de tiras presentes en la imagen. 10mm x s s/x 20mm 30mm 40mm 50mm 10,2613 19,9849 29,816 40,4613 50,438 0,4718 0,9269 1,0804 1,1586 1,258 0,046 0,046 0,0362 0,0286 0,0248 Tabla 2. Se midieron varios patrones no trazables para determinar algunas características del proceso de medición. Cada longitud de tira se midió 20 veces en diferentes posiciones y orientaciones dentro de la imagen. Se muestra la media, desviación estándar y cociente entre ellos. La Figura 4(a) muestra un caso típico donde varias tiras se encuentran sobrepuestas. En la Figura 4(b) se muestra el mapa de direcciones preferenciales. Cada punto en la gráfica indica el máximo de la proyección en una dirección. Un máximo en el perfil de direcciones preferenciales muestra una acumulación debida a una o varias tiras. Para la búsqueda de tiras se determinan de nuevo los máximos en la proyección para una dirección preferencial. Enseguida se establece un patrón de desplazamiento de extremo a extremo de la tira utilizando la heurística descrita en la Tabla 1. La longitud de la tira es la distancia de extremo a extremo en píxeles y convertidos a milímetros utilizando la relación adecuada. La Figura 5 muestra la distribución de tamaño de tira para la imagen de la Figura 1. El eje vertical derecho muestra el número de tiras de cierto tamaño como un porcentaje del total de partículas detectadas (barras). En el eje vertical izquierdo se distribución de la longitud permite evaluar de una forma objetiva las diferencias en los tamaños de las muestra el porcentaje acumulado (línea con círculos). La forma de la grafica obtenida para la tiras. El tiempo de análisis de una imagen depende de la cantidad de partículas y la velocidad de la computadora. La resolución de las imágenes es de 320 por 240 píxeles. En una PC Pentium III a 1GHz la imagen en la Fig. 1 fue analizada en 1,93s. Una imagen vacía es procesada en 0,203s. CONCLUSIÓN El algoritmo propuesto permite la medición de la longitud de tiras de objetos flexibles en la presencia de múltiples traslapes y a cadencia de video. Los resultados observados sugieren diversas áreas de interés para mejoramiento del sistema de medición. Por ejemplo, mayor precisión y exactitud pueden ser Fig. 5 Histograma obtenido por el algoritmo para medir longitud de tiras correspondiente a la imagen presentada en la Figura 1. logradas al utilizar imágenes con mayor resolución, cámaras con mejor óptica y una mejor captura de imagen. Igualmente, se planea robustecer la heurística presentada en la Tabla 1 para distinguir entre variaciones en la orientación local y el ruido en la determinación del borde de la tira. Por otro lado, se buscará determinar la longitud utilizando una curva suave interpolada sobre la línea intermedia calculada. Finalmente, se usaran materiales de referencia trazables al metro para caracterizar de una forma precisa el desempeño del sistema de medición. AGRADECIMIENTOS Este trabajo fue realizado con financiamiento parcial de Dairy Management Inc., USA REFERENCIAS [1] Ullman, Object Recognition, MIT Press, 1991. [2] Andrew Blake and Michael Isard. Active Contours Springer. 1998. [3] R. Jain, R. Kasturi and B. Shunck, Machine Vision, McGraw-Hill, 1995 [4] Emanuele Trucco, Alessandro Verri. Introductory Techniques for 3D Computer Vision. Prentice Hall. [5] Sing Bing Kang. Semiautomatic Methods for Recovering Radial Distortion Parameters from a Single Image. Reporte Técnico Cambridge Research Laboratory. [6] Zhengyou Zhang. A Flexible New Technique for Camera Calibration. Reporte Técnico MSR-TR98-71. Microsoft Research.