Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 171-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 Estudio R y R por atributos de un proceso de inspección en el sector automotriz Attribute Gauge R&R in an inspection process in the automotive industry Luis F. Romero D. (lromero@industrial.uson.mx, Universidad de Sonora, México) Diana Lucia Romero Borbón (diana_romerob@hotmail.com, Universidad de Sonora, México) Resumen: En una empresa del ramo automotriz se plantea corroborar la existencia de diferencias entre los inspectores al momento de aplicar los criterios al realizar su trabajo. Esto puede ocasionar variantes en la percepción de la calidad en los productos que son utilizados en operaciones posteriores y, también, afectando la uniformidad en la apariencia de los artículos producidos y elaborando desperdicios inesperados. En situaciones como estas se han aplicado los estudios de Repetitividad y Reproducibilidad (GRR) con éxito para identificar la existencia de variabilidad entre y dentro de diversos procesos en una organización mediante variables o atributos. Como en este caso, donde la inspección se realiza visualmente se consideró pertinente utilizar para este estudio el método de análisis de riesgo. Como resultado, se corroboró la existencia de diferencias de criterio entre los inspectores al momento de realizar su trabajo. Palabras claves: Reproducibilidad. Análisis de Riesgo. Atributos. Estudios de Repetitividad y Abstract: In an automotive industry process assessment differences between inspectors has been identified. This may cause differences in the quality of the product as the product moves along in the process, also affecting the appearance of the finished product and perhaps creating more waste than expected. In this research project, differences among visual inspection assessment were found trough an R&R study using the risk analysis method. On other studies, the success rate on this method has been very good at identifying visual differences in a production process. As a result of this research, criteria difference between inspectors was found during inspection. Key words: Risk Analysis. Attribute. GRR. 1. Introducción Actualmente la calidad en los productos y/o servicios ha alcanzado mucha relevancia ante los ojos de los estudiosos y, particularmente es trascendental para conservar la lealtad de los consumidores. Esto impulsa al personal de las organizaciones a buscar y desarrollar técnicas que faciliten y validen la calidad de los productos que serán enviados al mercado. Entre las diversas técnicas que se disponen existen algunas que nos permiten evaluar ciertos parámetros que no pueden ser medidos cuantitativamente, por lo que se requieren de técnicas Recebido 23/06/2011; Aceito 21/09/2011 171 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 apropiadas para indicar si el producto cumple con los atributos de calidad mínimos esperados y satisfacer, primero con las especificaciones y, en consecuencia con las expectativas de los clientes. El control de calidad, un área importante de la ingeniería industrial, se han desarrollado los estudios de Repetitividad y Reproducibilidad (R&R) que mediante diferentes procedimientos tratan de identificar si el trabajo realizado por los inspectores se realiza o no de manera consistente y eficiente. Es decir, si el trabajo de inspección identifica las fallas del proceso de producción antes de que los artículos lleguen a las siguientes operaciones generando trabajo adicional en piezas que no lo debieran de recibir, o bien, rescatando aquellas consideradas como posibles defectuosas, evitando en todo caso desperdicio de los recursos disponibles y además, antes de que lleguen al cliente y finalmente al último consumidor. En el trabajo desarrollado en esta investigación se usará la técnica R&R por atributos en una empresa del ramo automotriz donde se menciona tienen discrepancias en la calidad de sus productos y consideran que obtienen productos con mucha variabilidad después de la primera operación (inyección de resinas) y que durante el trabajo de inspección que se realiza no es uniforme, por tanto los subproductos obtenidos de esta operación, no se están identificando oportunamente. Por ello, es importante estudiar este proceso de inspección para identificar, reducir o eliminar la existencia de posibles discrepancias estudiando los procedimientos aplicados por los inspectores al calificar los atributos de los artículos de la producción en proceso mediante el método de análisis de riesgos en un estudio Repetitividad y Reproducibilidad (R&R). La medición de los resultados obtenidos muestra que se tiene un problema en el acabado de uno de sus productos principales. El producto presenta burbujas de aire en su superficie proporcionando, en consecuencia, una apariencia poco atractiva en la pieza. Este acabado imperfecto, ocasiona que deba ser rechazado en la inspección, o que al continuar en el proceso sea devuelto para re-trabajo o su destrucción; y en última instancia, sea un producto rechazado por el usuario final, en caso de llegar en estas condiciones al cliente. Ambos casos, impactan a la empresa de una manera directa al utilizar más recursos de los Recebido 23/06/2011; Aceito 21/09/2011 172 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 requeridos al realizar el reproceso o al descartar el artículo como inaceptable para el proceso de producción. Por esta razones se piensa que pueden existir diferencias en los criterios y su aplicación al decidir si la pieza cumple o no con las normas de calidad deseables, que pudiera existir diferencia al realizar los procedimientos de inspección, o que existen diferencias entre aquellos que realizan la inspección; lo cual no solo afecta la apariencia del producto final, sino también afecta la imagen y la confianza que los clientes tiene en el nombre y productos de la empresa de referencia. El objetivo general del artículo es el identificar la concordancia existente entre varios evaluadores utilizando el método de Análisis de Riesgo. Para efectos de este trabajo de investigación, se descartaron totalmente los estudios de R&R para variables continuas o de mediciones cuantitativas, porque no existe una herramienta la cual pueda identificar si los defectos que tiene la pieza a inspeccionar cumple o no con los requerimientos establecidos por el cliente. De igual forma, los estudios de R&R para pruebas destructivas fueron descartados porque no es necesario deshacer la pieza totalmente para identificar si cumple o no con los dichos requerimientos; puesto que no se está trabajando con pruebas de dureza o resistencia. 2. Justificación En una organización es de suma importancia mantener la uniformidad en la calidad de sus productos, por lo que es importante tener claro cuáles son los procedimientos que se utilizan en un proceso de inspección; para de esta forma identificar, reducir o eliminar la existencia de posibles discrepancias en los procedimientos aplicados por los inspectores al calificar los atributos de los artículos de la producción en proceso mediante el método de análisis de riesgos (MAIO M. J., 2010). Dogan, et. al. (2011) resaltan la importancia de las actividades alineadas con los objetivos organizacionales y en consecuencia, sus procesos claves también. Esto obliga a desarrollar todas las actividades con efectividad implicando el uso racional y ordenado de sus recursos y facilitar que los productos vayan oportunamente a los mercados seleccionados. También esto implica que los procesos de inspección deben estar alineados y forman parte de Recebido 23/06/2011; Aceito 21/09/2011 173 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 las actividades clave de cualquier organización. Estas observaciones también se refuerzan con las experiencias programáticas que se han observado en la industrial ya que mediante la identificación oportuna de fallas en los métodos de trabajo, su documentación y su retroalimentación se han reducido los errores y las quejas de los CLIENTES (HANNON C., GROSSMAN S., 2011). En consecuencia, el obtener productos que ofrezcan una calidad con poca variabilidad puede permitir a una organización disponer de un crecimiento sostenido apoyada en una plataforma de consumidores leales y satisfechos (HAYES B. E., 2011). 3. Discusión teórica Al momento de considerar la compra de un artículo o la solicitud de un servicio, una de las primeras preguntas que vienen a la mente es: ¿Será un producto de buena calidad?, pero ¿Qué se entiende por buena calidad? “Calidad es que un producto sea adecuado para su uso. Así, la calidad consiste en ausencia de deficiencias en aquellas características que satisfacen al cliente” (Juran, 2010). La norma ISO – 9000:2000 define calidad como “Grado en el que un conjunto de características inherentes cumplen con los requisitos”. Cuando se razona sobre calidad, un aspecto muy importante a resaltar es el determinar cómo será medido el concepto de calidad, es insuficiente decir que se tiene un producto de calidad, también es importante establecer que es necesario corroborar esa información y obtener evidencias de conformidad con respecto a las referencias correspondientes. Inicialmente, esto se hace definiendo cuales son las características que el cliente busca en el producto/servicio, para después decidir cómo esa característica es apropiadamente medida, como el intervalo de aceptación es establecido y también, como será la planeación y el registro pertinente del análisis. La evaluación de un sistema de medición se hace con el fin de incrementar la confianza de los clientes y ganar la lealtad hacia el producto que adquieren. Además, se apoya la toma de decisiones para encontrar mejoras, incrementar la eficiencia en el uso de recursos, entre otras ventajas. Cuando se desarrollan los estudios bajo condiciones estables, se refiere por ejemplo, a que todos los operadores utilicen la misma herramienta para hacer alguna Recebido 23/06/2011; Aceito 21/09/2011 174 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 medición, que midan las mismas piezas, que sigan el mismo procedimiento, en caso de ser inspección por atributos, que sigan el mismo procedimiento de inspección, que tengan el mismo criterio sobre que es un defecto; además, que estas mediciones se realicen de forma aleatoria, para que todas las piezas tengan la misma probabilidad de ocurrencia, y que el resultado de la medición no se afecte por la curva de aprendizaje. La calidad de la medición o de evaluación de la información está definida por las propiedades estadísticas de mediciones o de evaluaciones múltiples obtenidas de un sistema de medición o de evaluación en condiciones estables. Las medidas de dispersión son medidas estadísticas utilizadas comúnmente para caracterizar la calidad de los datos como el sesgo y la varianza del sistema de medición o de evaluación. La propiedad denominada sesgo se refiere a la ubicación de los datos en comparación con la referencia (valor maestro) y la varianza, representa la variabilidad promedio de la lejanía de cada valor en relación con una medida de centralización. Los Estudios R&R son el resultado de la combinación de la variación de repetibilidad y reproducibilidad para un sistema de medición. La variación R&R (Gauge R&R o GRR) es igual a la suma dentro del sistema y las variancias entre el sistema. Entendiéndose como repetitividad al resultado de la variación de repeticiones sucesivas bajo ciertas condiciones de medición, realizadas por un mismo operador; y por reproducibilidad, usualmente se refiere en las diferencias de medición de una misma pieza entre diferentes operadores utilizando el mismo método y el instrumento de medición en un ambiente estable. A lo largo de los años, se han identificado diversos métodos para evaluar y estudiar los sistemas de medición donde se pueden identificar aquellos que son para variables continuas (mediciones cuantitativas), es decir, aquellos cuya característica de calidad puede ser producto de una medida. Por otro lado, se identifican aquellas cuyas características de calidad que se miden por medio de apreciación o atributos. Las siguientes formas son variantes de estudios R&R: Recebido 23/06/2011; Aceito 21/09/2011 175 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 − estudio largo – Este estudio evalúa la confiabilidad del sistema de medición/evaluación, determinando cuanta de la variabilidad es atribuible a la repetibilidad y cuanta a la reproducibilidad. Utiliza varias repeticiones, y se pueden verificar la información estadística por el método ANOVA o algún otro; − estudio corto – Este método se realiza con pocas replicas, por tanto, no proporciona información con mucha exactitud. Se utiliza como estudio de diagnostico, o como método de control una vez que se estabiliza el proceso; − para pruebas destructivas; − para atributos. La aplicación de un estudio R&R con variables discretas (por atributos) trata de reducir o eliminar el impacto de la subjetividad del dictamen de los evaluadores de calidad, ya que su dictamen es el resultado de la apreciación personal, experiencia y nivel de preparación del evaluador. Además, este estudio permite conservar un sistema de medición confiable garantizando los estándares de calidad establecidos para el producto, servicio o procesos se cumplan y así evitar las quejas de clientes y el rechazo del producto o servicio. Los estudios R&R por atributos se han siguiendo estos métodos: − método de análisis de riesgo; − método analítico; − método de la teoría de señal. Para efectos de este trabajo de investigación, se descartaron totalmente los estudios de R&R para variables continuas o de mediciones cuantitativas, porque no existe una herramienta la cual pueda identificar si los defectos que tiene la pieza a inspeccionar cumple o no con los requerimientos establecidos por el cliente. De igual forma, los estudios de R&R para pruebas destructivas fueron descartados porque no es necesario deshacer la pieza totalmente para identificar si cumple o no con los dichos requerimientos; puesto que no se está trabajando con pruebas de dureza o resistencia. En el caso de los estudios de R&R por atributos se resaltan los siguientes aspectos: Recebido 23/06/2011; Aceito 21/09/2011 176 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 − el método Analítico es catalogada en los estudios de R&R por atributos, se necesita una referencia cuantitativa para poder aplicar el método; esto es porque es necesario tener las especificaciones del cliente de manera cuantitativa y por medio del conteo identificar cuantas piezas pertenecen a cada clasificación existente. Además, para identificar si los valores del R&R son relevantes se hace utilizando un estadístico de tablas de la distribución binomial, pero como dicho método utiliza más de 30 piezas para su realización los valores obtenidos son aproximados por medio de una distribución normal; − el método de Teoría de la Señal, al igual que el anterior es catalogado como una técnica para variables por atributos, pero también utiliza variables cuantitativas y un código para establecer el valor de referencia, y lo que se cuenta es cuantas piezas se encuentran en la variable cuantitativa previamente establecida. En este caso de estudio, se estará trabajando con variables discretas donde cada inspector hace evaluaciones buscando características en el producto por atributos binarios y donde solamente son aceptables dos valores, ‘pasa’ o ‘no pasa’, al analizar las características estéticas de los productos. El método de Análisis de Riesgo es una técnica no destructiva que trabaja con variables categóricas (Gutiérrez P.H., de la Vara S. R, 2004). Normalmente se utiliza para el control de calidad, en especial en estudios R&R y mejora el control en la calidad en los productos; es decir, que todos los productos sean idénticos a la calidad que el cliente estará esperando. Esta técnica evalúa la concordancia o discordancia entre las opiniones de expertos y consiste en conocer: − si existe variación entre los operadores al momento de tomar una decisión; − si existe variación entre el operador y el estándar (valor de referencia), que en este caso puede ser los inspectores de mayor experiencia o el personal del proceso que recibe estos artículos. Cuando se desea conocer la variación entre los inspectores en la toma de decisión, se utiliza el estadístico Kappa (K) (Di Eugenio B., Glass M.; 2004), el cual es definido como el Recebido 23/06/2011; Aceito 21/09/2011 177 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 porcentaje de consenso entre evaluadores. Futrell (1995), define éste estadístico como ‘la proporción de acuerdo entre los evaluadores, una vez que se han removido los acuerdos previos por la probabilidad’. Si el acuerdo entre evaluadores no es bueno, entonces el error tipo alfa (artículos buenos son rechazados) y el error tipo beta (artículos malos son aceptados) deben ser considerados al manejar los datos. Este estadístico tiene las siguientes características: − datos de Atributo / Cualitativos / Pasa – No pasa; − trata todos los errores de clasificación igual; las consecuencias de calificar algo bueno cuando es malo es igual a las consecuencias de clasificar algo malo cuando es bueno; − utilizado en datos categóricos; − las decisiones son independientes unas de otras; − todas las clasificaciones son independientes entre sí; − las categorías son mutuamente exclusivas y exhaustivas; − una clasificación se puede utilizar más frecuente que otra. Martínez Berber (2007), hizo notar que el estadístico kappa que utiliza Futrell en sus estudios es para evaluar sistemas en escala nominal, de tipo binario. Dichas pruebas se realizan haciendo uso de comparaciones pareadas entre evaluadores; mientras que para el caso de sistemas en escala ordinal, propone el empleo de un método basado en la correlación interclases. Además, este estadístico solamente determina la diferencia al medir de los evaluadores, sin embargo no indica que tan buena es la medición comparada con el valor de referencia. Incluso, para que este estadístico pueda ser utilizado es necesario crear matrices de comparación entre los evaluadores, puesto que para cada matriz vamos a hacer una calculación del estadístico Kappa; la operación para conocer el valor de kappa es la siguiente: (1) Donde: po = La suma de las proporciones observadas en la diagonal. pe = La suma de las proporciones esperadas en la diagonal. Recebido 23/06/2011; Aceito 21/09/2011 178 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 La siguiente tabla, muestra el significado en intervalos de los valores que pudiera tener kappa durante la evaluación: Tabla 1 -Valores del estadístico Kappa 0.90 – 1.00 El sistema de medición es excelente 0.70 – 0.89 El sistema de medición es capaz, pero necesita mejoras 0.50 – 0.69 El sistema de medición es marginal – necesita mejoras 0.00 – 0.49 El sistema de medición es inaceptable Si el valor del estadístico es menor a 0.70 entonces es probablemente algún error con la clasificación de la definición operacional, posiblemente sea muy ambiguo, o el evaluador pudiera necesitar entrenamiento. Si después de realizada una prueba, el estadístico kappa tiene un valor igual a 1, esto quiere decir que existe un acuerdo perfecto entre los evaluadores, o que el evaluador tiene un acuerdo perfecto con el estándar. Mientras que si el estadístico kappa tiene un valor igual o menos a cero significa que el nivel de acuerdo es el mismo que el esperado por la probabilidad. 4. Metodología Para poder realizar la prueba de inspección de calidad utilizando el método de análisis de riesgo, se utilizaron los siguientes recursos: − se obtuvieron 30 piezas de la línea de producción seleccionadas por el responsable de conducir este experimento; − cada pieza era evaluada siguiendo un orden, enumeradas del 01 al 30; − se dispuso de un formato para registrando la evaluación por cada operador. Entre los participantes se tomaron en cuenta a todos los inspectores disponibles en tolos tres turnos que labora la empresa: 3 operadores en el primer turno, 3 operadores en el segundo turno y 1 operador en el tercer turno. Para establecer el valor de referencia estándar de las piezas, se decidió que se estableciera por los responsables del área de calidad y de producción del siguiente proceso en Recebido 23/06/2011; Aceito 21/09/2011 179 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 la línea. Esto se hizo con la finalidad de conocer de primera mano las necesidades del cliente; lo cual es de suma importancia porque así se asegura la satisfacción del mismo; por lo que se desea incorporar la voz del cliente para establecer el criterio de calidad, siguiendo esa línea se considera indispensable la colaboración de los encargados de cada área. Los responsables de calidad, además de asegurar la satisfacción del cliente, son los encargados de que cada evaluador siga el mismo procedimiento de inspección y que todos los evaluadores conozcan y tengan muy claro cuáles son los defectos que se están buscando en la pieza inspeccionada. Cada pieza se revisó 2 veces, al principio y al final del turno de cada evaluador; esto es porque al principio no se tiene tanta experiencia revisando las piezas como al final del turno, así mismo, es una forma de ‘neutralizar’ las decisiones que pudiera tomar el evaluador relacionadas con el cansancio físico y mental. Para la realización de esta prueba, se seleccionaron 30 piezas, de las cuales, 17 piezas son entre malas y retrabajadas, donde se trató de que cada pieza presentara diferentes defectos y que no se repitieran. Mientras que las 13 piezas restantes eran piezas buenas. La persona que se encargó de anotar las decisiones de los evaluadores era la única que conocía a que clasificación pertenecía cada pieza; además de ser la encargada de seleccionarlas; que en este caso, el responsable de conducir la prueba fue el encargado del área de calidad. Para esta prueba, las piezas fueron enumeradas, para facilitar la identificación de cada una de ellas, pero no se le dijo al evaluador que pieza estaba evaluado para tratar de evitar que diera el mismo dictamen que la primera vez que evaluó la pieza cuando su decisión había cambiado. El formato donde se estaba llevando el registro de la información que proporcionaba el evaluador es una copia del formato que viene en el manual de ‘Measurement System Analysis” (MSA) del manual Automotive Industry Action Group (AIAG, 2002). Se hace la comparación entre evaluadores del mismo turno. Y para poder hacer la comparación en el tercer turno, se tomó la información del mejor evaluador del primero y segundo turno. Esto se hizo porque no existían suficientes evaluadores en el tercer turno para poder hacer una comparación entre evaluadores; entonces para poder aplicar ésta técnica se Recebido 23/06/2011; Aceito 21/09/2011 180 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 hizo ese ajuste. Se seleccionaron los mejores evaluadores de cada turno porque son los que tienen un mayor nivel de concordancia con lo establecido por el estándar. Además, se realizó la comparación de cada evaluador contra el estándar establecido, para conocer si concuerda su opinión. El propósito de esta prueba es conocer si existe diferencia de criterios entre los evaluadores; para que en caso que así sea, poder identificar las causas y reducir las diferencias de criterio o procedimiento requeridos para que se obtenga y conserve un producto con características y apariencias mas homogéneas y se incremente las posibilidades de tener un artículo de alta aceptación, primero por el cliente interno y, en consecuencia, después por el cliente externo; además, de contar con un equipo con una mayor moral al producir artículos con excelente aceptación y al desarrollarse en una empresa con resultados más prometedores. El análisis de la información capturada será analizado de la siguiente forma: − se realizará un análisis comparando primero entre los operadores de cada turno; esto es con la finalidad de poder conocer el nivel de concordancia entre los operadores; una vez que se conoce dicho nivel, en caso de que se tenga un buen nivel de concordancia (según lo establecido por el estadístico kappa), se deberá tener registro de cuáles son los procedimientos que siguen los inspectores, con el fin de que los inspectores que pudieran tener un nivel menor puedan mejorar. Así mismo, en caso que no se tenga un buen nivel de concordancia, se buscará identificar cuáles son los factores que influyen, para aumentar dicho nivel; − después, se hará una comparación de cada evaluador contra el valor estándar o de referencia, el cual, fue previamente establecido por uno o varios expertos. En este punto, se desea identificar que tantas veces el inspector acepta una pieza cuando debe ser aceptada, y la rechaza cuando se debe ser rechazada. 5. Análisis de los Resultados Para poder analizar la información de manera práctica, se analizará: cada turno en orden, es decir, como van entrando los inspectores cada día; el primer turno es el matutino, el segundo es vespertino y el tercer es nocturno. De igual forma, cada inspector fue realizando la Recebido 23/06/2011; Aceito 21/09/2011 181 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 prueba en el orden en que se presentaron a trabajar al turno correspondiente. Así mismo, a continuación se presenta el análisis de la información recabada por turno. Turno 1 En el primer turno, se tienen 3 inspectores, los cuales trabajan de forma simultánea durante su turno de trabajo. Se fue apartando cada inspector a cómo iba llegando al lugar de trabajo, esto con la finalidad que los otros evaluadores no estuvieran presentes cuando uno ya estaba haciendo la prueba. En el apéndice 1 se muestra la información recogida en el turno 1. A continuación se muestran las matrices de datos cruzados por parejas de inspectores en donde se plasma las evaluaciones correspondientes por parejas de inspectores las cuales se muestran enseguida. Para poder aplicar la técnica de análisis de riesgo, es necesario separar en pares a los evaluadores, de tal forma que todos sean comparados entre ellos; es decir, el evaluador 1 con el evaluador 2, después el evaluador 1 contra el evaluador 3; y para finalizar, el evaluador 2 contra el evaluador 3. En dichas matrices de tamaño 2x2 se verá reflejado cuando se los evaluadores estuvieron de acuerdo en aceptar o rechazar la pieza; además de cuando aceptaron pero debieron haber rechazado y viceversa. Las Tablas 2, 3 y 4 muestran los cálculos para el estadístico kappa, como ‘po’ que son las proporciones observadas en la diagonal y ‘pe’ que indica las proporciones esperadas de la diagonal, una vez calculados estos valores, se puede identificar el nivel de acuerdo en el que se encuentran los evaluadores, los cuales se muestran en la Tabla 5. Tabla 2 - Datos cruzados del inspector 1 con el inspector 2 1 * 2 Datos Cruzados 2 Total Fail 26 3 29 17.9 11.1 29.0 11 20 31 19.1 11.9 31.0 37 23 60 37.0 23.0 Pass Conteo Conteo Esperado Conteo Fail Conteo Esperado Total Conteo Conteo Esperado Pass 1 Tabla 3 - Datos cruzados del inspector 1 con el inspector 3 Recebido 23/06/2011; Aceito 21/09/2011 182 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 1 * 3 Datos Cruzados 1 3 Total Pass Fail Conteo 18 11 29 Pass Conteo Esperado 9.7 19.3 29.0 Conteo 2 29 31 Fail Conteo Esperado 10.3 20.7 31.0 Total Conteo 20 40 60 Conteo Esperado 20.0 40.0 Tabla 4 - Datos cruzados del inspector 2 con el inspector 3 2 * 3 Datos Cruzados 2 3 Total Pass Fail Conteo 19 18 37 Pass Conteo Esperado 12.3 24.7 37.0 Conteo 1 22 23 Fail Conteo Esperado 7.7 15.3 23.0 Total Conteo 20 40 60 Conteo Esperado 20.0 40.0 Una vez que se obtuvieron las matrices de datos cruzados para el primer turno se procede a calcular el estadístico kappa, del cual se resumen los resultados en la Tabla 5. Tabla 5 - Tabla de relaciones entre los inspectores del Turno 1 Kappa 1 2 3 1 0.54 0.56 2 0.54 0.41 3 0.56 0.41 - Para analizar la información de la Tabla 5, se utilizarán los valores de referencia del estadístico kappa localizados en la Tabla 1, por lo que puede decirse que: − inspector 1 y el inspector 2 – Como en esta comparación se tiene el valor de 0.54 kappa, se puede concluir que el sistema de medición es marginal, y con campos de mejoras; Recebido 23/06/2011; Aceito 21/09/2011 183 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 − inspector 1 y el inspector 3 – En este caso, el valor de comparación es de 0.56, concluyendo que el sistema de medición es marginal, y con campos de mejoras; − inspector 2 y el inspector 3 – En el tercer caso, su valor es menor que en las otras 2 comparaciones, siendo 0.41, por lo que se deduce que el sistema de medición es inaceptable. Para comparar a cada inspector contra el estándar, también se utiliza el estadístico kappa, la diferencia que se tiene al hacer comparaciones entre inspectores y realizar comparaciones entre inspector y el valor de referencia es que en esta última la tabla 6 de datos cruzados se realiza comparando el evaluador contra el valor de referencia; como el trabajo de las tablas cruzadas sigue el mismo procedimiento que los anteriores, solamente se presentarán los valores del estadístico, por lo que los datos obtenidos son los siguientes: Tabla 6 - Inspectores contra el estándar del turno 1 1 Referencia 0.43 2 0.64 3 0.72 Al igual que al hacer la comparación entre inspectores, éstos resultados también serán comparados contra la Tabla 1, por lo que se puede concluir lo siguiente, el cual se presentará de manera descendente: − el inspector 3, tiene un valor correspondiente al estadístico kappa de 0.72, por lo que está de acuerdo con el estándar, y su nivel de acuerdo es capaz; − el inspector 2, su valor del estadístico es de 0.64, por lo que se concluye que se encuentra en un nivel marginal, pero con campo de mejora; − el inspector 1, tienen trabaja con un valor del estadístico kappa de 0.43, por lo que se deduce que no tiene tanta afinidad con el estándar, por lo que se considera un nivel inaceptable. Turno 2 En el segundo turno, al igual que en el turno 1, se tienen 3 inspectores, en el Apéndice 2 se muestra la información recolectada en el formato preestablecido por el MSA. De manera similar al turno anterior, nuevamente se realizarán los pares, igual que en el turno uno para Recebido 23/06/2011; Aceito 21/09/2011 184 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 realizar las comparaciones utilizando éste método: Las matrices de datos cruzados, se proporcionan en las tablas 7, 8 y 9, a continuación: Tabla 7 -. Datos cruzados del inspector 1 con el inspector 1 * 2 Datos Cruzados 1 2 Total Pass Fail Conteo 13 13 26 Pass Conteo Esperado 6.5 19.5 26.0 Conteo 2 32 34 Fail Conteo Esperado 8.5 25.5 34.0 Total Conteo 15 45 60 Conteo Esperado 15.0 45.0 Tabla 8 - Datos cruzados del inspector 1 con el inspector 1 * 3 Datos Cruzados 1 3 Total Pass Fail Conteo 18 8 26 Pass Conteo Esperado 9.5 16.5 26.0 Conteo 4 30 34 Fail Conteo Esperado 12.5 21.5 34.0 Total Conteo 22 38 60 Conteo Esperado 22.0 38.0 Tabla 9 - Datos cruzados del inspector 2 con el inspector 2 * 3 Datos Cruzados 2 3 Total Pass Fail Conteo 11 4 15 Pass Conteo Esperado 5.5 9.5 15.0 Conteo 11 34 45 Fail Conteo Esperado 16.5 28.5 45.0 Total Conteo 22 38 60 Conteo Esperado 22.0 38.0 Recebido 23/06/2011; Aceito 21/09/2011 185 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 De las Tabla 7, 8 y 9, se exponen las proporciones observadas en la diagonal (po) y las proporciones esperadas de la diagonal (pe), para a través de estos valores calcular el estadístico kappa e identificar el nivel de acuerdo en el que se encuentran los evaluadores en este turno. La tabla 10 muestra las relaciones y niveles de acuerdo entre los inspectores del turno 2 mediante el estadístico kappa: Tabla 10 - Tabla de relaciones entre los inspectores del Turno Kappa 1 2 3 1 0.46 0.59 2 0.46 0.42 3 0.59 0.42 - Si se hace la interpretación de los datos, el nivel de acuerdo entre los inspectores 1 y 2, se puede observar que se tiene un estadístico kappa igual a 0.49, mientras que los inspectores 2 y 3 tienen un 0.42 de estadístico kappa, lo cual, tanto en el primero como el segundo caso del turno 2, ambas comparaciones trabaja con niveles inaceptable, y por último, la relación entre los inspectores 1 y 3 tiene un valor estadístico kappa de 0.59, lo que significa que tiene un nivel d e concordancia marginal, pero con campo de mejora. El nivel de acuerdo de los inspectores contra el estándar establecido es mostrado en la tabla 11. Tabla 11 - Inspectores contra el estándar del turno 2 1 Referencia 0.46 2 0.46 3 0.71 En esta Tabla, puede decirse que el inspector 3, con un valor 0.71 del estadístico kappa es quien tiene el mayor número de acuerdos con el estándar, por lo que su nivel de concordancia es capaz, mientras que los operadores 1 y 2 con un valor de 0.46 del estadístico kappa, por lo que tienen un nivel inaceptable. Recebido 23/06/2011; Aceito 21/09/2011 186 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 Turno 3 En este turno, solamente se tiene un inspector, por lo que la comparación se realizó con los inspectores que tuvieron el nivel de concordancia más alto contra el estándar de los turnos anteriores; y los datos se muestran en el apéndice 3. Las Tablas 12, 13 y 14, muestran las matrices de datos cruzados de donde se obtuvieron ‘po’ que son las proporciones observadas en la diagonal y ‘pe’ que indica las proporciones esperadas en la diagonal, para poder calcular el estadístico kappa, el cual se muestra en la Tabla 10. Por lo que a continuación, se muestran las matrices de datos cruzados con la separación por partes para el tercer turno, véase las tablas 12, 13 y 14. Tabla 12 - Datos cruzados del inspector 1 con el inspector 2 1 * 2 Datos Cruzados 1 2 Total Pass Fail Conteo 18 8 26 Pass Conteo Esperado 8.7 17.3 26.0 Conteo 2 32 34 Fail Conteo Esperado 11.3 22.7 34.0 Total Conteo 20 40 60 Conteo Esperado 20.0 40.0 Tabla 13 - Datos cruzados del inspector 1 con el inspector 3 1 * 3 Datos Cruzados 1 3 Total Pass Fail Conteo 20 6 26 Pass Conteo Esperado 9.5 16.5 26.0 Conteo 2 32 34 Fail Conteo Esperado 12.5 21.5 34.0 Total Conteo 22 38 60 Conteo Esperado 22.0 38.0 Recebido 23/06/2011; Aceito 21/09/2011 187 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 Tabla 14 - Datos cruzados del inspector 2 con el inspector 3 2 * 3 Datos Cruzados 2 3 Total Pass Fail Conteo 20 6 26 Pass Conteo Esperado 9.5 16.5 26.0 Conteo 2 32 34 Fail Conteo Esperado 12.5 21.5 34.0 Total Conteo 22 38 60 Conteo Esperado 22.0 38.0 Un resumen de la comparación de las evaluaciones entre los inspectores se muestra enseguida en la Tabla 15. Tabla 15 - Tabla de relaciones entre los inspectores del Turno 3 Kappa 1 2 3 1 0.65 0.72 2 0.65 0.72 3 0.72 0.72 - Aquí, puede observarse que los niveles de acuerdo entre los inspectores 1 y 2 con valores 0.65 del estadístico kappa es marginal, con niveles de mejora, mientras que entre las parejas de inspectores 1 y 3, y 2 y 3 tienen un valor de 0.72 del estadístico kappa tienen un nivel capaz. En la Tabla 16 se muestra los niveles de acuerdo de cada inspector contra el estándar: Tabla 16 - Inspectores contra el estándar del turno 3 1 Referencia 0.59 2 0.72 3 0.71 Se puede observar que el inspector 2 con un valor del estadístico kappa igual a 0.72 es el que tiene el mayor nivel de concordancia contra el estándar, el inspector 3 tienen un valor de 0.71 y el inspector 1, quien es el correspondiente al turno 3, tiene un valor de 0.59; de Recebido 23/06/2011; Aceito 21/09/2011 188 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 donde pidiera concluirse que todos los niveles son aceptables; es decir, los inspectores, la mayoría de las veces están de acuerdo con el estándar. 6. Conclusiones En general, si se toma un análisis descriptivo centralizado de los resultados obtenidos con el estadístico kappa durante el primer turno, se pudiera decir que el turno trabaja con un nivel de concordancia marginal, con campo para mejoras; mientras que las medidas de centralización, que se obtuvieron de los resultados del turno 2 con el estadístico kappa, muestra que este turno trabaja con un nivel de concordancia inaceptable; por lo que se puede concluir que existe mucha diferencia de criterio entre los evaluadores; Con medidas de centralización que se obtuvieron en el tercer turno, se puede decir que trabaja en niveles capaces, todavía con oportunidades para mejorar. Durante la prueba, se observó que algunos inspectores desconocían algunos de los defectos que tenían que evaluar, lo que pudo haber causado algún tipo de confusión al aplicar la técnica, y pudo haber creado algún sesgo en los resultados obtenidos; por lo que se recomendaría dar instrucciones de manera clara desde un principio, y hacer énfasis en que no deben quedar duda en los evaluadores sobre que defectos deben inspeccionar en la pieza. Además, se observó que existen diferencias en el procedimiento de inspección debido a que las secuencias de revisión se efectúan de diversas maneras sugiriendo la ausencia de inducción o de procedimientos definidos para desarrollarlos. Puesto que los resultados mostraron que existe un nivel muy alto de desacuerdo entre los inspectores se puede concluir la posibilidad de ausencia de un procedimiento de inspección establecido para poder identificar exitosamente los defectos en la pieza; por lo que los resultados sugieren la necesidad de reentrenamiento entre los inspectores para eliminar una posible fuente de variabilidad en esta función. 7. Recomendaciones Para establecer los criterios de evaluación, se debería de tomar en cuenta las necesidades del cliente interno e inmediato a esta estación de trabajo, es decir, las necesidades del siguiente proceso en producción. Se deben identificar aquellos aspectos indeseables por Recebido 23/06/2011; Aceito 21/09/2011 189 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 cliente para buscar corregir el proceso e identificar las fuentes de desperdicios; o en su defecto, que apoyar a que los inspectores de calidad detecten oportunamente aquellos artículos que puedan ser retrabajados. Puede ser deseable que se discuta y se llegue a un acuerdo para establecer un procedimiento de revisión con el cual se uniformice el procedimiento de evaluación a utilizar en el método de evaluación, con el fin de reducir una posible fuente de variabilidad. Al principio, puede parecer difícil que acuerden una forma de inspección común pero puede esperarse que con la práctica (curva de aprendizaje) obtengan mayor pericia en esta actividad y se vea reflejado en los resultados de otro estudio posterior, donde quizá se observe un nivel mayor de concordancia entre los evaluadores. Se sugiere desarrollar un manual donde además de definir el procedimiento se incluya un catálogo de imágenes que cubra exhaustivamente, en lo posible, ejemplos de defectos que pudiera tener la pieza, y que al momento de inducir, entrenar nuevos inspectores o en caso de duda, los inspectores dispongan de ayudas visuales para minimizar las inquietudes al momento de desarrollar su trabajo. Además, es recomendable que se realice otra prueba, utilizando este mismo método de Análisis de Riesgo, pero tomando en consideración algunos cambios: reuniones de reentrenamiento donde se cubran las recomendaciones propuestas aquí, buscando lograr consensos y disminuir o eliminar posibles fuentes de la variabilidad de opinión entre los inspectores. Así mismo, es deseable que las piezas se proporcionen de manera aleatoria a los evaluadores buscando que las piezas por inspeccionar tengan la misma probabilidad de ser evaluadas objetivamente. Debe de resaltarse que después de este ejercicio será importante reunir a todos los inspectores, de los tres turnos, para hablar sobre que dificultades encontraron ellos al momento de hacer la prueba y buscar soluciones de manera consensada. Referencias AUTOMOTIVE INDUSTRY ACTION GROUP (AIAG); Measurement System Analysis, Reference Manual; 3rd Edition, 2002; www.aiag.org. Recebido 23/06/2011; Aceito 21/09/2011 190 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 DI EUGENIO B., GLASS M. The Kappa statistic: a second look; Computational Linguistics, Volume 30 Issue 1, pp. 95-101, 2004. DOGAN C. A., GJENDEM F. H., RODYSILL J.; Fueling Supply Chain Transformation; APICS, Volume 21, number 4, pp. 38-43, 2011. FUTRELL, D.; When Quality is a Matter of Taste, use Reliability Indexes; Quality Progress, May, pp. 81-86, 1995. GUTIERREZ P. H., DE LA VARA S. R.; Control Estadístico de Calidad y Seis Sigma; México: McGrawHill, 2da. Edición, 2009. HANNON C., GROSSMAN S.; Put Job Instruction Breakdown on the Job; Quality Progress, July, pp. 30-35, 2011. HAYES B. E.; Lessons in Loyalty; Quality Progress, March, pp. 24-31, 2011. JURAN J. M., DE FEO J. A.; Juran's Quality Handbook, Sixth Edition: The Complete Guide to Performance Excellence; New York: Mc Graw Hill, 6th Edition, 2010. MAIO M. J.; Quality Improvement; Milwaukee: American Society for Quality, 2010. MARTÍNEZ B. D. R.; Evaluando la Repetitividad y Reproducibilidad de sistemas de medición para características de calidad replicables, definidas por atributos múltiples en escala nominal; Tecnointelecto, Volumen 4, Número 1, pp. 34-41, 2007. NORMA ISO 9000:2008 – Sistema de gestión de la calidad: Fundamentos y vocabulario. Recebido 23/06/2011; Aceito 21/09/2011 191 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 Apéndices Apéndice 1 - Resultados del primer turno Known Population Sample # Attribute 1 fail 2 fail 3 fail 4 fail 5 pass 6 pass 7 fail 8 fail 9 fail 10 fail 11 fail 12 pass 13 pass 14 fail 15 pass 16 fail 17 fail 18 fail 19 pass 20 pass 21 fail 22 pass 23 pass 24 fail 25 pass 26 pass 27 fail 28 fail 29 pass 30 pass Operador 1 Try #1 Try #2 fail fail fail fail fail fail fail fail pass pass pass pass pass pass fail fail fail fail fail fail fail fail pass pass pass pass pass pass pass pass fail fail fail fail pass fail pass pass fail fail fail pass fail pass pass pass pass pass fail fail pass pass pass pass fail fail pass pass fail fail Operador 2 Try #1 Try #2 fail fail fail fail fail fail fail fail pass pass pass pass pass pass fail fail fail fail fail fail pass fail pass pass pass pass pass pass pass pass fail fail fail fail fail fail pass pass pass pass pass pass pass pass pass pass fail fail pass pass pass pass pass pass pass pass pass pass pass pass Operador 3 Try #1 Try #2 fail fail fail fail fail fail fail fail pass pass pass pass fail fail fail fail fail fail fail fail fail fail pass pass pass pass fail fail pass pass fail fail fail fail fail fail pass pass fail fail fail fail pass pass fail pass pass fail fail fail pass pass fail fail fail fail fail pass fail pass Recebido 23/06/2011; Aceito 21/09/2011 192 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 Apéndice 2 - Resultados del segundo turno Known Population Sample # Attribute 1 fail 2 fail 3 fail 4 fail 5 pass 6 pass 7 fail 8 fail 9 fail 10 fail 11 fail 12 pass 13 pass 14 fail 15 pass 16 fail 17 fail 18 fail 19 pass 20 pass 21 fail 22 pass 23 pass 24 fail 25 pass 26 pass 27 fail 28 fail 29 pass 30 pass Operador 1 Try #1 Try #2 fail fail fail fail fail fail pass fail pass pass pass pass pass pass pass fail pass pass fail fail fail fail pass pass pass pass pass pass pass pass fail fail fail fail fail fail pass pass fail fail fail fail pass fail fail fail fail fail pass fail pass pass fail fail fail fail pass pass fail fail Operador 2 Try #1 Try #2 fail fail fail fail fail fail pass fail fail fail pass pass fail pass fail fail fail fail fail fail fail fail fail fail pass pass fail fail pass pass fail fail fail fail fail fail pass pass pass fail fail fail pass pass fail fail fail fail fail fail pass pass fail fail fail fail fail fail fail fail Operador 3 Try #1 Try #2 fail fail fail fail fail fail fail fail fail pass pass pass fail fail fail fail fail fail fail fail fail fail pass pass pass pass pass pass pass pass fail fail fail fail fail fail pass pass fail fail fail fail pass fail pass pass fail fail fail fail pass pass fail fail fail fail pass pass pass pass Recebido 23/06/2011; Aceito 21/09/2011 193 Instituto Superior Tupy - IST Joinville, Santa Catarina, Brasil ISSN 2237-5163 / v. 01, n. 01: p. 169-194, ano 2011 DOI: 10.14521/P2237-5163.2011.0001.0010 Apéndice 3 - Resultados del tercer turno Known Population Sample # Attribute 1 fail 2 fail 3 fail 4 fail 5 pass 6 pass 7 fail 8 fail 9 fail 10 fail 11 fail 12 pass 13 pass 14 fail 15 pass 16 fail 17 fail 18 fail 19 pass 20 pass 21 fail 22 pass 23 pass 24 fail 25 pass 26 pass 27 fail 28 fail 29 pass 30 pass Operador 1 Try #1 Try #2 fail fail fail fail fail fail fail fail pass pass pass pass pass pass fail fail fail fail fail fail fail fail pass pass pass pass pass pass pass pass fail fail fail fail fail fail pass pass fail fail fail fail pass pass fail fail fail fail fail fail pass pass pass pass fail fail pass pass pass pass Operador 2 Try #1 Try #2 fail fail fail fail fail fail fail fail pass pass pass pass fail fail fail fail fail fail fail fail fail fail pass pass pass pass fail fail pass pass fail fail fail fail fail fail pass pass fail fail fail fail pass pass fail pass pass fail fail fail pass pass fail fail fail fail fail pass fail pass Operador 3 Try #1 Try #2 fail fail fail fail fail fail fail fail fail pass pass pass fail fail fail fail fail fail fail fail fail fail pass pass pass pass pass pass pass pass fail fail fail fail fail fail pass pass fail fail fail fail pass fail pass pass fail fail fail fail pass pass fail fail fail fail pass pass pass pass Recebido 23/06/2011; Aceito 21/09/2011 194
