A017_rev final

D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
y satisfacer, primero con las especificaciones y, en consecuencia con las expectativas de los
clientes.
El control de calidad, un área importante de la ingeniería industrial, se han
desarrollado los estudios de Repetitividad y Reproducibilidad (R&R) que mediante diferentes
procedimientos tratan de identificar si el trabajo realizado por los inspectores se realiza o no
de manera consistente y eficiente. Es decir, si el trabajo de inspección identifica las fallas del
proceso de producción antes de que los artículos lleguen a las siguientes operaciones
generando trabajo adicional en piezas que no lo debieran de recibir, o bien, rescatando
aquellas consideradas como posibles defectuosas, evitando en todo caso desperdicio de los
recursos disponibles y además, antes de que lleguen al cliente y finalmente al último
consumidor.
En el trabajo desarrollado en esta investigación se usará la técnica R&R por atributos
en una empresa del ramo automotriz donde se menciona tienen discrepancias en la calidad de
sus productos y consideran que obtienen productos con mucha variabilidad después de la
primera operación (inyección de resinas) y que durante el trabajo de inspección que se realiza
no es uniforme, por tanto los subproductos obtenidos de esta operación, no se están
identificando oportunamente. Por ello, es importante estudiar este proceso de inspección para
identificar, reducir o eliminar la existencia de posibles discrepancias estudiando los
procedimientos aplicados por los inspectores al calificar los atributos de los artículos de la
producción en proceso mediante el método de análisis de riesgos en un estudio Repetitividad
y Reproducibilidad (R&R).
La medición de los resultados obtenidos muestra que se tiene un problema en el
acabado de uno de sus productos principales. El producto presenta burbujas de aire en su
superficie proporcionando, en consecuencia, una apariencia poco atractiva en la pieza. Este
acabado imperfecto, ocasiona que deba ser rechazado en la inspección, o que al continuar en
el proceso sea devuelto para re-trabajo o su destrucción; y en última instancia, sea un
producto rechazado por el usuario final, en caso de llegar en estas condiciones al cliente.
Ambos casos, impactan a la empresa de una manera directa al utilizar más recursos de los
2
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
requeridos al realizar el reproceso o al descartar el artículo como inaceptable para el proceso
de producción. Por esta razones se piensa que pueden existir diferencias en los criterios y su
aplicación al decidir si la pieza cumple o no con las normas de calidad deseables, que pudiera
existir diferencia al realizar los procedimientos de inspección, o que existen diferencias entre
aquellos que realizan la inspección; lo cual no solo afecta la apariencia del producto final,
sino también afecta la imagen y la confianza que los clientes tiene en el nombre y productos
de la empresa de referencia.
El objetivo general del artículo es el identificar la concordancia existente entre varios
evaluadores utilizando el método de Análisis de Riesgo.
Para efectos de este trabajo de investigación, se descartaron totalmente los estudios de
R&R para variables continuas o de mediciones cuantitativas, porque no existe una
herramienta la cual pueda identificar si los defectos que tiene la pieza a inspeccionar cumple o
no con los requerimientos establecidos por el cliente. De igual forma, los estudios de R&R
para pruebas destructivas fueron descartados porque no es necesario deshacer la pieza
totalmente para identificar si cumple o no con los dichos requerimientos; puesto que no se
está trabajando con pruebas de dureza o resistencia.
2. Justificación
En una organización es de suma importancia mantener la uniformidad en la calidad de
sus productos, por lo que es importante tener claro cuáles son los procedimientos que se
utilizan en un proceso de inspección; para de esta forma identificar, reducir o eliminar la
existencia de posibles discrepancias en los procedimientos aplicados por los inspectores al
calificar los atributos de los artículos de la producción en proceso mediante el método de
análisis de riesgos (MAIO M. J., 2010).
Dogan, et. al. (2011) resaltan la importancia de las actividades alineadas con los
objetivos organizacionales y en consecuencia, sus procesos claves también. Esto obliga a
desarrollar todas las actividades con efectividad implicando el uso racional y ordenado de sus
recursos y facilitar que los productos vayan oportunamente a los mercados seleccionados.
También esto implica que los procesos de inspección deben estar alineados y forman parte de
3
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
las actividades clave de cualquier organización. Estas observaciones también se refuerzan con
las experiencias programáticas que se han observado en la industrial ya que mediante la
identificación oportuna de fallas en los métodos de trabajo, su documentación y su
retroalimentación se han reducido los errores y las quejas de los CLIENTES (HANNON C.,
GROSSMAN S., 2011).
En consecuencia, el obtener productos que ofrezcan una calidad con poca variabilidad
puede permitir a una organización disponer de un crecimiento sostenido apoyada en una
plataforma de consumidores leales y satisfechos (HAYES B. E., 2011).
3. Discusión teórica
Al momento de considerar la compra de un artículo o la solicitud de un servicio, una
de las primeras preguntas que vienen a la mente es: ¿Será un producto de buena calidad?, pero
¿Qué se entiende por buena calidad? “Calidad es que un producto sea adecuado para su uso.
Así, la calidad consiste en ausencia de deficiencias en aquellas características que satisfacen
al cliente” (Juran, 2010). La norma ISO – 9000:2000 define calidad como “Grado en el que
un conjunto de características inherentes cumplen con los requisitos”.
Cuando se razona sobre calidad, un aspecto muy importante a resaltar es el determinar
cómo será medido el concepto de calidad, es insuficiente decir que se tiene un producto de
calidad, también es importante establecer que es necesario corroborar esa información y
obtener evidencias de conformidad con respecto a las referencias correspondientes.
Inicialmente, esto se hace definiendo cuales son las características que el cliente busca en el
producto/servicio, para después decidir cómo esa característica es apropiadamente medida,
como el intervalo de aceptación es establecido y también, como será la planeación y el
registro pertinente del análisis.
La evaluación de un sistema de medición se hace con el fin de incrementar la
confianza de los clientes y ganar la lealtad hacia el producto que adquieren. Además, se apoya
la toma de decisiones para encontrar mejoras, incrementar la eficiencia en el uso de recursos,
entre otras ventajas. Cuando se desarrollan los estudios bajo condiciones estables, se refiere
por ejemplo, a que todos los operadores utilicen la misma herramienta para hacer alguna
4
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
medición, que midan las mismas piezas, que sigan el mismo procedimiento, en caso de ser
inspección por atributos, que sigan el mismo procedimiento de inspección, que tengan el
mismo criterio sobre que es un defecto; además, que estas mediciones se realicen de forma
aleatoria, para que todas las piezas tengan la misma probabilidad de ocurrencia, y que el
resultado de la medición no se afecte por la curva de aprendizaje.
La calidad de la medición o de evaluación de la información está definida por las
propiedades estadísticas de mediciones o de evaluaciones múltiples obtenidas de un sistema
de medición o de evaluación en condiciones estables. Las medidas de dispersión son medidas
estadísticas utilizadas comúnmente para caracterizar la calidad de los datos como el sesgo y la
varianza del sistema de medición o de evaluación. La propiedad denominada sesgo se refiere
a la ubicación de los datos en comparación con la referencia (valor maestro) y la varianza,
representa la variabilidad promedio de la lejanía de cada valor en relación con una medida de
centralización.
Los Estudios R&R son el resultado de la combinación de la variación de repetibilidad
y reproducibilidad para un sistema de medición. La variación R&R (Gauge R&R o GRR) es
igual a la suma dentro del sistema y las variancias entre el sistema.
Entendiéndose como repetitividad al resultado de la variación de repeticiones
sucesivas bajo ciertas condiciones de medición, realizadas por un mismo operador; y por
reproducibilidad, usualmente se refiere en las diferencias de medición de una misma pieza
entre diferentes operadores utilizando el mismo método y el instrumento de medición en un
ambiente estable.
A lo largo de los años, se han identificado diversos métodos para evaluar y estudiar los
sistemas de medición donde se pueden identificar aquellos que son para variables continuas
(mediciones cuantitativas), es decir, aquellos cuya característica de calidad puede ser producto
de una medida. Por otro lado, se identifican aquellas cuyas características de calidad que se
miden por medio de apreciación o atributos. Las siguientes formas son variantes de estudios
R&R:
5
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
− estudio largo – Este estudio evalúa la confiabilidad del sistema de medición/evaluación,
determinando cuanta de la variabilidad es atribuible a la repetibilidad y cuanta a la
reproducibilidad. Utiliza varias repeticiones, y se pueden verificar la información
estadística por el método ANOVA o algún otro;
− estudio corto – Este método se realiza con pocas replicas, por tanto, no proporciona
información con mucha exactitud. Se utiliza como estudio de diagnostico, o como método
de control una vez que se estabiliza el proceso;
− para pruebas destructivas;
− para atributos.
La aplicación de un estudio R&R con variables discretas (por atributos) trata de
reducir o eliminar el impacto de la subjetividad del dictamen de los evaluadores de calidad, ya
que su dictamen es el resultado de la apreciación personal, experiencia y nivel de preparación
del evaluador. Además, este estudio permite conservar un sistema de medición confiable
garantizando los estándares de calidad establecidos para el producto, servicio o procesos se
cumplan y así evitar las quejas de clientes y el rechazo del producto o servicio. Los estudios
R&R por atributos se han siguiendo estos métodos:
− método de análisis de riesgo;
− método analítico;
− método de la teoría de señal.
Para efectos de este trabajo de investigación, se descartaron totalmente los estudios de
R&R para variables continuas o de mediciones cuantitativas, porque no existe una
herramienta la cual pueda identificar si los defectos que tiene la pieza a inspeccionar cumple o
no con los requerimientos establecidos por el cliente. De igual forma, los estudios de R&R
para pruebas destructivas fueron descartados porque no es necesario deshacer la pieza
totalmente para identificar si cumple o no con los dichos requerimientos; puesto que no se
está trabajando con pruebas de dureza o resistencia.
En el caso de los estudios de R&R por atributos se resaltan los siguientes aspectos:
6
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
− el método Analítico es catalogada en los estudios de R&R por atributos, se necesita una
referencia cuantitativa para poder aplicar el método; esto es porque es necesario tener las
especificaciones del cliente de manera cuantitativa y por medio del conteo identificar
cuantas piezas pertenecen a cada clasificación existente. Además, para identificar si los
valores del R&R son relevantes se hace utilizando un estadístico de tablas de la
distribución binomial, pero como dicho método utiliza más de 30 piezas para su
realización los valores obtenidos son aproximados por medio de una distribución normal;
− el método de Teoría de la Señal, al igual que el anterior es catalogado como una técnica
para variables por atributos, pero también utiliza variables cuantitativas y un código para
establecer el valor de referencia, y lo que se cuenta es cuantas piezas se encuentran en la
variable cuantitativa previamente establecida.
En este caso de estudio, se estará trabajando con variables discretas donde cada
inspector hace evaluaciones buscando características en el producto por atributos binarios y
donde solamente son aceptables dos valores, ‘pasa’ o ‘no pasa’, al analizar las características
estéticas de los productos.
El método de Análisis de Riesgo es una técnica no destructiva que trabaja con
variables categóricas (Gutiérrez P.H., de la Vara S. R, 2004). Normalmente se utiliza para el
control de calidad, en especial en estudios R&R y mejora el control en la calidad en los
productos; es decir, que todos los productos sean idénticos a la calidad que el cliente estará
esperando. Esta técnica evalúa la concordancia o discordancia entre las opiniones de expertos
y consiste en conocer:
− si existe variación entre los operadores al momento de tomar una decisión;
− si existe variación entre el operador y el estándar (valor de referencia), que en este caso
puede ser los inspectores de mayor experiencia o el personal del proceso que recibe estos
artículos.
Cuando se desea conocer la variación entre los inspectores en la toma de decisión, se
utiliza el estadístico Kappa (K) (Di Eugenio B., Glass M.; 2004), el cual es definido como el
porcentaje de consenso entre evaluadores. Futrell (1995), define éste estadístico como ‘la
7
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
proporción de acuerdo entre los evaluadores, una vez que se han removido los acuerdos
previos por la probabilidad’. Si el acuerdo entre evaluadores no es bueno, entonces el error
tipo alfa (artículos buenos son rechazados) y el error tipo beta (artículos malos son aceptados)
deben ser considerados al manejar los datos.
Este estadístico tiene las siguientes
características:
− datos de Atributo / Cualitativos / Pasa – No pasa;
− trata todos los errores de clasificación igual; las consecuencias de calificar algo bueno
cuando es malo es igual a las consecuencias de clasificar algo malo cuando es bueno;
− utilizado en datos categóricos;
− las decisiones son independientes unas de otras;
− todas las clasificaciones son independientes entre sí;
− las categorías son mutuamente exclusivas y exhaustivas;
− una clasificación se puede utilizar más frecuente que otra.
Martínez Berber (2007), hizo notar que el estadístico kappa que utiliza Futrell en sus
estudios es para evaluar sistemas en escala nominal, de tipo binario. Dichas pruebas se
realizan haciendo uso de comparaciones pareadas entre evaluadores; mientras que para el caso
de sistemas en escala ordinal, propone el empleo de un método basado en la correlación
interclases. Además, este estadístico solamente determina la diferencia al medir de los
evaluadores, sin embargo no indica que tan buena es la medición comparada con el valor de
referencia. Incluso, para que este estadístico pueda ser utilizado es necesario crear matrices de
comparación entre los evaluadores, puesto que para cada matriz vamos a hacer una
calculación del estadístico Kappa; la operación para conocer el valor de kappa es la siguiente:
(1)
Donde:
po = La suma de las proporciones observadas en la diagonal.
pe = La suma de las proporciones esperadas en la diagonal.
8
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
La siguiente tabla, muestra el significado en intervalos de los valores que pudiera tener
kappa durante la evaluación:
Tabla 1.Valores del estadístico Kappa
0.90 – 1.00
El sistema de medición es excelente
0.70 – 0.89
El sistema de medición es capaz, pero necesita mejoras
0.50 – 0.69
El sistema de medición es marginal – necesita mejoras
0.00 – 0.49
El sistema de medición es inaceptable
Si el valor del estadístico es menor a 0.70 entonces es probablemente algún error con
la clasificación de la definición operacional, posiblemente sea muy ambiguo, o el evaluador
pudiera necesitar entrenamiento. Si después de realizada una prueba, el estadístico kappa tiene
un valor igual a 1, esto quiere decir que existe un acuerdo perfecto entre los evaluadores, o
que el evaluador tiene un acuerdo perfecto con el estándar. Mientras que si el estadístico
kappa tiene un valor igual o menos a cero significa que el nivel de acuerdo es el mismo que el
esperado por la probabilidad.
4. Metodología
Para poder realizar la prueba de inspección de calidad utilizando el método de análisis
de riesgo, se utilizaron los siguientes recursos:
− se obtuvieron 30 piezas de la línea de producción seleccionadas por el responsable de
conducir este experimento;
− cada pieza era evaluada siguiendo un orden, enumeradas del 01 al 30;
− se dispuso de un formato para registrando la evaluación por cada operador.
Entre los participantes se tomaron en cuenta a todos los inspectores disponibles en
tolos tres turnos que labora la empresa: 3 operadores en el primer turno, 3 operadores en el
segundo turno y 1 operador en el tercer turno.
9
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
Para establecer el valor de referencia estándar de las piezas, se decidió que se
estableciera por los responsables del área de calidad y de producción del siguiente proceso en
la línea. Esto se hizo con la finalidad de conocer de primera mano las necesidades del cliente;
lo cual es de suma importancia porque así se asegura la satisfacción del mismo; por lo que se
desea incorporar la voz del cliente para establecer el criterio de calidad, siguiendo esa línea se
considera indispensable la colaboración de los encargados de cada área.
Los responsables de calidad, además de asegurar la satisfacción del cliente, son los
encargados de que cada evaluador siga el mismo procedimiento de inspección y que todos los
evaluadores conozcan y tengan muy claro cuáles son los defectos que se están buscando en la
pieza inspeccionada.
Cada pieza se revisó 2 veces, al principio y al final del turno de cada evaluador; esto
es porque al principio no se tiene tanta experiencia revisando las piezas como al final del
turno, así mismo, es una forma de ‘neutralizar’ las decisiones que pudiera tomar el evaluador
relacionadas con el cansancio físico y mental.
Para la realización de esta prueba, se seleccionaron 30 piezas, de las cuales, 17 piezas
son entre malas y retrabajadas, donde se trató de que cada pieza presentara diferentes defectos
y que no se repitieran. Mientras que las 13 piezas restantes eran piezas buenas. La persona
que se encargó de anotar las decisiones de los evaluadores era la única que conocía a que
clasificación pertenecía cada pieza; además de ser la encargada de seleccionarlas; que en este
caso, el responsable de conducir la prueba fue el encargado del área de calidad.
Para esta prueba, las piezas fueron enumeradas, para facilitar la identificación de cada
una de ellas, pero no se le dijo al evaluador que pieza estaba evaluado para tratar de evitar que
diera el mismo dictamen que la primera vez que evaluó la pieza cuando su decisión había
cambiado.
El formato donde se estaba llevando el registro de la información que proporcionaba el
evaluador es una copia del formato que viene en el manual de ‘Measurement System
Analysis” (MSA) del manual Automotive Industry Action Group (AIAG, 2002).
10
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
Se hace la comparación entre evaluadores del mismo turno. Y para poder hacer la
comparación en el tercer turno, se tomó la información del mejor evaluador del primero y
segundo turno. Esto se hizo porque no existían suficientes evaluadores en el tercer turno para
poder hacer una comparación entre evaluadores; entonces para poder aplicar ésta técnica se
hizo ese ajuste. Se seleccionaron los mejores evaluadores de cada turno porque son los que
tienen un mayor nivel de concordancia con lo establecido por el estándar. Además, se realizó
la comparación de cada evaluador contra el estándar establecido, para conocer si concuerda su
opinión.
El propósito de esta prueba es conocer si existe diferencia de criterios entre los
evaluadores; para que en caso que así sea, poder identificar las causas y reducir las diferencias
de criterio o procedimiento requeridos para que se obtenga y conserve un producto con
características y apariencias mas homogéneas y se incremente las posibilidades de tener un
artículo de alta aceptación, primero por el cliente interno y, en consecuencia, después por el
cliente externo; además, de contar con un equipo con una mayor moral al producir artículos
con excelente aceptación y al desarrollarse en una empresa con resultados más prometedores.
El análisis de la información capturada será analizado de la siguiente forma:
− se realizará un análisis comparando primero entre los operadores de cada turno; esto es
con la finalidad de poder conocer el nivel de concordancia entre los operadores; una vez
que se conoce dicho nivel, en caso de que se tenga un buen nivel de concordancia (según
lo establecido por el estadístico kappa), se deberá tener registro de cuáles son los
procedimientos que siguen los inspectores, con el fin de que los inspectores que pudieran
tener un nivel menor puedan mejorar. Así mismo, en caso que no se tenga un buen nivel
de concordancia, se buscará identificar cuáles son los factores que influyen, para aumentar
dicho nivel;
− después, se hará una comparación de cada evaluador contra el valor estándar o de
referencia, el cual, fue previamente establecido por uno o varios expertos. En este punto,
se desea identificar que tantas veces el inspector acepta una pieza cuando debe ser
aceptada, y la rechaza cuando se debe ser rechazada.
11
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
5. Análisis de los Resultados
Para poder analizar la información de manera práctica, se analizará: cada turno en
orden, es decir, como van entrando los inspectores cada día; el primer turno es el matutino, el
segundo es vespertino y el tercer es nocturno. De igual forma, cada inspector fue realizando la
prueba en el orden en que se presentaron a trabajar al turno correspondiente. Así mismo, a
continuación se presenta el análisis de la información recabada por turno.
Turno 1
En el primer turno, se tienen 3 inspectores, los cuales trabajan de forma simultánea
durante su turno de trabajo. Se fue apartando cada inspector a cómo iba llegando al lugar de
trabajo, esto con la finalidad que los otros evaluadores no estuvieran presentes cuando uno ya
estaba haciendo la prueba. En el apéndice 1 se muestra la información recogida en el turno 1.
A continuación se muestran las matrices de datos cruzados por parejas de inspectores en
donde se plasma las evaluaciones correspondientes por parejas de inspectores las cuales se
muestran enseguida.
Para poder aplicar la técnica de análisis de riesgo, es necesario separar en pares a los
evaluadores, de tal forma que todos sean comparados entre ellos; es decir, el evaluador 1 con
el evaluador 2, después el evaluador 1 contra el evaluador 3; y para finalizar, el evaluador 2
contra el evaluador 3. En dichas matrices de tamaño 2x2 se verá reflejado cuando se los
evaluadores estuvieron de acuerdo en aceptar o rechazar la pieza; además de cuando
aceptaron pero debieron haber rechazado y viceversa.
Las Tablas 2, 3 y 4 muestran los cálculos para el estadístico kappa, como ‘po’ que son
las proporciones observadas en la diagonal y ‘pe’ que indica las proporciones esperadas de la
diagonal, una vez calculados estos valores, se puede identificar el nivel de acuerdo en el que
se encuentran los evaluadores, los cuales se muestran en la Tabla 5.
12
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
Tabla 2. Datos cruzados del inspector 1 con el inspector 2
1 * 2 Datos Cruzados
1
2
Total
Pass
Fail
Conteo
26
3
29
Pass
Conteo Esperado
17.9
11.1
29.0
Conteo
11
20
31
Fail
Conteo Esperado
19.1
11.9
31.0
Total Conteo
37
23
60
Conteo Esperado
37.0
23.0
Tabla 3. Datos cruzados del inspector 1 con el inspector 3
1 * 3 Datos Cruzados
1
3
Total
Pass
Fail
Conteo
18
11
29
Pass
Conteo Esperado
9.7
19.3
29.0
Conteo
2
29
31
Fail
Conteo Esperado
10.3
20.7
31.0
Total Conteo
20
40
60
Conteo Esperado
20.0
40.0
Tabla 4. Datos cruzados del inspector 2 con el inspector 3.
2 * 3 Datos Cruzados
2
3
Total
Pass
Fail
Conteo
19
18
37
Pass
Conteo Esperado
12.3
24.7
37.0
Conteo
1
22
23
Fail
Conteo Esperado
7.7
15.3
23.0
Total Conteo
20
40
60
Conteo Esperado
20.0
40.0
Una vez que se obtuvieron las matrices de datos cruzados para el primer turno se
procede a calcular el estadístico kappa, del cual se resumen los resultados en las tabla 5.
13
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
Tabla 5. Tabla de relaciones entre los inspectores del Turno 1.
Kappa
1
2
3
1
0.54
0.56
2
0.54
0.41
3
0.56
0.41
-
Para analizar la información de la tabla 5, se utilizarán los valores de referencia del
estadístico kappa localizados en la tabla 1, por lo que puede decirse que:
− inspector 1 y el inspector 2 – Como en esta comparación se tiene el valor de 0.54 kappa,
se puede concluir que el sistema de medición es marginal, y con campos de mejoras;
− inspector 1 y el inspector 3 – En este caso, el valor de comparación es de 0.56,
concluyendo que el sistema de medición es marginal, y con campos de mejoras;
− inspector 2 y el inspector 3 – En el tercer caso, su valor es menor que en las otras 2
comparaciones, siendo 0.41, por lo que se deduce que el sistema de medición es
inaceptable.
Para comparar a cada inspector contra el estándar, también se utiliza el estadístico
kappa, la diferencia que se tiene al hacer comparaciones entre inspectores y realizar
comparaciones entre inspector y el valor de referencia es que en esta última la tabla de datos
cruzados se realiza comparando el evaluador contra el valor de referencia; como el trabajo de
las tablas cruzadas sigue el mismo procedimiento que los anteriores, solamente se presentarán
los valores del estadístico, por lo que los datos obtenidos son los siguientes:
Tabla 6. Inspectores contra el estándar del turno 1
1
Referencia 0.43
2
0.64
3
0.72
Al igual que al hacer la comparación entre inspectores, éstos resultados también serán
comparados contra la tabla 1, por lo que se puede concluir lo siguiente, el cual se presentará
de manera descendente:
− el inspector 3, tiene un valor correspondiente al estadístico kappa de 0.72, por lo que está
de acuerdo con el estándar, y su nivel de acuerdo es capaz;
14
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
− el inspector 2, su valor del estadístico es de 0.64, por lo que se concluye que se encuentra
en un nivel marginal, pero con campo de mejora;
− el inspector 1, tienen trabaja con un valor del estadístico kappa de 0.43, por lo que se
deduce que no tiene tanta afinidad con el estándar, por lo que se considera un nivel
inaceptable.
Turno 2
En el segundo turno, al igual que en el turno 1, se tienen 3 inspectores, en el apéndice
2 se muestra la información recolectada en el formato preestablecido por el MSA. De manera
similar al turno anterior, nuevamente se realizarán los pares, igual que en el turno uno para
realizar las comparaciones utilizando éste método: Las matrices de datos cruzados, se
proporcionan en las tablas 7, 8 y 9, a continuación:
Tabla 7. Datos cruzados del inspector 1 con el inspector
1 * 2 Datos Cruzados
1
2
Total
Pass
Fail
Conteo
13
13
26
Pass
Conteo Esperado
6.5
19.5
26.0
Conteo
2
32
34
Fail
Conteo Esperado
8.5
25.5
34.0
Total Conteo
15
45
60
Conteo Esperado
15.0
45.0
Tabla 8. Datos cruzados del inspector 1 con el inspector
1 * 3 Datos Cruzados
1
3
3
Total
Pass
Fail
Conteo
18
8
26
Pass
Conteo Esperado
9.5
16.5
26.0
Conteo
4
30
34
Fail
Conteo Esperado
12.5
21.5
34.0
Total Conteo
22
38
60
Conteo Esperado
22.0
38.0
15
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
Tabla 9. Datos cruzados del inspector 2 con el inspector
2 * 3 Datos Cruzados
2
3
3
Total
Pass
Fail
Conteo
11
4
15
Pass
Conteo Esperado
5.5
9.5
15.0
Conteo
11
34
45
Fail
Conteo Esperado
16.5
28.5
45.0
Total Conteo
22
38
60
Conteo Esperado
22.0
38.0
De las Tabla 7, 8 y 9, se exponen las proporciones observadas en la diagonal (po) y las
proporciones esperadas de la diagonal (pe), para a través de estos valores calcular el
estadístico kappa e identificar el nivel de acuerdo en el que se encuentran los evaluadores en
este turno.
La tabla 10 muestra las relaciones y niveles de acuerdo entre los inspectores del turno
2 mediante el estadístico kappa:
Tabla 10. Tabla de relaciones entre los inspectores del Turno
Kappa
1
2
3
1
0.46
0.59
2
0.46
0.42
3
0.59
0.42
-
Si se hace la interpretación de los datos, el nivel de acuerdo entre los inspectores 1 y 2,
se puede observar que se tiene un estadístico kappa igual a 0.49, mientras que los inspectores
2 y 3 tienen un 0.42 de estadístico kappa, lo cual, tanto en el primero como el segundo caso
del turno 2, ambas comparaciones trabaja con niveles inaceptable, y por último, la relación
entre los inspectores 1 y 3 tiene un valor estadístico kappa de 0.59, lo que significa que tiene
un nivel d
e concordancia marginal, pero con campo de mejora.
El nivel de acuerdo de los inspectores contra el estándar establecido es mostrado en la
tabla 11.
16
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
Tabla 11. Inspectores contra el estándar del turno 2.
1
Referencia 0.46
2
0.46
3
0.71
En esta tabla, puede decirse que el inspector 3, con un valor 0.71 del estadístico kappa
es quien tiene el mayor número de acuerdos con el estándar, por lo que su nivel de
concordancia es capaz, mientras que los operadores 1 y 2 con un valor de 0.46 del estadístico
kappa, por lo que tienen un nivel inaceptable.
Turno 3
En este turno, solamente se tiene un inspector, por lo que la comparación se realizó
con los inspectores que tuvieron el nivel de concordancia más alto contra el estándar de los
turnos anteriores; y los datos se muestran en el apéndice 3.
Las Tablas 12, 13 y 14, muestran las matrices de datos cruzados de donde se
obtuvieron ‘po’ que son las proporciones observadas en la diagonal y ‘pe’ que indica las
proporciones esperadas en la diagonal, para poder calcular el estadístico kappa, el cual se
muestra en la Tabla 10. Por lo que a continuación, se muestran las matrices de datos cruzados
con la separación por partes para el tercer turno, véase las tablas 12, 13 y 14.
Tabla 12. Datos cruzados del inspector 1 con el inspector 2.
1 * 2 Datos Cruzados
1
2
Total
Pass
Fail
Conteo
18
8
26
Pass
Conteo Esperado
8.7
17.3
26.0
Conteo
2
32
34
Fail
Conteo Esperado
11.3
22.7
34.0
Total Conteo
20
40
60
Conteo Esperado
20.0
40.0
17
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
Tabla 13. Datos cruzados del inspector 1 con el inspector 3.
1 * 3 Datos Cruzados
1
3
Total
Pass
Fail
Conteo
20
6
26
Pass
Conteo Esperado
9.5
16.5
26.0
Conteo
2
32
34
Fail
Conteo Esperado
12.5
21.5
34.0
Total Conteo
22
38
60
Conteo Esperado
22.0
38.0
Tabla 14. Datos cruzados del inspector 2 con el inspector 3.
2 * 3 Datos Cruzados
3
Total
Fail
20
6
26
9.5
16.5
26.0
2
32
34
12.5
21.5
34.0
22
38
60
22.0
38.0
Pass
Conteo
Conteo Esperado
Conteo
Fail
Conteo Esperado
Total Conteo
Conteo Esperado
Pass
2
Un resumen de la comparación de las evaluaciones entre los inspectores se muestra
enseguida en la tablas 15.
Tabla 15. Tabla de relaciones entre los inspectores del Turno 3.
Kappa
1
2
3
1
0.65
0.72
2
0.65
0.72
3
0.72
0.72
-
Aquí, puede observarse que los niveles de acuerdo entre los inspectores 1 y 2 con
valores 0.65 del estadístico kappa es marginal, con niveles de mejora, mientras que entre las
parejas de inspectores 1 y 3, y 2 y 3 tienen un valor de 0.72 del estadístico kappa tienen un
nivel capaz.
18
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
En la tabla 16 se muestra los niveles de acuerdo de cada inspector contra el estándar:
Tabla 16. Inspectores contra el estándar del turno 3.
1
Referencia 0.59
2
0.72
3
0.71
Se puede observar que el inspector 2 con un valor del estadístico kappa igual a 0.72 es
el que tiene el mayor nivel de concordancia contra el estándar, el inspector 3 tienen un valor
de 0.71 y el inspector 1, quien es el correspondiente al turno 3, tiene un valor de 0.59; de
donde pidiera concluirse que todos los niveles son aceptables; es decir, los inspectores, la
mayoría de las veces están de acuerdo con el estándar.
6. Conclusiones
En general, si se toma un análisis descriptivo centralizado de los resultados obtenidos
con el estadístico kappa durante el primer turno, se pudiera decir que el turno trabaja con un
nivel de concordancia marginal, con campo para mejoras; mientras que las medidas de
centralización, que se obtuvieron de los resultados del turno 2 con el estadístico kappa,
muestra que este turno trabaja con un nivel de concordancia inaceptable; por lo que se puede
concluir que existe mucha diferencia de criterio entre los evaluadores; Con medidas de
centralización que se obtuvieron en el tercer turno, se puede decir que trabaja en niveles
capaces, todavía con oportunidades para mejorar.
Durante la prueba, se observó que algunos inspectores desconocían algunos de los
defectos que tenían que evaluar, lo que pudo haber causado algún tipo de confusión al aplicar
la técnica, y pudo haber creado algún sesgo en los resultados obtenidos; por lo que se
recomendaría dar instrucciones de manera clara desde un principio, y hacer énfasis en que no
deben quedar duda en los evaluadores sobre que defectos deben inspeccionar en la pieza.
Además, se observó que existen diferencias en el procedimiento de inspección debido a que
las secuencias de revisión se efectúan de diversas maneras sugiriendo la ausencia de
inducción o de procedimientos definidos para desarrollarlos.
Puesto que los resultados mostraron que existe un nivel muy alto de desacuerdo entre
los inspectores se puede concluir la posibilidad de ausencia de un procedimiento de
19
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
inspección establecido para poder identificar exitosamente los defectos en la pieza; por lo que
los resultados sugieren la necesidad de reentrenamiento entre los inspectores para eliminar
una posible fuente de variabilidad en esta función.
7. Recomendaciones
Para establecer los criterios de evaluación, se debería de tomar en cuenta las
necesidades del cliente interno e inmediato a esta estación de trabajo, es decir, las necesidades
del siguiente proceso en producción. Se deben identificar aquellos aspectos indeseables por
cliente para buscar corregir el proceso e identificar las fuentes de desperdicios; o en su
defecto, que apoyar a que los inspectores de calidad detecten oportunamente aquellos
artículos que puedan ser retrabajados.
Puede ser deseable que se discuta y se llegue a un acuerdo para establecer un
procedimiento de revisión con el cual se uniformice el procedimiento de evaluación a utilizar
en el método de evaluación, con el fin de reducir una posible fuente de variabilidad. Al
principio, puede parecer difícil que acuerden una forma de inspección común pero puede
esperarse que con la práctica (curva de aprendizaje) obtengan mayor pericia en esta actividad
y se vea reflejado en los resultados de otro estudio posterior, donde quizá se observe un nivel
mayor de concordancia entre los evaluadores.
Se sugiere desarrollar un manual donde además de definir el procedimiento se incluya
un catálogo de imágenes que cubra exhaustivamente, en lo posible, ejemplos de defectos que
pudiera tener la pieza, y que al momento de inducir, entrenar nuevos inspectores o en caso de
duda, los inspectores dispongan de ayudas visuales para minimizar las inquietudes al
momento de desarrollar su trabajo.
Además, es recomendable que se realice otra prueba, utilizando este mismo método de
Análisis de Riesgo, pero tomando en consideración algunos cambios: reuniones de
reentrenamiento donde se cubran las recomendaciones propuestas aquí, buscando lograr
consensos y disminuir o eliminar posibles fuentes de la variabilidad de opinión entre los
inspectores. Así mismo, es deseable que las piezas se proporcionen de manera aleatoria a los
20
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
evaluadores buscando que las piezas por inspeccionar tengan la misma probabilidad de ser
evaluadas objetivamente.
Debe de resaltarse que después de este ejercicio será importante reunir a todos los
inspectores, de los tres turnos, para hablar sobre que dificultades encontraron ellos al
momento de hacer la prueba y buscar soluciones de manera consensada.
8. Referencias
AUTOMOTIVE INDUSTRY ACTION GROUP (AIAG); Measurement System Analysis, Reference Manual;
3rd Edition, 2002; www.aiag.org
DI EUGENIO B., GLASS M.; The Kappa statistic: a second look; Computational Linguistics, Volume 30
Issue 1, pp. 95-101, 2004.
DOGAN C. A., GJENDEM F. H., RODYSILL J.; Fueling Supply Chain Transformation; APICS, Volume 21,
number 4, pp. 38-43, 2011.
FUTRELL, D.; When Quality is a Matter of Taste, use Reliability Indexes; Quality Progress, May, pp. 81-86,
1995.
GUTIERREZ P. H., DE LA VARA S. R.; Control Estadístico de Calidad y Seis Sigma; México: McGrawHill, 2da. Edición, 2009.
HANNON C., GROSSMAN S.; Put Job Instruction Breakdown on the Job; Quality Progress, July, pp. 30-35,
2011.
HAYES B. E.; Lessons in Loyalty; Quality Progress, March, pp. 24-31, 2011.
JURAN J. M., DE FEO J. A.; Juran's Quality Handbook, Sixth Edition: The Complete Guide to
Performance Excellence; New York: Mc Graw Hill, 6th Edition, 2010.
MAIO M. J.; Quality Improvement; Milwaukee: American Society for Quality, 2010.
MARTÍNEZ B. D. R.; Evaluando la Repetitividad y Reproducibilidad de sistemas de medición para
características de calidad replicables, definidas por atributos múltiples en escala nominal; Tecnointelecto,
Volumen 4, Número 1, pp. 34-41, 2007.
NORMA ISO 9000:2008 – Sistema de gestión de la calidad: Fundamentos y vocabulario.
21
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
Apéndices
Apéndice 1. Resultados del primer turno
Known Population
Sample # Attribute
1
fail
2
fail
3
fail
4
fail
5
pass
6
pass
7
fail
8
fail
9
fail
10
fail
11
fail
12
pass
13
pass
14
fail
15
pass
16
fail
17
fail
18
fail
19
pass
20
pass
21
fail
22
pass
23
pass
24
fail
25
pass
26
pass
27
fail
28
fail
29
pass
30
pass
Operador 1
Try #1
Try #2
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
pass
pass
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
pass
pass
pass
pass
fail
fail
fail
fail
pass
fail
pass
pass
fail
fail
fail
pass
fail
pass
pass
pass
pass
pass
fail
fail
pass
pass
pass
pass
fail
fail
pass
pass
fail
fail
Operador 2
Try #1
Try #2
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
pass
pass
fail
fail
fail
fail
fail
fail
pass
fail
pass
pass
pass
pass
pass
pass
pass
pass
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
pass
pass
pass
pass
pass
pass
fail
fail
pass
pass
pass
pass
pass
pass
pass
pass
pass
pass
pass
pass
Operador 3
Try #1
Try #2
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
fail
fail
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
fail
fail
pass
pass
fail
fail
fail
fail
fail
fail
pass
pass
fail
fail
fail
fail
pass
pass
fail
pass
pass
fail
fail
fail
pass
pass
fail
fail
fail
fail
fail
pass
fail
pass
22
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
Apéndice 2. Resultados del segundo turno
Known Population
Sample # Attribute
1
fail
2
fail
3
fail
4
fail
5
pass
6
pass
7
fail
8
fail
9
fail
10
fail
11
fail
12
pass
13
pass
14
fail
15
pass
16
fail
17
fail
18
fail
19
pass
20
pass
21
fail
22
pass
23
pass
24
fail
25
pass
26
pass
27
fail
28
fail
29
pass
30
pass
Operador 1
Try #1
Try #2
fail
fail
fail
fail
fail
fail
pass
fail
pass
pass
pass
pass
pass
pass
pass
fail
pass
pass
fail
fail
fail
fail
pass
pass
pass
pass
pass
pass
pass
pass
fail
fail
fail
fail
fail
fail
pass
pass
fail
fail
fail
fail
pass
fail
fail
fail
fail
fail
pass
fail
pass
pass
fail
fail
fail
fail
pass
pass
fail
fail
Operador 2
Try #1
Try #2
fail
fail
fail
fail
fail
fail
pass
fail
fail
fail
pass
pass
fail
pass
fail
fail
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
fail
fail
pass
pass
fail
fail
fail
fail
fail
fail
pass
pass
pass
fail
fail
fail
pass
pass
fail
fail
fail
fail
fail
fail
pass
pass
fail
fail
fail
fail
fail
fail
fail
fail
Operador 3
Try #1
Try #2
fail
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
fail
fail
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
pass
pass
pass
pass
fail
fail
fail
fail
fail
fail
pass
pass
fail
fail
fail
fail
pass
fail
pass
pass
fail
fail
fail
fail
pass
pass
fail
fail
fail
fail
pass
pass
pass
pass
23
D. Romero, L F. et. al.
Estudio R y R por atributos de un proceso de inspección en el sector automotriz. Produção em Foco, v. 1,n. 1, p. 140, 165 jan/jun
2011.
Apéndice 3. Resultados del tercer turno.
Known Population
Sample # Attribute
1
fail
2
fail
3
fail
4
fail
5
pass
6
pass
7
fail
8
fail
9
fail
10
fail
11
fail
12
pass
13
pass
14
fail
15
pass
16
fail
17
fail
18
fail
19
pass
20
pass
21
fail
22
pass
23
pass
24
fail
25
pass
26
pass
27
fail
28
fail
29
pass
30
pass
Operador 1
Try #1
Try #2
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
pass
pass
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
pass
pass
pass
pass
fail
fail
fail
fail
fail
fail
pass
pass
fail
fail
fail
fail
pass
pass
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
fail
fail
pass
pass
pass
pass
Operador 2
Try #1
Try #2
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
fail
fail
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
fail
fail
pass
pass
fail
fail
fail
fail
fail
fail
pass
pass
fail
fail
fail
fail
pass
pass
fail
pass
pass
fail
fail
fail
pass
pass
fail
fail
fail
fail
fail
pass
fail
pass
Operador 3
Try #1
Try #2
fail
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
fail
fail
fail
fail
fail
fail
fail
fail
fail
fail
pass
pass
pass
pass
pass
pass
pass
pass
fail
fail
fail
fail
fail
fail
pass
pass
fail
fail
fail
fail
pass
fail
pass
pass
fail
fail
fail
fail
pass
pass
fail
fail
fail
fail
pass
pass
pass
pass
24