ESTUDIO COMPARATIVO DE LOS DIFERENTES PROCEDIMIENTOS DE NORMALIZACIÓN DE VALORES EN LA TOMA DE DECISIONES

Cloquell, V.^1p; Santamarina, M.C.²

1 Departamento de Proyectos de Ingeniería, Innovación, Diseño y Desarrollo Industrial y Rural. Universidad Politécnica de Valencia.

2 Departamento de Ingeniería de la Construcción y Proyectos de Ingeniería Civil. Universidad Politécnica de Valencia.

RESUMEN

En la presente comunicación se comparan los resultados obtenidos –a partir de casos reales de evaluación en el ámbito de la Administración Pública- por los diferentes procedimientos de normalización de valores numéricos existentes. Tras el análisis de los resultados y entre las principales conclusiones se aporta una guía de recomendaciones para la elección del procedimiento más adecuado en función de la naturaleza y objetivos concretos del problema de evaluación que se pretenda resolver.

INTRODUCCIÓN

El comportamiento de los diversos procedimientos de normalización existentes es previsiblemente distinto, habida cuenta de su diferente naturaleza a pesar de ser, en su mayor parte, procedimientos basados en la linealización de los valores. Para reforzar esta intuición se debe recordar una vez más la afirmación de Barba-Romero [Barb,1997] "[sic] Dicha normalización previa no es, por otra parte, neutral. En efecto, es perfectamente posible que el resultado final dependa del procedimiento utilizado de normalización de las evaluaciones".

De confirmarse esta previsión, a los procesos de evaluación y de toma de decisiones se les añade una seria complicación para cumplir con el objetivo de mantener la neutralidad. Este problema es especialmente grave en el caso de las decisiones de las Administraciones Públicas y, en particular, en los procesos de selección de proveedores de las mismas.

Por este motivo, se ha estudiado el efecto de la normalización de valores sobre una muestra de concursos de adjudicación de obra en una Administración Pública, comparando los resultados obtenidos con cada uno de los procedimientos de normalización con el propósito de poder corroborar empíricamente las afirmaciones anteriores.

CARACTERÍSTICAS Y METODOLOGÍA DEL ESTUDIO

Para la realización del estudio se ha procedido de la siguiente manera:

1. Recopilación de la información correspondiente a los concursos de adjudicación de obras en la Universidad Politécnica de Valencia en los últimos cinco años.
2. Selección de los ejemplos más relevantes en función del importe de licitación y de la concurrencia de proveedores.
3. Para cada uno de los concursos seleccionados (un total de treinta), se ha procedido a recalcular el resultado del concurso para cada uno de los procedimientos de normalización, en la normalización de los valores del criterio económico exclusivamente. De esta manera se puede comprobar la sensibilidad del resultado ante la variación de uno de los criterios. Se ha elegido el criterio económico por ser el de más peso en el baremo previo y por ser el más característico de los concursos de adjudicación de obra.
4. Obtener las curvas de normalización para cada procedimiento y el resultado final del orden de las alternativas al objeto de extraer conclusiones.

En la siguiente tabla se muestran los distintos procedimientos de normalización que han sido comparados en el estudio:

Los procedimientos 1, 2, 3 y 4 responden a los citados por Barba-Romero [Barb, 1997] y el quinto –denominado procedimiento P- corresponde con la normalización probabilística propuesta por Cloquell [Cloq, 1999].

Asimismo es conveniente informar que se ha intervenido adecuadamente para mantener el anonimato del concurso, de las empresas licitadoras y del resultado oficial del mismo, sin que ello suponga una pérdida de fiabilidad del estudio, ya que el único interés del anonimato es evitar que la atención se centre en aspectos irrelevantes, pues los datos utilizados son públicos.

RESULTADOS

Para presentar los resultados del estudio, dada la limitación de espacio, se mostrará un ejemplo completo correspondiente a uno de los concursos de adjudicación procesados y que se ha seleccionado por ser representativo del resto de los casos estudiados.

El ejemplo que se expone corresponde a un concurso de adjudicación de una obra de reforma de un edificio de la Universidad Politécnica de Valencia, cuyo presupuesto de licitación asciende a 211.066.881’-Pts. y al que se presentaron doce empresas con las siguientes ofertas económicas:

Los criterios y sub-criterios de valoración del concurso, así como el peso de los primeros, son los siguientes:

1. Capacidad técnica y material (20%)

1. Capacidad técnica
2. Control
3. Calidad

2. Programa de construcción (25%)

1. Programa
2. Plazo
3. Equipo

3. Oferta económica (30%)
4. Conocimiento del proyecto (25%)

Los resultados de los procedimientos de normalización de los valores del criterio económico son los siguientes:

NORMALIZACIÓN DE LOS VALORES ECONÓMICOS

RESULTADO FINAL DEL CONCURSO (agregando todos los criterios)

CLASIFICACIÓN DE LAS EMPRESAS EN FUNCIÓN DEL PROCEDIMIENTO DE NORMALIZACIÓN

En la siguiente imagen se muestran las diferentes curvas de normalización del criterio económico en función de los procedimientos citados:

CONCLUSIONES

El estudio demuestra empíricamente que la selección del procedimiento de normalización es una decisión no neutral en el proceso de evaluación de las alternativas y, de hecho, altera el resultado de la misma.

Los procedimientos NORMA1, NORMA3 y NORMA4 presentan una tendencia a la concentración de valores que dificulta la separación entre alternativas, aunque en los casos estudiados este efecto es de menor relevancia debido a que sólo afecta al 30% de la puntuación total.

La concentración de valores provoca que el criterio económico no sea representativo en situaciones, como las analizadas, en que el resto de criterios sí presentan valores claramente diferenciados entre alternativas.

El resultado obtenido de la utilización de los procedimientos NORMA1, NORMA3 y NORMA4 es similar en lo referente a la clasificación de las alternativas, aunque sí existe una notable diferencia en los valores absolutos de la evaluación. En la mayor parte de los casos estudiados, la clasificación obtenida con estos tres procedimientos es la misma, salvo en algún caso –como el del ejemplo- en el que se presentan ligeras variaciones en el orden de las alternativas entre NORMA1 y NORMA3-NORMA4. En el ejemplo se puede observar cómo sólo se altera el orden de las empresas 3 y 8, que intercambian las posiciones quinta y sexta. No se han observado cambios entre las clasificaciones proporcionadas por NORMA3 y NORMA4 en la totalidad de los casos estudiados.

Se observan diferencias sustanciales entre las clasificaciones obtenidas a partir de los procedimientos NORMA1-NORMA3-NORMA4 y los procedimientos NORMA2-NORMAP. Estas diferencias pueden cuantificarse –por término medio de los casos estudiados- en un 60% de los puestos de la clasificación. Esto se debe, principalmente, a que en los procedimientos NORMA2-NORMAP se produce la suficiente separación entre valores para hacer relevante el criterio económico.

Existen diferencias en las clasificaciones obtenidas a partir de los procedimientos NORMA2 y NORMAP que, si bien no son tan pronunciadas cuantitativamente como las anteriormente expuestas, son importantes por las alteraciones que provocan. Conceptualmente, NORMAP "penaliza" las ofertas cuya baja económica es mayor a la media del resto de alternativas mientras que NORMA2 "penaliza" las bajas pequeñas.

Los procedimientos NORMA1-NORMA3-NORMA4, aunque mantienen la proporcionalidad, no son recomendables en procesos de evaluación de selección de proveedores como los estudiados pues, desde un punto de vista riguroso, debería existir la certeza previa de que todos los criterios normalizados presentan la misma concentración de valores, lo cual, a la vista de la heterogeneidad de los criterios es sumamente difícil. Si ello no se consigue, el criterio normalizado mediante estos procedimientos deja de ser significativo y, por tanto, no interviene en la decisión.

El procedimiento NORMAP ofrece unos resultados satisfactorios y los expertos consultados destacan su capacidad para autocorregir las "bajas temerarias" cumpliendo con las disposiciones vigentes. Por otra parte, el procedimiento aporta dos cambios en principio interesantes: la substitución del concepto de "baja temeraria" por el de "oferta desviada" y la substitución del presupuesto de licitación como referencia por la media de las ofertas como aproximación al precio de mercado, quedando el presupuesto de licitación como valor limitante.

REFERENCIAS

[Barb,1997] Barba-Romero, S.; Pomerol, J.C.; Decisiones Multicriterio. Fundamentos teóricos y utilización práctica. Servicio de Publicaciones de la Universidad de Alcalá I.S.B.N. 84-8138-180-2

[Cloq,1999] Cloquell, V; Contribución al desarrollo de un modelo generalizado y sistemático de localización de actividades económicas. Tesis Doctoral. Universidad Politécnica de Valencia.

CORRESPONDENCIA

Vicente Cloquell Ballester, Departamento de Proyectos, Innovación, Diseño y Desarrollo Industrial y Rural. E.T.S.I.I. Valencia. Universidad Politécnica de Valencia. Camí de Vera s/n 46.022-Valencia. E-mail cloquell@upvnet.upv.es