jueves, 10 de enero de 2013

Práctica11. Método de evaluación de un sistema de recuperación de información

La evaluación de sistemas de información y recuperación tiene una aplicación muy clara en el apartado de los algoritmos de recuperación y clasificación de contenidos. En este sentido, la práctica propuesta pone al alumno en el caso real del proceso de evaluación de un algoritmo de recuperación y clasificación automática.

A cada alumno se le asignará en clase una serie de categorías temáticas que comprenden unas páginas web de resultados. Se deberá comprobar que los contenidos recuperados bajo el paraguas de la categoría temática asignada, lo están correctamente. Esto implica determinar distintos valores:

  • Botón Marcar Relevante - Relevancia del 100% significa que el contenido está conforme con la categoría asignada automáticamente por el sistema.
  • Botón Marcar Irrelevante - Relevancia del 0% significa que el contenido es completamente opuesto a la categoría asignada automáticamente por el sistema.
  • Botón Marcar Grado de Relevancia - Relevancia del 80% - 60% - 40% y 20% significa que se ha considerado un documento parcialmente relevante en la medida porcentual que se indica.

Se recomienda hacer click en un único botón. En caso de equivocación, marcar seguidamente el botón correcto. Esto deshará la operación anterior y validará como buena la última efectuada. También se advierte, que según se evalúa el contenido, automáticamente los botones cambian de color, permitiendo al evaluador distinguir fácilmente los resultados que quedan por evaluar.

El proceso de evaluación se registra automáticamente en la base de datos, de tal manera que posteriormente se pueda comprobar si el algoritmo de clasificación acertó o no en la categorización de los contenidos en todas las áreas de conocimiento o por el contrario falló en algunas, así como determinar el motivo del fallo. Esto significa que no es necesario enviar ninguna práctica a través del campus virtual, ya que según se lleva a cabo la evaluación, ésta se va completando.

El alumno tiene una responsabilidad importante en la consecución de este trabajo, ya que su supervisión y evaluación servirá para determinar el grado de corrección y precisión del sistema de información, por ello se solicita la mayor concentración posible durante este proceso.

Listas de asignación

miércoles, 9 de enero de 2013

Práctica10. Prueba automática del modelo probabilístico

Efectuada la prueba manual del modelo probabilístico, se pueden advertir los detalles que operan durante el cálculo de los coeficientes de similaridad, obteniendo en esencia los pesos ajustados de los términos de la consulta del usuario. Este proceso también se emplea en muchos sistemas de recuperación, completamente automatizados, para tener un punto de vista diferente, se propone el desarrollo de la práctica con un simulador desarrollado ex-profeso par testar el comportamiento del cálculo de pesos de la consulta con una colección real. Se advierte al alumno que algunos de los factores correctores de la formulación empleada, fueron modificados para mejorar los resultados, obtenidos. No obstante la filosofía del modelo sigue intacta y se podrá comprobar el mecanismo de retroalimentación por relevancia que lo caracteriza.

Descargar práctica10. Prueba automática del modelo probabilístico