1. Introducción
En la era digital, el acceso a la información y a los datos se ha vuelto instantáneo, lo que ha transformado significativamente la práctica educativa. Wikipedia se ha consolidado como una fuente omnipresente en el proceso de enseñanza, especialmente en las escuelas primarias. Su facilidad de acceso y la ausencia de costos han posicionado a Wikipedia como un recurso educativo esencial, pero también han generado preocupaciones sobre la confiabilidad de su contenido debido a su naturaleza colaborativa y abierta. Evaluar la fiabilidad de Wikipedia es fundamental para asegurar que los estudiantes y docentes puedan tomar decisiones informadas sobre los recursos que utilizan en el proceso de enseñanza-aprendizaje (Hernández Ramos et al., 2014).
El propósito de este artículo es describir el proceso de desarrollo y validación de un método para evaluar la confiabilidad de los artículos de Wikipedia en español, a través de indicadores objetivos que permitan facilitar su evaluación crítica en entornos educativos. Aunque este trabajo está vinculado al proyecto más amplio de crear una herramienta informática para implementar dicho método, el enfoque aquí está centrado en el diseño y la validación del método en sí, más que en el desarrollo del software.
El artículo se estructura de la siguiente manera: en la introducción se presenta el contexto y la relevancia del tema; el planteo del problema discute la confiabilidad de Wikipedia; en los fundamentos teóricos se exploran los criterios de confiabilidad de Wikipedia; los objetivos detallan los objetivos generales y específicos; la metodología describe el proceso de desarrollo de la aplicación; los resultados presentan la información obtenida con la aplicación; la discusión analiza la relevancia de los resultados, y las consideraciones finales abordan el trabajo futuro y las limitaciones. Esta estructura permitirá ilustrar una solución concreta y práctica para la evaluación de la confiabilidad de Wikipedia en el ámbito educativo.
2. Planteo del problema
La era digital ha transformado el acceso y distribución de información, con Wikipedia emergiendo como una fuente clave, especialmente en el ámbito educativo. Sin embargo, su naturaleza abierta plantea desafíos en cuanto a la confiabilidad, ya que podría llevar a la difusión de información incorrecta o sesgada (Hernández Ramos et al., 2014).
La confiabilidad de Wikipedia es crucial en la educación, ya que los estudiantes la usan como fuente primaria por su fácil acceso. La falta de evaluación crítica puede llevar a la adopción de información inexacta, lo que afecta el aprendizaje y el desarrollo del pensamiento crítico (Haigh, 2011). Es esencial generar herramientas que evalúen efectivamente la confiabilidad de sus artículos, contribuyendo tanto al conocimiento educativo como a la alfabetización informacional desde edades tempranas (Kaplan y Haenlein, 2010).
Evaluar la confiabilidad de Wikipedia es urgente en contextos educativos con recursos limitados. Un estudio en Uruguay mostró que los estudiantes dependen casi exclusivamente de Wikipedia y Google, sin evaluar adecuadamente la confiabilidad de las fuentes (Baica Preyones et al., 2016). Esto destaca la necesidad de herramientas que faciliten la evaluación crítica de la información utilizada.
Implementar una herramienta de evaluación de la confiabilidad de Wikipedia puede tener un impacto significativo en educación, ya que podría empoderar a estudiantes y educadores para discernir la calidad de la información, promover el pensamiento crítico y mejorar la alfabetización informacional. Además, puede ser un recurso valioso para bibliotecarios y profesionales de la información y mejorar así la gestión de recursos en bibliotecas y centros educativos (Stvilia et al., 2008).
2.1. Desafíos actuales
Evaluar la confiabilidad de Wikipedia presenta varios desafíos significativos debido a su naturaleza abierta y colaborativa. Estos desafíos afectan la calidad y precisión de la información proporcionada, especialmente en el contexto educativo. Wikipedia se ha convertido en una fuente omnipresente de información, pero su confiabilidad ha sido constantemente cuestionada debido a la posibilidad de ediciones por cualquier usuario y la falta de control editorial estricto. A continuación, se detallan algunos de los principales desafíos en la evaluación de la confiabilidad de Wikipedia.
La calidad de la información en Wikipedia puede ser inconsistente debido a su naturaleza colaborativa y abierta. Los artículos de Wikipedia pueden ser editados por cualquier persona, independientemente de su nivel de conocimiento o experiencia en el tema. Esto puede llevar a la inclusión de información incorrecta o sesgada. Además, los actos de vandalismo y las ediciones malintencionadas pueden permanecer sin ser corregidos durante largos períodos, lo que afecta la confiabilidad del contenido (Sage, 2024).
Uno de los mayores desafíos en la evaluación de la confiabilidad de Wikipedia es la falta de estándares uniformes. No existe un marco estandarizado para evaluar la calidad de los artículos, lo que lleva a evaluaciones inconsistentes y subjetivas. Diferentes criterios y enfoques pueden dar lugar a resultados variados, lo que dificulta la comparación entre artículos. Esta falta de coherencia complica la tarea de determinar cuál información es confiable y cuál no lo es (Krishnamoorthy y D’Lima, 2014).
La variabilidad en la autoría y el historial de ediciones de los artículos de Wikipedia es otro desafío significativo. Los artículos pueden ser editados por una amplia gama de usuarios, desde expertos en la materia hasta personas sin ningún conocimiento previo. Además, las guerras de ediciones y los conflictos entre usuarios pueden degradar la calidad de los artículos. La reputación de los editores se basa en su actividad en la plataforma, lo que no siempre se correlaciona con su experiencia o conocimiento en el tema (Elmimouni et al., 2022).
Crear métricas objetivas y cuantificables para evaluar la confiabilidad de los artículos de Wikipedia es un desafío considerable. Muchos de los métodos actuales para evaluar la confiabilidad no son computables o no se actualizan con la frecuencia necesaria. Esto subraya la necesidad de desarrollar indicadores claros y medibles que permitan una evaluación objetiva de la confiabilidad de los artículos. Indicadores como la densidad de imágenes, citas, palabras, oraciones y versiones en diferentes idiomas pueden proporcionar una base objetiva para la evaluación (Sugandhika et al., 2021).
Hay una necesidad creciente de herramientas automatizadas que puedan evaluar la confiabilidad de los artículos de Wikipedia de manera eficiente y precisa. Estas herramientas deben ser capaces de analizar grandes volúmenes de datos y aplicar criterios objetivos de evaluación. El desarrollo de una aplicación de software que utilice indicadores objetivos como los mencionados anteriormente puede ayudar a superar estos desafíos y proporcionar una evaluación más precisa y eficiente de la confiabilidad de los artículos de Wikipedia (Haigh, 2011; Kaplan y Haenlein, 2010).
3. Fundamentos teóricos
En esta sección, se revisan los conceptos clave y los estudios previos que sustentan el desarrollo del estimador de confiabilidad para los artículos de Wikipedia.
3.1. Criterios de confiabilidad
Evaluar la confiabilidad de los artículos de Wikipedia es una tarea compleja que requiere un enfoque multifacético. Para lograr una evaluación precisa, se han definido varios criterios basados en la estructura y el contenido de los artículos. Estos criterios han sido relevados en entrevistas a informantes calificados y en grupos focales con educadores. A continuación, se describen estos criterios.
La presencia de imágenes en un artículo de Wikipedia puede ser un indicador significativo de su calidad y confiabilidad. Estas no solo enriquecen el contenido visualmente, sino que también proporcionan evidencia adicional y contexto, que pueden ayudar a los lectores a comprender mejor el tema. La densidad de imágenes se calcula dividiendo el número total de imágenes por el número de párrafos del artículo. Su importancia radica en que pueden ilustrar conceptos complejos, haciendo que la información sea más accesible y comprensible. La presencia de imágenes bien referenciadas y adecuadamente seleccionadas puede aumentar la credibilidad del artículo (Kaplan y Haenlein, 2010).
Las citas son esenciales para verificar la información y asegurar su precisión. Un artículo con una alta densidad de citas tiende a ser más confiable, ya que indica que la información ha sido verificada y respaldada por fuentes externas. La densidad de citas se calcula dividiendo el número total de citas por el número de párrafos del artículo. Las citas proporcionan la fuente de la información y así permiten a los lectores verificar la autenticidad de los datos presentados. Un artículo bien referenciado es generalmente considerado más confiable (Haigh, 2011).
La estructura de las oraciones en un artículo puede influir significativamente en su legibilidad y coherencia. La densidad de oraciones se calcula dividiendo el número total de oraciones por el número de párrafos del artículo. Una buena estructura de oraciones facilita la lectura y comprensión del contenido. Los párrafos bien construidos con una cantidad adecuada de oraciones son más efectivos para comunicar información compleja (Adler y De Alfaro, 2007).
La densidad de palabras se refiere al número de palabras por párrafo y es un indicador de la complejidad y exhaustividad del contenido. Se calcula dividiendo el número total de palabras por el número de párrafos del artículo. Los párrafos con una densidad adecuada de palabras son cruciales para mantener el equilibrio entre la profundidad de la información y la legibilidad. Una alta densidad de palabras puede indicar un contenido más detallado y exhaustivo, pero también puede afectar la legibilidad si es demasiado alta (Stvilia et al., 2008).
La existencia de múltiples versiones de un artículo en diferentes idiomas puede ser un indicador importante de su relevancia y confiabilidad. Los artículos que son traducidos a varios idiomas suelen ser aquellos que tienen una mayor importancia y son más revisados. La presencia de versiones en diferentes idiomas sugiere una mayor relevancia del tema y la posibilidad de revisión por una comunidad global diversa. Artículos con múltiples versiones tienen más probabilidades de ser precisos y confiables debido a la contribución de editores de diferentes culturas y contextos (Lewoniewski et al., 2020).
Wikipedia ha evolucionado más allá de ser simplemente una plataforma abierta y colaborativa. Su estructura y funcionamiento actuales pueden describirse mejor como un «sistema sociotécnico», en el que tanto los «actores humanos» como los «actores no humanos» (principalmente bots) desempeñan roles fundamentales en la creación, moderación y mantenimiento de su contenido.
Los bots en Wikipedia son programas automatizados que, aunque inicialmente fueron diseñados para realizar tareas repetitivas, han adquirido una influencia creciente en el control de la calidad y el monitoreo de las ediciones. Estos bots no solo realizan tareas sencillas como corregir errores tipográficos o revertir vandalismos, sino que también han evolucionado para intervenir en procesos más complejos, como la moderación de contenido y la interacción con los editores humanos (Niederer y Van Dijck, 2010).
Este tipo de intervención ha cambiado el panorama de Wikipedia. Según Halfaker et al. (2012), esta ha pasado de ser la enciclopedia que cualquiera puede editar a un espacio donde solo aquellos que entienden las normas, se socializan dentro de la comunidad y logran superar las barreras impuestas por un sistema semiautomatizado de rechazo de ediciones pueden contribuir efectivamente. Esta transformación implica que los bots no solo cumplen un rol técnico, sino también social, ya que facilitan o restringen la participación de usuarios según las reglas y normativas predefinidas por la comunidad de Wikipedia.
La incorporación de estos agentes no humanos ha impactado en la «confiabilidad» del contenido de Wikipedia, ya que estos bots actúan como «guardianes de calidad» porque aseguran que las ediciones cumplan con ciertos estándares predefinidos (Niederer y Van Dijck, 2010). Sin embargo, este enfoque también puede resultar en un conflicto, dado que el control automatizado puede rechazar contribuciones valiosas que no se ajusten perfectamente a las reglas establecidas, lo que genera una barrera para nuevos editores.
Los bots, por lo tanto, no solo ayudan a mejorar la calidad de los artículos en términos de precisión técnica y corrección, sino que también contribuyen a la «socialización de los editores» humanos, ya que las interacciones con estos agentes no humanos pueden influir en cómo los usuarios aprenden las normas de la comunidad y en la persistencia de su participación (Ford y Geiger, 2012). Este fenómeno refuerza la idea de Wikipedia como un sistema sociotécnico complejo en el que las dinámicas entre humanos y bots son clave para su funcionamiento.
4. Antecedentes
La confiabilidad de Wikipedia ha sido un tema de interés académico desde su creación debido a su naturaleza abierta y colaborativa. A continuación, se presenta una revisión de los estudios más relevantes sobre este tema, abordando trabajos previos relacionados y el análisis de resultados obtenidos en investigaciones recientes.
Uno de los estudios más exhaustivos sobre la confiabilidad de Wikipedia es el trabajo de Morales-Vargas et al. (2022), titulado «Calidad web en medios digitales: revisión bibliográfica sobre métodos e indicadores de evaluación general y atributos de confianza». Este estudio realiza una revisión sistemática de 83 publicaciones que tratan la calidad web en medios digitales, identificando métodos e indicadores de evaluación general y atributos de confianza, aunque sin centrarse específicamente en la confiabilidad de Wikipedia (Morales-Vargas et al., 2022). Este enfoque proporciona una base sólida para comprender cómo se puede evaluar la calidad de los medios digitales, lo cual es relevante para contextualizar la evaluación de Wikipedia.
En una línea similar, Claes y Tramullas (2021) realizaron un trabajo significativo titulado «Estudios sobre la credibilidad de Wikipedia: una revisión». Esta revisión bibliográfica basada en el análisis de resúmenes identifica diferentes métodos para determinar la confiabilidad de Wikipedia, tales como la comparación manual con otras fuentes, el análisis de contenido usando listas de control, la percepción de los usuarios mediante encuestas y modelos computacionales para estudiar la estabilidad del contenido, el historial de ediciones y la reputación de los editores. Estos enfoques diversos destacan la multifacética naturaleza de evaluar la confiabilidad en Wikipedia, subrayando la necesidad de métodos robustos y variados.
Un enfoque destacable sobre la actividad de edición en Wikipedia se presenta en el artículo de Chalabi (2014), «The 100 Most-Edited Wikipedia Articles». Chalabi argumenta que los artículos con mayor número de ediciones tienden a ser más controvertidos y, por tanto, menos confiables. Este estudio utiliza como ejemplo el artículo sobre George W. Bush, que tenía 45 273 revisiones en ese momento, lo que equivale a tres revisiones por cada palabra (Chalabi, 2014). Este análisis resalta cómo la alta frecuencia de ediciones puede ser un indicador de controversia y posible falta de confiabilidad.
El artículo de Sugandhika et al. (2021), «Modelling Wikipedia’s Information Quality using Informativeness, Reliability and Authority», se enfoca en la evaluación de la calidad de la información en Wikipedia. Este estudio propone un enfoque híbrido que utiliza tanto el contenido como las estadísticas de metadatos de los artículos de Wikipedia para evaluar la calidad de la información subyacente. El modelo propuesto se compone de tres dimensiones de calidad de información: informatividad, fiabilidad y autoridad, y se basa en 23 características relacionadas con la calidad de la información. Los autores aplicaron su modelo a mil artículos extraídos de cinco WikiProjects que cubren áreas temáticas como medicina, política, deportes, historia y ciencia. Utilizaron una técnica de web scraping basada en Selenium para extraer los datos de los artículos de manera automática (Sugandhika et al., 2021). Los resultados de Sugandhika et al. muestran que el modelo propuesto alcanzó una precisión que respalda su efectividad para evaluar la calidad de la información en Wikipedia. Además, el estudio detalla la metodología usada, el análisis de resultados, la implicación de los hallazgos para el discurso teórico y las aplicaciones prácticas, así como las limitaciones y el trabajo a futuro.
Otro estudio relevante es el de Lewoniewski et al. (2020), «Modeling Popularity and Reliability of Sources in Multilingual Wikipedia». Este artículo analiza la popularidad y fiabilidad de las fuentes en las diferentes versiones idiomáticas de Wikipedia. Los autores destacan la importancia de las fuentes confiables en la calidad del contenido de Wikipedia y discuten cómo las referencias pueden variar significativamente entre versiones de idioma, lo que puede afectar la consistencia y confiabilidad de la información presentada. Este enfoque es crucial para entender cómo la variabilidad idiomática puede influir en la percepción de confiabilidad.
En general, los estudios revisados indican que, aunque Wikipedia ha hecho progresos significativos en mejorar la confiabilidad de sus artículos, persisten desafíos debido a su naturaleza abierta y la variabilidad en la calidad de las ediciones y las fuentes utilizadas. Los métodos propuestos en estos estudios, como el uso de modelos híbridos y el análisis de metadatos, ofrecen enfoques prometedores para abordar estos desafíos y mejorar la evaluación de la confiabilidad de los artículos de Wikipedia.
5. Objetivos
Se presentan tanto el objetivo general como los objetivos específicos, que guían el desarrollo del proyecto. Este tiene como uno de sus propósitos la implementación de una herramienta informática.
5.1. Objetivo general
El objetivo principal de este proyecto es desarrollar un estimador que permita evaluar la confiabilidad de los artículos de Wikipedia en el contexto de la enseñanza inicial. Esta herramienta está destinada a ser utilizada por educadores y estudiantes en escuelas primarias, especialmente en contextos socioeconómicos críticos, para mejorar la calidad de la información consumida y fomentar una evaluación crítica de las fuentes de información.
5.2. Objetivos específicos
Los objetivos específicos se pueden definir como:
- Identificar los criterios de confiabilidad: Determinar las características que definen la confiabilidad de los artículos de Wikipedia. Esto se lleva a cabo principalmente mediante entrevistas a informantes calificados (especialistas en educación, comunicación y wikipedistas) y grupos focales (con docentes). Este objetivo es fundamental porque establece las bases teóricas y prácticas sobre las cuales se construirá la herramienta. Identificar qué criterios son considerados esenciales para evaluar la confiabilidad garantiza que la herramienta sea relevante y útil para los educadores y estudiantes, asegurando que aborde los aspectos más críticos de la evaluación de fuentes de información.
- Determinar los criterios sistematizables: De las características de confiabilidad identificadas, se procederá a determinar cuáles pueden ser sistematizadas o computadas. Esto permitirá que dichos criterios sean programados y ofrecidos como funcionalidades dentro de la herramienta a desarrollar. Este objetivo contribuye al general porque transforma la teoría en práctica. Al determinar qué criterios pueden ser sistematizados, se asegura que la herramienta no solo sea conceptualmente sólida, sino también funcional y operativa. Esto facilita la creación de un software que pueda evaluar artículos de manera consistente y automatizada, permitiendo su uso en entornos educativos.
- Desarrollar y validar la herramienta: Crear la herramienta informática basada en los criterios sistematizados y validar su efectividad a través de talleres y pruebas en un entorno educativo real. La validación incluirá actividades interactivas con estudiantes y docentes para asegurar la utilidad y facilidad de uso de la herramienta. Este objetivo es la culminación de los esfuerzos previos, y asegura que la herramienta desarrollada sea práctica y eficaz. La validación en un entorno educativo real garantiza que la herramienta cumpla con su propósito de mejorar la calidad de la información consumida y fomentar la evaluación crítica de las fuentes. Además, la retroalimentación de usuarios reales permite ajustar y perfeccionar la herramienta para que sea verdaderamente útil y accesible para su público objetivo.
6. Metodología
El diseño metodológico de este estudio se estructuró en varias fases. Se siguió una metodología mixta que incluyó tanto enfoques cualitativos como cuantitativos.
Fase de investigación cualitativa: Se realizaron entrevistas con expertos en educación y diseño y editores avanzados de Wikipedia, complementadas con un grupo focal de educadores para identificar los criterios clave que definen la confiabilidad de un artículo. Este proceso ayudó a establecer los fundamentos teóricos y los indicadores de confiabilidad a utilizar.
Fase de desarrollo: Basándose en los resultados de las entrevistas, se diseñó y desarrolló un prototipo de la aplicación. En esta fase se priorizó el diseño centrado en el usuario para asegurar la accesibilidad y usabilidad de la herramienta, dirigida a un público escolar.
Fase de validación empírica: Finalmente, el prototipo fue validado mediante pruebas con artículos de Wikipedia. Se compararon artículos destacados, buenos artículos y artículos comunes para evaluar la consistencia del estimador de confiabilidad.
En el presente trabajo se pone el foco en la fase de desarrollo, ya que se describe en detalle el proceso de creación y validación de la herramienta informática. Este desarrollo incluyó tanto el diseño de la arquitectura de la aplicación como la implementación de los indicadores de confiabilidad identificados previamente a través de entrevistas y grupos focales con expertos.
6.1. Arquitectura de la aplicación
La arquitectura de la aplicación adopta el modelo cliente-servidor: aloja en el servidor la aplicación, a la que el usuario accede desde un navegador. La lógica se distribuye entre el servidor y el cliente, con datos almacenados principalmente en el servidor e intercambiados en una red. La ventaja es que los clientes son independientes de la plataforma (Gómez Fermín y Moreno Poggio, 2014).
Como lenguaje de programación se eligió PHP (Preprocesador de Hipertexto), similar a PERL, diseñado en 1994 por Rasmus Lerdorf y enfocado en crear páginas web dinámicas (PHP.net, 2004). Su sintaxis es similar a la de C (Geeks For Geeks, 2023) y soporta programación orientada a objetos, como C++ (Prosper, 2023; Oezhan, 2022). Este proyecto usa PHP 8.
PHP se usa ampliamente para crear páginas web dinámicamente (O’Grady, 2024). El código de la página se ejecuta en el servidor web y el resultado se envía al navegador del visitante. Al abrir un documento PHP, el servidor ejecuta el código con un intérprete y envía el resultado (HTML) al navegador (Karayiannis, 2019).
Los componentes de la aplicación se ilustran en el diagrama 1, en el que se muestra el flujo de relaciones, incluyendo el acceso a la API de Wikipedia.
Diagrama 1. Componentes de la aplicación
Fuente: José Fager
Se usa el patrón de diseño Front Controller con un controlador principal como único punto de entrada, que facilita el uso del subsistema. Esto permite el desacople de la búsqueda y personalización de la interfaz, evita duplicar código y admite cambiar el comportamiento en tiempo real (Patzer y Moodie, 2004).
El componente «index.html» actúa como la vista principal y punto de entrada, interactuando con «process.php», que maneja la lógica del negocio y el flujo de trabajo, y vinculándose con «search.php», «get_data_wikipedia.php», «get_data_wikitebi.php» e indirectamente con «auxiliary.php». En tanto, «get_data_wikipedia.php», «get_data_wikitebi.php» y «auxiliary.php» se encargan de obtener marcadores, información y realizar cálculos. Por su parte, «search.php» conecta con la API de Wikipedia, implementando consultas y procesando respuestas, por lo que cumple los roles de modelo y vista de resultados. La API de Wikipedia es un componente externo invocado para obtener datos.
Por otra parte, está la «lógica de negocio». En desarrollo de software se denomina así al proceso de traducir reglas y procesos de una organización en código ejecutable por un sistema informático (Fowler, 2002). En este desarrollo, la lógica de negocio maneja solicitudes a la API de Wikipedia y calcula la confiabilidad de los artículos, construyendo la consulta a la API y usando el nombre del artículo o la clave de búsqueda para extraer su contenido, el título y un identificador. Esto automatiza la obtención y procesamiento de datos de Wikipedia y permite el análisis de confiabilidad de los artículos.
6.2. Diseño de la interfaz de usuario
Al desarrollar la interfaz de usuario, se priorizó la usabilidad, accesibilidad y simplicidad para maestros y escolares. La interfaz es responsiva, adaptable a diversos dispositivos (teléfonos, tabletas, PC y equipos XO) y cuenta con un diseño minimalista con un cuadro de búsqueda destacado para ingresar el título, la URL o términos asociados al artículo; tiene un botón de búsqueda con un ícono de lupa y un botón de ayuda con fondo naranja brillante y texto en negrita. Usa la fuente Poppins, colores vivos y bordes redondeados (ver ilustración 1).
Ilustración 1. Interfaz principal de la aplicación
Fuente: José Fager
Los datos y valores de los indicadores de confiabilidad se presentan de manera que también sean útiles para evaluar la calidad del contenido de Wikipedia. Dado que la aplicación está dirigida a niños, el nivel de confiabilidad debe ser fácilmente identificable usando colores como un semáforo (verde, amarillo, rojo), lo que se refleja en la interfaz de resultados (ver ilustración 2).
Ilustración 2. Interfaz de resultados mostrando tres salidas diferentes
Fuente: José Fager
La interacción entre el usuario y la interfaz (ver diagrama 2) se inicia en el formulario de búsqueda, donde el usuario ingresa el artículo, para luego desencadenar la búsqueda, que es recibida por «process.php». Este es el que realiza el procesamiento y despliegue de resultados.
Diagrama 2. Diagrama de flujo usuario-interfaz
Fuente: José Fager
6.3. Cálculo de la confiabilidad
Para construir un estimador de confiabilidad, se consultó a especialistas y educadores. Se entrevistaron expertos en educación superior, diseño y comunicación, y editores avanzados de Wikipedia. También se realizó un grupo focal con educadores de infantes de entre 6 y 12 años. Se determinó que las referencias son el principal criterio de confiabilidad y que los artículos más confiables son los artículos destacados (AD) y buenos artículos (BA), por lo que se recomienda usarlos como patrón para evaluar otros artículos. Otros criterios incluyen la cantidad de versiones en distintos idiomas, la presencia de imágenes y la relación entre palabras, oraciones y párrafos.
6.3.1. Comparación de artículos de Wikipedia
Considerando la sugerencia de los editores avanzados de Wikipedia sobre la fiabilidad de los AD, se profundiza en el método de comparación benchmarking. Este método compara un estándar con otro en el mismo campo para establecer una medida de evaluación. Entidades con alto rendimiento se usan como patrones de comparación (Krishnamoorthy y D’Lima, 2014).
Un ejemplo de esto es cómo la industria del hardware prueba procesadores comparándolos con un procesador virtual ideal (Limaye y Adegbija, 2018). Aplicando este concepto a Wikipedia, se tomaría un artículo ideal, se medirían sus características y se establecería una comparación con otro artículo para evaluar su confiabilidad.
El benchmarking tiene cinco etapas, entre las que se destacan la identificación de áreas de mejora y la selección de benchmarks (Comparables AI, s. f.). En Wikipedia, esto sería mejorar el contenido en relación con la confiabilidad y elegir artículos confiables como referencia. Este método permite una comparación cuantitativa y una estimación de confiabilidad basada en un «patrón de referencia».
Para utilizar el benchmarking para evaluar la confiabilidad de los artículos de Wikipedia, es necesario establecer un patrón de referencia (benchmark); en este caso, ese patrón será un artículo ideal, al que llamaremos «artículo cero» (Ao).
En Wikipedia, los artículos comunes (AC), a diferencia de los AD y los BA, no han pasado por procesos editoriales exigentes. En particular, los AD cumplen con altos niveles de exigencia en cuanto a precisión, neutralidad, integridad y estilo, y los BA son de alta calidad editorial, aunque no han pasado aún por un proceso editorial tan riguroso como los AD («Wikipedia: Artículos destacados», 2022).
En este estudio, se tomarán valores de datos objetivos característicos de todos los AD (vinculados a las sugerencias obtenidas en las entrevistas a informantes calificados) y se promediarán para poder definir un Ao. Los valores del Ao se muestran en el cuadro 1.
Cuadro 1: Valores del Ao
| Dato | Abreviatura | Valor | Significado |
|---|---|---|---|
Palabras |
Wo |
13 470 |
Cantidad de palabras del Ao |
Oraciones |
So |
491 |
Cantidad de oraciones del Ao |
Párrafos |
Po |
74 |
Cantidad de párrafos del Ao |
Citas |
Co |
192 |
Cantidad de citas del Ao |
Imágenes |
Io |
32 |
Cantidad de imágenes del Ao |
Versiones |
Vo |
54 |
Cantidad de versiones del Ao |
Fuente: José Fager
6.3.2. Estimador de confiabilidad
Para calcular la confiabilidad de Wikipedia se proponen indicadores, a partir de los cuales se va a construir el estimador de confiabilidad. Los criterios a tener en cuenta para construir los indicadores se basan en las entrevistas a informantes calificados y grupo focal. Esas características son: palabras, oraciones, párrafos, citas, imágenes y versiones.
Las citas en Wikipedia son esenciales para verificar la información y asegurar su precisión. Un artículo con citas bien referenciadas es generalmente considerado más confiable (Haigh, 2011).
Las imágenes y otros medios visuales pueden complementar el texto y proporcionar evidencia adicional. La presencia de imágenes bien seleccionadas puede aumentar la confiabilidad de un artículo (Kaplan y Haenlein, 2010).
En cuanto a las palabras, oraciones y párrafos, la calidad de la redacción, la claridad y la coherencia del contenido son indicadores clave de la confiabilidad de un artículo. Un texto bien escrito, con estructura lógica y sin errores gramaticales, suele ser más confiable (Adler y De Alfaro, 2007).
La presencia de varias versiones de un artículo (en diferentes idiomas) implica la participación de una comunidad global diversa. Esta diversidad puede mejorar la calidad del contenido al incluir perspectivas y revisiones de diferentes contextos culturales y académicos (Stvilia et al., 2008).
De esta manera, los indicadores de confiabilidad para un artículo x, que tiene Px párrafos, Cx citas, Sx oraciones, Vx versiones, Wx palabras e Ix imágenes —y considerando el Ao (artículo ideal con el cual se compara el artículo x) que tiene Po párrafos, Co citas, So oraciones, Vo versiones, Wo palabras e Io imágenes— se pueden calcular como se muestra en el cuadro 2.
Cuadro 2: Indicadores de confiabilidad
| Métrica | Abreviatura y fórmula | Significado |
|---|---|---|
Oraciones |
ISx= (Sx/Px)/(So/Po) |
Densidad de oraciones por párrafo. Se compara con la densidad de oraciones del Ao. Si ISx>1, entonces ISx=1. |
Citas |
ICx = (Cx/Px)/(Co/Po) |
Densidad de citas por párrafo. Se compara con la densidad de citas del Ao. Si ICx>1, entonces ICx=1. |
Versiones |
IVx = Vx/Vo |
Variedad de versiones. Se compara con la cantidad de versiones del Ao. Si IVx>1, entonces IVx=1. |
Imágenes |
IIx = (Ix/Px)/(Io/Po) |
Densidad de imágenes por párrafo. Se compara con la densidad de imágenes del Ao. Si IIx>1 entonces IIx=1. |
Palabras |
IWx = e^-k|(Wx/Px)-(Wo/Po)| |
Densidad palabras por párrafo. k=0,01, valor tomado empíricamente. Se compara con la densidad de palabras del Ao. Si IW>1, entonces IW=1. |
Estimador |
Rx = (IWx+ISx+IIx+IVx+ICx*2)/6 |
Estimador de confiabilidad. Combina todos los indicadores. 0 < Rx < 1. |
Fuente: José Fager
Finalmente, el estimador de confiabilidad Rx se obtiene combinando los indicadores de confiabilidad, como se muestra en el cuadro 2. Cada indicador se calcula y promedia; en particular, el indicador de citas se calcula y se le da un peso doble en el promedio final, ya que fue considerado el más importante en las entrevistas y grupos focales, lo que tiene un mayor impacto y refleja su importancia.
7. Resultados
Aquí se presenta en detalle un ejemplo concreto de cómo calcular la estimación de la confiabilidad de un artículo de Wikipedia y la validación del método.
7.1. Prueba empírica del estimador
Se describirá el cálculo de la confiabilidad de un artículo concreto: «Uruguay» (https://es.wikipedia.org/wiki/Uruguay). Sus datos se pueden ver en el cuadro 3. Fueron tomados el 10 de mayo de 2024 a las 15:22.
Cuadro 3: Datos del artículo «Uruguay»
| Dato | Valor | Descripción |
|---|---|---|
Px |
361 |
Cantidad de párrafos de x |
Ix |
180 |
Cantidad de imágenes de x |
Cx |
383 |
Cantidad de citas de x |
Vx |
248 |
Cantidad de versiones de x |
Wx |
37 531 |
Cantidad de palabras de x |
Sx |
1287 |
Cantidad de oraciones de x |
Fuente: José Fager
En primer lugar, se calculan los indicadores:
ISx= (Sx/Px)/(So/Po) = (1.287/361) / (491/74) = 0,537
ICx = (Cx/Px)/(Co/Po) = (383/361) / (192/74) = 0,409
IVx = Vx/Vo = (248/54) = 4,593; como es >1, entonces IVx = 1
IIx = (Ix/Px)/(Io/Po) (180/361) / (32/74) = 1,153; como es >1, entonces IIx = 1
IWx = e^-k|(Wx/Px)-(Wo/Po)| = e^-0,001|(37.531/361)-(13.470/74)| = 0,925
En segundo lugar, se calcula el estimador:
Rx = (IWx+ISx+IIx+IVx+ICx*2)/6 = (0,925+0,537+1+1+0,409*2)/6 = 0,713
Como Rx = 0,713, se extrapola a que la confiabilidad del artículo de Uruguay en la Wikipedia en español tiene una confiabilidad de aproximadamente 71 %.
7.2. Validación del estimador de confiabilidad
El objetivo de esta fase es validar el estimador de confiabilidad aplicándolo a varios artículos de Wikipedia en español y analizando los resultados. Para ello, tendremos en cuenta los AD, los BA y el resto de los artículos (AC), de modo que:
- Los AD son considerados los más confiables.
- Los BA son menos confiables que los AD.
- Los AC son menos confiables que los AD y los BA.
Por lo tanto, si Rx es coherente, debería generar valores que respalden esta jerarquía: Rx(AD) > Rx(BA) > Rx(AC).
Para demostrarlo, primero se va a tomar una muestra de cada tipo de artículos: AD, BA, AC. Para calcular el tamaño de la muestra se va a usar la fórmula del tamaño de la muestra conociendo el tamaño de la población (Martínez, 2012):
n = (N * Z2 * p * (1 - p)) / ((N - 1) * e2 + Z2 * p * (1 - p))
Para los tres casos (AD, BA y AC), los valores de p, Z y e son:
- p = 0,5: Representa la proporción esperada de la característica en la población. En este caso, se asume que la proporción esperada es del 50 %, lo que significa que se espera que la característica de interés esté presente en aproximadamente la mitad de la población (Martínez, 2012).
- Z = 2,58: Es el valor del nivel de confianza, basado en la distribución normal estándar. En este caso, indica un nivel de confianza del 99 %, lo que significa que seguramente los resultados estarán dentro del margen de error especificado (Martínez, 2012).
- e = 0,05: Es el margen de error permitido en la estimación. En este caso, el margen de error es del 5 %, lo que significa que los resultados de la muestra pueden diferir en hasta un 5 % de los resultados de la población total, dentro del nivel de confianza especificado (Martínez, 2012).
Estos valores se utilizan en la fórmula para determinar cuántas observaciones o elementos se necesitan para obtener resultados significativos y representativos de una población más grande, teniendo en cuenta la confianza deseada y el margen de error permitido.
Para los AD, N = 1303, por lo tanto, el tamaño de la muestra es: n = 441.
Para los BA, N = 3527, por lo tanto, el tamaño de la muestra es: n = 560.
Para los AC, N = 1 947 046, por lo tanto, el tamaño de la muestra es: n = 665.
Se toman 3 muestras aleatorias de AD, BA y AC, llamadas M1, M2 y M3, tal que:
M1= {AD1, …, ADi, …, AD441}, M2= {BA1, …, BAi, …, BA560} y M3= {AC1, …, ACi, …, AC665}
Se calcula para cada artículo de las muestras su Rx y luego el promedio para cada muestra:
PROM_AD = PROMEDIO{Rx(AD1), ..., Rx(ADi), ..., Rx(AD441)} = 0,79 ≈ 79 %
PROM_BA = PROMEDIO{Rx(BA1), ..., Rx(BAi), ..., Rx(BA560)} = 0,69 ≈ 69 %
PROM_AC = PROMEDIO{Rx(AC1), ..., Rx(ACi), ..., Rx(AC665)} = 0,41 ≈ 45 %
Como PROM_AD>PROM_BA>PROM_CA, QED. Los resultados no son causales, pero sí correlacionados y coherentes con la definición de AD, BA y CA.
8. Discusión
En esta sección, se presenta un análisis detallado de los resultados obtenidos al calcular la estimación de la confiabilidad del artículo «Uruguay» en Wikipedia en español. Cada indicador de confiabilidad se discutirá por separado, seguido de una evaluación general del estimador de confiabilidad Rx.
8.1. Indicador de oraciones por párrafo (ISx)
Un ISx de 0,537 indica que la densidad de oraciones en el artículo «Uruguay» es considerablemente menor que la del Ao. Este resultado sugiere que, en promedio, los párrafos en el artículo contienen menos oraciones que los del Ao. Una menor densidad de oraciones puede comprometer la coherencia y profundidad de un artículo, limitando la exploración adecuada de los temas y reduciendo tanto los detalles como las explicaciones presentadas. Este factor también puede afectar negativamente la legibilidad y el atractivo del contenido para los lectores (Murray, 2012).
8.2. Indicador de citas por párrafo (ICx)
Un ICx de 0,409 indica que la densidad de citas en el artículo «Uruguay» es significativamente menor que la del Ao. Dado que las citas son cruciales para verificar la información y asegurar su precisión, esta baja densidad podría sugerir que el artículo no está muy bien referenciado. Las citas son esenciales en trabajos académicos y enciclopédicos, ya que permiten verificar la autenticidad y exactitud de los datos. Una baja densidad de citas puede reducir la confianza de los lectores al no respaldar adecuadamente las afirmaciones del artículo, lo que también dificulta la validación de la información presentada (Haigh, 2011).
8.3. Indicador de versiones (IVx)
Dado que IVx es mayor que 1, se ajusta a 1. Esto sugiere que el artículo «Uruguay» tiene muchas versiones en diferentes idiomas, lo que es un indicador positivo de su relevancia y aceptación a nivel global. La existencia de múltiples versiones en diferentes idiomas sugiere que el artículo es de interés internacional y que ha recibido contribuciones de editores de diversas culturas, lo que enriquece la precisión, neutralidad y profundidad del contenido por incorporar perspectivas variadas y conocimientos especializados (Stvilia et al., 2008).
8.4. Indicador de imágenes por párrafo (IIx)
Dado que IIx es mayor que 1, se ajusta a 1. Esto sugiere que la densidad de imágenes en el artículo «Uruguay» es adecuada y comparable a la del Ao. La presencia de imágenes en un artículo enciclopédico no solo enriquece el contenido visualmente, sino que también aporta evidencia adicional y contexto, lo que facilita la comprensión del tema para los lectores (Kaplan y Haenlein, 2010). Una densidad de imágenes comparable a la del Ao indica que el artículo «Uruguay» incluye un número suficiente de imágenes para apoyar y complementar el texto, lo que mejora la experiencia del lector. Las imágenes pueden ser cruciales para ilustrar conceptos complejos y proporcionar ejemplos visuales que clarifiquen la información presentada.
8.5. Indicador de palabras por párrafo (IWx)
Un IWx de 0,925 indica que la densidad de palabras del artículo «Uruguay» es razonablemente similar a la del Ao, aunque no exactamente igual. Esto es un buen indicador de que el contenido tiene una extensión adecuada. La densidad de palabras es una métrica clave que refleja el promedio de palabras por párrafo, influyendo en la claridad y la fluidez del contenido (Adler y De Alfaro, 2007). El valor cercano al del Ao sugiere que el artículo «Uruguay» mantiene un equilibrio adecuado entre la cantidad de información y la legibilidad. Un contenido con una densidad de palabras bien ajustada asegura que los párrafos no sean demasiado breves ni excesivamente largos, lo que facilita la lectura y la comprensión del texto. Una densidad de palabras adecuada implica que el artículo proporciona suficiente detalle sin abrumar al lector con bloques de texto extensos. Este equilibrio es crucial para mantener el interés del lector y asegurar que la información se presente de manera clara y organizada.
8.6. Estimador de confiabilidad (Rx)
Un Rx de 0,713 sugiere que la confiabilidad del artículo «Uruguay» en Wikipedia en español es aproximadamente del 71 %. Este valor refleja una confiabilidad moderadamente alta, pero también indica áreas para mejorar, especialmente en la densidad de citas y oraciones.
La baja densidad de citas (ICx de 0,409) muestra que el artículo podría beneficiarse de más referencias verificables para validar la información. Además, la densidad de oraciones (ISx de 0,537) sugiere que los párrafos del artículo «Uruguay» podrían ser más detallados y cohesivos y proporcionar explicaciones más completas. Mejorar estos aspectos aumentaría la confiabilidad del artículo, haciéndolo más informativo y útil para los lectores.
9. Consideraciones finales
El estimador de confiabilidad propuesto ha mostrado consistencia en la evaluación de los diferentes tipos de artículos en Wikipedia en español, y logró identificar con precisión las diferencias en confiabilidad entre los artículos destacados, los buenos artículos y los artículos comunes. Los resultados indican que el estimador refleja adecuadamente la densidad de citas, imágenes y palabras, así como la cantidad de versiones, lo que confirma su capacidad para analizar de forma objetiva la confiabilidad de un artículo.
Los resultados muestran que los artículos destacados tienden a obtener una confiabilidad significativamente mayor que los buenos artículos y los artículos comunes, lo cual era un objetivo central del estudio. Este logro demuestra que el estimador puede ser una herramienta útil para evaluar la calidad de los artículos en Wikipedia en español, proporcionando una primera aproximación automatizada que permite a los usuarios obtener una evaluación rápida y precisa de la confiabilidad.
En relación con los objetivos planteados, el estudio ha cumplido con el objetivo general de desarrollar un método para estimar la confiabilidad de los artículos de Wikipedia. Además, los objetivos específicos, como la implementación de un sistema de benchmarking utilizando el artículo cero y la comparación de artículos de Wikipedia en español, se han logrado con éxito. Estos resultados refuerzan la utilidad del estimador como herramienta educativa para promover la alfabetización informacional y el pensamiento crítico en la evaluación de fuentes digitales.
Si bien se han identificado algunas limitaciones, como la falta de consideración de la calidad de las fuentes citadas o los posibles sesgos en el contenido, el estimador propuesto ofrece una base sólida para futuras investigaciones. En particular, la implementación de técnicas de procesamiento del lenguaje natural y la mejora del análisis de las fuentes podrían incrementar la precisión del estimador en futuras versiones.
En resumen, el presente trabajo no solo ha desarrollado una herramienta capaz de estimar la confiabilidad de los artículos de Wikipedia en español, sino que también ha sentado las bases para su aplicación en entornos educativos. El logro de los objetivos planteados y la consistencia de los resultados alcanzados demuestran que este estimador tiene el potencial de ser una herramienta valiosa en la evaluación de fuentes de información en la era digital.