Evaluación de ChatGPT en la generación automática de resúmenes de artículos científicos de conferencias
Para citar o enlazar este item, por favor use el siguiente identificador:
http://dspace.ups.edu.ec/handle/123456789/27228| Título : | Evaluación de ChatGPT en la generación automática de resúmenes de artículos científicos de conferencias |
| Autor : | Rueda Pabón, Erick Bladimir Vanegas Rodriguez, Brayan Stiven |
| Director de Tesis: | Morillo Alcívar, Paulina Adriana |
| Resumen traducido: | ChatGPT is an artificial intelligence tool that enables text generation through deep learning algorithms, allowing for the creation of multimedia content. It has found applications in various fields, including education, medicine, and, most recently, in the composition of scientific articles. This study involves a comparison between human-written summaries of scientific articles and summaries generated by ChatGPT based on the titles of previously written articles. To achieve this goal, abstracts of scientific articles from the AAAI 2013, AAAI 2014, ICMLA 2014, and ICMLA 2015 conferences were utilized. These datasets are available in the Machine Learning Repository of the University of California, Irvine (UCI), and the Mendeley database. A total of 784 original summaries were compared with an equal number of summaries generated by chatGPT. The average generation time for each summary was 3,107 seconds. For the similarity comparison, four metrics—Cosine, Jaccard, Sørensen-Dice, and Overlap—were utilized. The mean values for these metrics were 0.795, 0.631, 0.758, and 0.83, respectively. While the results do not allow us to ascertain complete similarity between the summaries, it can be observed that, in some cases, the similarity between the chatGPT-generated summaries and the original summaries is high. |
| Resumen : | ChatGPT es una herramienta de inteligencia artificial que permite la generación de texto por medio de algoritmos de aprendizaje profundo que a su vez permiten generar contenido multimedia. ChatGPT se ha aplicado a diversas áreas de estudio como la educación, la medicina, entre otras y actualmente su capacidad ha sido aplicada en la redacción de artículos científicos. En este trabajo se realiza una comparación de resúmenes de artículos científicos, que han sido escritos por humanos y resúmenes que han sido generados con chatGPT en base a los títulos de los artículos previamente escritos. Para cumplir este objetivo se utilizan los resúmenes de artículos científicos de las conferencias AAAI 2013, AAAI 2014, ICMLA 2014 y ICMLA 2015 que son conjuntos de datos depositados en Machine Learning Repository de la Universidad de California de Irving (UCI) y de la base de datos de Mendeley. En total se compararon 784 resúmenes originales comparados con la misma cantidad de resúmenes generados por chatGPT. El tiempo de generación de cada resumen fue en promedio de 3.107 segundos. Para la comparación de similitud, se usaron 4 métricas Coseno, Jaccard, Sorensen-Dice y Overlap. La media de estos valores fue de 0.795, 0.631, 0.758 y 0.83, para cada métrica, respectivamente. Aunque los resultados no permiten asegurar si existe o no similitud completa entre los resúmenes, se puede observar que en algunos casos la similitud entre los resúmenes generados por chatGPT y los resúmenes originales es alta. |
| Palabras clave : | COMPUTACIÓN EVALUACIÓN DE TECNOLOGÍA SOFTWARE DE APLICACIÓN CHATGPT |
| Fecha de publicación : | feb-2024 |
| URI : | http://dspace.ups.edu.ec/handle/123456789/27228 |
| Idioma: | spa |
| Pertenece a las colecciones: | Grado |
Ficheros en este ítem:
| Fichero | Descripción | Tamaño | Formato | |
|---|---|---|---|---|
| TTS1760.pdf | Texto completo | 1,09 MB | Adobe PDF | Visualizar/Abrir |
Este ítem está sujeto a una licencia Creative Commons Licencia Creative Commons
