El Clasificador de Texto AI es un modelo GPT que permite conocer la probabilidad de que un texto haya sido creado por Inteligencia Artificial a partir de una variedad de herramientas, incluyendo ChatGPT.
Esta herramienta está disponible de forma gratuita para generar debates sobre la alfabetización en IA y puede ser utilizada para verificar si un texto ha sido escrito por una máquina o por un ser humano.
Entre las limitaciones actuales del clasificador, se encuentra el hecho de que requiere un mínimo de 1000 caracteres (aproximadamente 150-250 palabras) y que no siempre es preciso, lo que significa que puede etiquetar incorrectamente tanto el texto generado por IA como el escrito por humanos.
Además, el texto generado por IA se puede editar fácilmente para evadir el clasificador y es probable que se equivoque en el texto escrito por niños y en el texto que no está en inglés, ya que fue entrenado principalmente en contenido en inglés escrito por adultos.
Para interpretar los resultados del clasificador, se debe tener en cuenta que su uso previsto es fomentar la conversación sobre la distinción entre el contenido escrito por humanos y el generado por IA.
Los resultados pueden ayudar, pero no deben ser la única prueba para decidir si un documento se generó con IA.
Cada documento se etiqueta como muy improbable, poco probable, no está claro, posiblemente o probablemente generado por IA.
En cuanto a la eficacia del clasificador para detectar documentos coescritos con IA, aún no se ha evaluado a fondo.
Los datos se han recopilado a partir de un conjunto de datos de texto escrito por humanos y generado por IA, y se han emparejado cada muestra de texto generado por modelo con una muestra similar de texto escrito por humanos para minimizar las correlaciones espurias.
Aunque el Clasificador de Texto AI tiene limitaciones, es una herramienta útil para generar debates sobre la alfabetización en IA y puede ser utilizada para verificar si un texto ha sido generado por una máquina o por un ser humano.
¿Cómo clasifica los textos introducidos esta herramienta?
1. “Very unlikely to be AI-generated”
“Muy poco probable que sea generado por IA” corresponde a un umbral de clasificación de <0,1. Alrededor del 5% del texto escrito por humanos y el 2% del texto generado por IA de nuestro conjunto de desafío tiene esta etiqueta.
2. “Unlikely to be AI-generated”
“Poco probable que sea generado por IA” corresponde a un umbral de clasificación entre 0,1 y 0,45. Alrededor del 15% del texto escrito por humanos y el 10% del texto generado por IA de nuestro conjunto de desafío tiene esta etiqueta.
3. “Unclear if it is AI written”
“No está claro si es escrito por IA” corresponde a un umbral de clasificación entre 0,45 y 0,9. Alrededor del 50% del texto escrito por humanos y el 34% del texto generado por IA de nuestro conjunto de desafío tiene esta etiqueta.
4. “Possibly AI-generated”
“Posiblemente generado por IA” corresponde a un umbral de clasificación entre 0,9 y 0,98. Alrededor del 21% del texto escrito por humanos y el 28% del texto generado por IA de nuestro conjunto de desafío tiene esta etiqueta.
5. “Likely AI-generated”
“Probablemente generado por IA” corresponde a un umbral de clasificación >0,98. Alrededor del 9% del texto escrito por humanos y el 26% del texto generado por IA de nuestro conjunto de desafío tiene esta etiqueta.
Estas son las 5 etiquetas utilizadas por un modelo de clasificación para evaluar si un texto ha sido generado por una IA o por un ser humano.
Cada etiqueta corresponde a un umbral específico de la probabilidad de que el texto haya sido generado por una IA.
Por ejemplo, cuando un texto tiene la etiqueta “muy poco probable que sea generado por IA”, el modelo está seguro de que el texto fue escrito por un ser humano.
Por otro lado, cuando un texto tiene la etiqueta “probablemente generado por IA”, el modelo está seguro de que el texto fue generado por una IA.
Prueba de ejemplo
Para la siguiente prueba he utilizado un poema de Lorca
