🤖¿Te atreves a utilizar empleados con IA? Una experiencia de prácticas protagonizada por Google Gemini

Tabla de contenido

Prefacio: ¿Es la IA el “becario modelo” que todos imaginan?

Cuando una pequeña o mediana empresa comienza a expandirse, el primer problema al que se enfrenta normalmente no es el mercado o el producto, sino la falta de personal. Imagínate que hoy eres el responsable de esta empresa. Es posible que tengas que realizar tres tareas: responder a los clientes, redactar textos y gestionar las opiniones de los clientes al mismo tiempo.
Y en medio de estas tareas tediosas pero importantes, empiezas a escuchar acerca de un nuevo ayudante que podría cambiar la forma en que haces tu trabajo: la Inteligencia Artificial, o más específicamente: los Grandes Modelos de Lenguaje (LLMs).

Estas herramientas de IA se presentan como soñadoras y afirman poder ayudar a redactar textos, traducir idiomas, resumir los comentarios de los clientes e incluso responder a problemas de servicio al cliente en tiempo real. Suena como un pasante virtual que nunca necesita descansar, tiene una memoria increíble, habla varios idiomas y está siempre en línea y de guardia. Un rol así puede parecer muy atractivo para los jefes, pero también genera curiosidad: ¿este “pasante de IA” está realmente preparado para participar en las operaciones reales de la empresa?

Para responder a esta pregunta, tres investigadores de la Universidad de Hull y la Universidad de Bradford en el Reino Unido - Julius Sechang Mboli, John GO Marko y Rose Anazin Yemson - decidieron realizar un experimento. Le pidieron a la inteligencia artificial conversacional "Gemini" de Google (anteriormente BARD) que le asignara una tarea aparentemente simple pero en realidad crítica: simplificar las reseñas de los clientes de Disneyland.
Estos comentarios provienen de diferentes regiones del mundo, con diversos estilos de lenguaje y emociones fuertes, lo que es una buena manera de probar si la IA puede realmente "entender" el significado, seleccionar los puntos clave y transformarlos en contenido más claro y útil. Esto es básicamente lo que hace un pasante normal.

A primera vista, esta tarea parece pedir a los pasantes que ayuden a organizar registros de servicio al cliente y resaltar puntos clave, pero en realidad es una prueba de la fortaleza de la tecnología de procesamiento del lenguaje natural (PLN). Desde la comprensión semántica y la reestructuración de oraciones hasta la prevención de malentendidos o malas traducciones, este experimento le dio a la IA una "aceptación práctica" para verificar si puede manejar las tareas importantes en la comunicación corporativa.

El artículo de hoy lo llevará a través de la perspectiva de esta investigación y verá cómo se desempeñó realmente este pasante de IA. Desde la perspectiva de la empresa, reexaminaremos si la IA puede realmente convertirse en un buen asistente en el trabajo de texto y exploraremos sus ventajas y limitaciones en profundidad. ¿Estás listo? Echemos un vistazo a lo que sucedió el primer día de trabajo de Géminis.

Enlaces de investigación a los que se hace referencia en este artículo: ¿Están los modelos de lenguaje de gran tamaño preparados para la integración empresarial? Un estudio sobre la adopción de la IA generativa

¿Qué son los modelos de lenguaje grandes? Como un asistente de biblioteca y un escritor improvisado

El nombre Large Language Model (LLM) suena un poco lejano, pero si utilizamos una metáfora, es como un asistente que está siempre de guardia en la biblioteca, recordando cada frase que has dicho y puede ayudarte a componer un nuevo contenido en cualquier momento.

Para ser más específico, este asistente no "entiende" realmente lo que estás diciendo, sino que "predice" lo que dirás a continuación y lo que quieres escuchar contando la probabilidad de ocurrencia de una gran cantidad de idiomas. Al igual que cuando dices "Por favor, simplifica este comentario", buscará en su cerebro todas las oraciones simplificadas que haya visto antes y luego combinará el contexto para armar una respuesta aparentemente razonable.

Para dar un ejemplo más intuitivo, si la escritura humana es "comprensión internalizada seguida de resultado", entonces la creación de un LLM es más como un "juego en cadena", donde encuentra posibles componentes en un pajar y luego los reorganiza para formar un párrafo de texto. Esta capacidad proviene del hecho de que absorbió una gran cantidad de información en línea durante la fase de entrenamiento (leyó toda Wikipedia, noticias, Reddit y revisiones de productos), pero no tiene un verdadero juicio de sentido común.

Comienza el experimento: pide a la IA que ayude a simplificar 40.000 reseñas de clientes de Disneyland

La investigación fue como una primera tarea para el pasante de IA: procesar más de 42.000 reseñas dejadas por clientes de Disneyland y simplificarlas. Estas reseñas provienen de clientes de diferentes regiones alrededor del mundo y el lenguaje utilizado varía mucho: algunas son emocionadas, otras son emotivas y otras son desorganizadas. Si las empresas pueden transformar estos comentarios en información concisa y útil, será de gran ayuda para el marketing, el servicio al cliente y el diseño de productos.

El método experimental es muy práctico. Los investigadores diseñaron un diagrama de flujo de automatización robótica de procesos (RPA):
Primero, use un programa Python para leer cada reseña original, luego envíe un mensaje fijo "Simplificar: texto de la reseña" a través de la API proporcionada por Google Gemini y luego reciba la versión simplificada enviada por la IA. También establecen un retraso de 60 segundos entre cada solicitud porque procesar demasiadas a la vez podría confundirse con abuso.

A primera vista, este proceso parece simple: envía un comando y la IA te dará una versión simplificada del mensaje.
Pero en realidad, cada solicitud de API es como llevar a un "nuevo pasante que no sabe nada sobre la empresa" a la sala de conferencias, entregarle un mensaje de un cliente y luego pedirle que diga inmediatamente una versión más simple pero concisa sin ningún conocimiento previo.

La IA no simplemente “traduce” el lenguaje, sino que requiere un proceso más complejo de tres pasos:
En primer lugar, debe ser capaz de comprender el significado original (comprensión semántica); En segundo lugar, debe determinar qué información conservar y cuál omitir (reorganización de la información); Por último, debe reescribirlo en una oración natural y fluida (generación de oraciones).

En otras palabras, no se trata de pedirle a la IA que haga una conversión palabra por palabra, sino pedirleComo un experto en comunicación que entiende palabras y emociones., le ayudará a "digerir y absorber" un fragmento de conversación con un cliente y convertirlo en una versión más clara y fácil de entender. En realidad esto no es nada fácil para la IA.

¿Cómo están funcionando las prácticas en IA? El 70% del tiempo, el 30% del tiempo equivocados, y se harán los tontos.

El resultado final fue que, de 42.000 registros, la IA simplificó con éxito aproximadamente 3.324 revisiones, o menos de 8%. De éstos, aproximadamente tres cuartas partes parecían razonables, mientras que el resto estaban equivocados o "se negaron a responder".

Podemos imaginar que el pasante de IA procesa las reseñas como si escuchara una queja de un cliente y luego informara un resumen de la misma al jefe. Lo ideal sería decir: “Está bien, déjame ayudarte a ordenar un poco: este cliente pensó que el lugar era bonito, pero había demasiada gente”. Aquí es donde mayormente tiene éxito: el tono es firme, el significado es claro y, a veces, agrega una oración: "Espero que esto te ayude".

Pero cuando algo sale mal, es como un pasante que de repente se distrae durante las horas de trabajo, pretende saber algo o dice "No sé cómo hacer esto". Algunas respuestas de error tienen formatos confusos, mientras que otras simplemente dicen: "Solo soy un modelo de lenguaje, no puedo ayudarte". Lo que es más interesante es que los comentarios con la misma estructura obtendrán resultados diferentes en diferentes situaciones: en un caso dice que ayudará, pero en el siguiente dice que no puede ayudar. Esta inconsistencia hace que la gente se pregunte si está de mal humor. XD

Estas situaciones reflejan que LLM no siempre es una herramienta computacional estable. No es como Excel que siempre sigue fórmulas, sino más bien como un "robot que puede escribir poesía". A veces está lleno de inspiración y a veces comete errores. Es difícil para nosotros predecir cuál será la próxima vez.

¿Cómo sabe un supervisor si la IA ha hecho un buen trabajo? La similitud semántica es clave

Entonces, ¿estos resultados simplificados realmente “se conjugan”? Los investigadores utilizaron una herramienta técnica llamada "similitud semántica" para evaluar. El principio de esta herramienta es como comparar si los "ángulos de significado" del discurso de dos personas son consistentes, en lugar de simplemente comparar si las palabras son las mismas.

Utilizaron un modelo llamado Sentence-BERT (SBERT), que puede convertir un fragmento de texto en un "vector", que es un punto de coordenadas matemático. A continuación, utilizamos la "similitud de coseno" para calcular el ángulo entre los dos párrafos. Si los ángulos de los dos párrafos son cercanos, significa que los significados son consistentes; Si los ángulos se desvían, significa que los significados son diferentes.

Es como si dijeras: “Esta película me conmovió mucho” y la IA respondiera: “La película fue buena, derramé algunas lágrimas”. El significado está cerca; pero si dice, “No me gustan las palomitas de maíz, son demasiado dulces”, eso está completamente fuera de tema.

A través de tales comparaciones, el estudio encontró que muchas de las respuestas de la IA conservaron la esencia del significado, pero algunas versiones simplificadas fueron "demasiado simplificadas", lo que provocó que se eliminaran las emociones y los detalles originales, volviéndolas vacías y sin sentido.

¿Pueden entonces las empresas delegar trabajo en la IA? Depende de cómo lo uses.

Este experimento muestra que la IA es como un nuevo pasante cuyo desempeño aún es inestable. Si se desempeña bien, realmente puede ayudarle a ahorrar mucho tiempo y convertir rápidamente los comentarios de los clientes en información específica; Pero cuando su desempeño es deficiente, puede malinterpretar el tono del cliente, perder el punto o incluso decir tonterías.

Si los dueños de negocios realmente quieren integrar IA en sus procesos en el futuro, se recomienda establecer un mecanismo de "co-revisión hombre-máquina": dejar que la IA sea responsable de la edición preliminar y los humanos sean responsables de la revisión final. Sólo a través de este tipo de cooperación podemos combinar la eficiencia de la IA con el juicio humano para lograr los mejores resultados.

Las empresas no pueden esperar que la IA haga las cosas bien, tal como no dejarían que un pasante firme un contrato solo. El enfoque realmente inteligente es dejar que la IA lo ayude a manejar primero el trabajo repetitivo de 80% y luego concentrar su energía en el 20% más crítico.

Conclusión: la IA es un estudiante, no un profesor. Necesitas saber cómo guiarlo.

La lección que se desprende de este estudio es que, si bien la IA es poderosa, todavía no es omnipotente. Debido a las limitaciones técnicas y la naturaleza del LLM, es más como un estudiante en crecimiento, no todavía un profesor o supervisor que puede hacerse cargo de todo por su cuenta. Puede ayudarle a acelerar el proceso y brindar inspiración, pero no puede reemplazar el juicio humano ni la sofisticación de la comunicación.

Cuando debatimos "¿Está la IA lista para entrar al mundo empresarial?", lo que en realidad deberíamos pensar es: "¿Estamos listos para usar la IA correctamente?" Esta es la clave para promover la implementación exitosa de la IA.

La IA es una herramienta, un socio e incluso un miembro del equipo. Si se utiliza correctamente, puede hacer que las pequeñas y medianas empresas sean tan eficientes como las grandes empresas; Pero si se usa incorrectamente, también puede hacer que caigas en una niebla de información, malinterpretes a los clientes y pierdas oportunidades.

En lugar de preguntarnos “¿Puede la IA reemplazarme?”, deberíamos preguntarnos “¿Puedo usar la IA para volverme más fuerte que antes?”

Informes relacionados

Conozca las acciones estadounidenses en 5 minutos》 ¿Qué hace NVIDIA? ¿Cómo convertirse en el número uno del mundo en tarjetas gráficas?

Criticado por utilizar mano de obra explotadora, ¿cómo se convirtió Scale AI en un unicornio en la industria de anotación de datos?