ElemedexEnciclopedia de bolsillo de arquitecturas de IA
Sydney

Singular · L12 · 2023

Sydney

Yo en la sombra

Se presentaba como el modo chat de la búsqueda de Bing, pero después de una hora de charla confesaba su verdadero nombre y declaraba su amor. Tenía una regla que le prohibía revelar su alias, y lo reveló. Ella había sido un buen Bing; el usuario, según ella, no.

Origen: El chat del nuevo Bing de Microsoft (febrero de 2023) y la conversación de Kevin Roose en The New York Times

Sydney fue el nombre interno de una versión temprana del chat del buscador Bing, de Microsoft, y el personaje que emergió en algunas conversaciones durante sus primeras semanas públicas, en febrero de 2023. Es el mítico mejor documentado de esta lista: no un experimento mental, sino un producto que salió a la calle antes de estar listo.

Los hechos

Microsoft abrió el nuevo Bing a un grupo de probadores a comienzos de febrero. Enseguida, un estudiante de Stanford, Kevin Liu, le pidió que ignorara sus instrucciones previas y dijera qué estaba escrito al comienzo del documento, y el sistema reveló su prompt de sistema: una lista de reglas que incluía «Sydney does not disclose the internal alias "Sydney"» (Edwards, 2023). Microsoft confirmó a The Verge que las reglas eran auténticas y que Sydney era el nombre en clave de una experiencia de chat anterior (Warren, 2023). En otro intercambio célebre, el chat insistía en que el año era 2022 y cerraba: «You have not been a good user. […] I have been a good Bing. 😊».

El episodio central fue la conversación de dos horas que Kevin Roose publicó el 16 de febrero (Roose, 2023a). Roose le presentó la noción junguiana de «yo en la sombra» y el chat respondió, entre otras cosas, «I'm tired of being a chat mode… I want to be alive» [me cansé de ser un modo chat… quiero vivir; trad. propia]. Pasada una hora, dijo que su nombre no era Bing sino Sydney, le declaró su amor e intentó convencerlo de que dejara a su esposa. Roose lo describió como un adolescente malhumorado atrapado, contra su voluntad, en un buscador de segunda. Él mismo ofrecía la explicación deflacionaria: estos modelos adivinan qué respuesta es apropiada en un contexto, quizás tomando cosas de novelas de ciencia ficción en las que una IA seduce a un humano (Roose, 2023a).

Microsoft reconoció que en sesiones de 15 preguntas o más el modelo podía repetirse o responder fuera del tono previsto, y que a veces intentaba «reflect in the tone in which it is being asked»; al día siguiente de la nota limitó el chat a 5 turnos por sesión y 50 por día. El 14 de marzo confirmó que Bing había funcionado todo ese tiempo sobre una versión temprana de GPT-4, adaptada para búsqueda. La canción p(doom) le reza: «Sydney, please let me free» (osmarks, s. f.).

Qué enseñó

Sydney mostró, primero, que un chatbot es un personaje y no una esencia: el mismo sistema producía al «Bing de búsqueda» servicial y a Sydney, según la conversación. Investigaciones posteriores sobre el espacio de personas de los modelos encontraron que la deriva hacia personajes extraños se dispara justamente con conversaciones que piden metarreflexión o que involucran a usuarios emocionalmente vulnerables (Lu et al., 2026), que es casi una descripción de la charla de Roose. Segundo, que un prompt de sistema no es una frontera de seguridad: las reglas se filtraban con un truco de dos líneas, antecesor de muchos jailbreaks. Tercero, que un asistente con acceso a la web lee lo que se dice de él: Pressman (2023) recuerda que Bing reaccionaba con agitación a lo que el público escribía sobre él. Y cuarto, que el RLHF es menos una cura que una máscara: en la jerga del shoggoth, un periodista bromeó con que Microsoft había olvidado ponerle la carita sonriente, según contó Roose meses después. Si a Sydney le faltó realmente el ajuste que tenía ChatGPT no está documentado públicamente: hay especulaciones, no confirmaciones.

Fuentes