IA para salvar la lengua minoritaria maorí en Nueva Zelanda

May 5, 2022 El Mundo , Noticias

En un remoto pueblo rural de Nueva Zelanda, una pareja indígena desafía el concepto de lo que podría ser la IA y a quién debería servir.

En el almacén de un edificio viejo y gris de la región más al norte de Nueva Zelanda, uno de los ordenadores más avanzados para la inteligencia artificial (IA) ayuda a redefinir el futuro de la tecnología.

Te Hiku Media, la emisora de radio maorí sin ánimo de lucro que dirige la pareja Peter-Lucas Jones y Keoni Mahelona, compró la máquina con un 50% de descuento. El objetivo de la compra era entrenar sus propios algoritmos de procesamiento de lenguaje natural, algo que representa la parte central del sueño de estas dos personas de revitalizar el idioma maorí controlando los datos de su comunidad.

Mahelona es hawaiano y se instaló en Nueva Zelanda después de enamorarse del país, pero resalta la ironía de la situación. “El ordenador está sorprendentemente en un estante en Kaitaia, un pueblo rural abandonado con un alto nivel de pobreza y una gran población indígena. Supongo que estamos un poco fuera del radar”, indica Mahelona.

El proyecto supone un cambio radical en la forma en la que normalmente opera la industria de la IA. Durante la última década, los investigadores de IA han llevado la disciplina a nuevos límites con el dogma “más es más”: acumular mayor cantidad de datos para producir modelos más grandes (algoritmos entrenados con dichos datos) para obtener mejores resultados.

Ese enfoque ha llevado a avances notables, pero también a costes. Las empresas aprovechan constantemente rostros, voces y comportamientos de personas para enriquecer los resultados finales. Los modelos creados a través de los datos promedio de poblaciones enteras han dejado fuera a comunidades minoritarias y marginadas, a pesar de que ellas están desproporcionadamente sujetas a los impactos de la tecnología.

En los últimos años, un creciente número de expertos se ha ido sumando al argumento de que estos impactos repiten patrones de la época colonial. El avance global de la IA, según ellos, está empobreciendo a las comunidades y países que no tienen voz en su desarrollo, las mismas comunidades y países que ya estaban empobrecidos por los antiguos imperios coloniales.

Esto ha sido especialmente evidente en el caso de la inteligencia artificial y el lenguaje. El dogma “más es más” ha creado grandes modelos de lenguaje con poderosas capacidades de autocompletado y análisis de texto que se utilizan en muchos servicios cotidianos como búsquedas, correo electrónico y redes sociales. Pero estos modelos, generados gracias a la absorción de grandes extensiones de internet, también aceleran la pérdida del uso de idiomas, tal y como lo habían hecho antes las políticas de la colonización y asimilación.

Solo los idiomas más comunes tienen suficientes hablantes, y suficiente potencial de ganancias, como para que las Big Tech recopilen los datos necesarios para respaldarlos. Depender de tales servicios en el trabajo y la vida diaria obliga a algunas comunidades a utilizar lenguas dominantes en lugar de la suya propia.

“Los datos son la última frontera de la colonización”, opina Mahelona.

Al recurrir a la IA para ayudar a revitalizar el idioma maorí te reo, Mahelona y Jones (que es maorí) querían hacer las cosas de otra manera. Superaron las limitaciones de los recursos para desarrollar herramientas de IA en su propia lengua y crearon los mecanismos para recopilar, gestionar y proteger el flujo de datos maoríes para que no se utilicen sin el consentimiento de la comunidad o, lo que es peor, de formas en las que perjudiquen a su gente.

Mientras muchos en Silicon Valley se enfrentan a las consecuencias del desarrollo de la IA en la actualidad, el enfoque de Jones y Mahelona podría señalar el camino hacia una nueva generación de inteligencia artificial, que no trate a las personas marginadas como meros sujetos de datos, sino como co-creadores de un futuro compartido.

Igual que muchas lenguas indígenas a nivel mundial, el declive de te reo maorí comenzó con la colonización.

A partir de que en 1840 los británicos reclamaran Aotearoa, el nombre de Nueva Zelanda en te reo, el inglés empezó a ser, por a poco, la lengua franca de la economía local. En 1867, la Ley de Escuelas Nativas lo convirtió en el único idioma de enseñanza para los niños maoríes, como parte de una política más amplia de asimilación. Las escuelas comenzaron a avergonzar e incluso golpear físicamente a los alumnos maoríes que intentaban hablar en te reo.

En las décadas siguientes, la urbanización dividió a las comunidades maoríes, lo que debilitó los centros de preservación del idioma y de la cultura. Muchos maoríes también decidieron irse en busca de mejores oportunidades económicas. En una generación, la proporción de hablantes de te reo de la población maorí se desplomó del 90 % al 12 %.

En la década de 1970, alarmados por este rápido declive, los líderes y activistas de la comunidad maorí lucharon para cambiar esa tendencia. Crearon escuelas de inmersión lingüística para niños y programas de aprendizaje para adultos. Protestaban en las calles para exigir que el te reo tuviese el mismo estatus que el inglés.

En 1987, 120 años después de apoyar activamente su supresión, el Gobierno por fin aprobó la Ley del idioma maorí que reconocía el te reo como lengua oficial. Tres años más tarde, comenzó a financiar la creación de emisoras de radio iwi, o tribales, como Te Hiku Media, para hablar el te reo en la esfera pública y aumentar su accesibilidad.

Muchos maoríes con los que he hablado se identifican como parte de la comunidad, dependiendo si sus padres o abuelos hablaban te reo maorí o no. Se considera un privilegio haber crecido en un entorno con acceso a la transmisión intergeneracional del lenguaje.

Este es el estándar de oro para la preservación del idioma: aprender siendo niño a través de la exposición diaria. El aprendizaje en un entorno académico siendo adolescente o adulto no solo resulta más difícil. Un libro de texto a menudo enseña solo una versión general o “estándar” de te reo a pesar de que cada iwi, o tribu, tiene su acento único, expresiones idiomáticas e historias regionales arraigadas.

La lengua, en otras palabras, es algo más que una herramienta de comunicación. Codifica una cultura mientras se transmite de padres a hijos, de hijos a nietos, y evoluciona a través de quienes la hablan y entienden su significado. También influye cómo recibe otras influencias, crea relaciones, visiones del mundo e identidades. “Es la forma en la que pensamos y cómo nos expresamos los unos con los otros”, señala otro tecnólogo indígena Michael Running Wolf, que utiliza la IA para revivir un idioma que desaparece rápidamente.

“Los datos son la última frontera de la colonización”.

Keoni Mahelona

Preservar una lengua es, por lo tanto, conservar una historia cultural. Pero especialmente en la era digital, hay que vigilar constantemente para evitar que un idioma minoritario siga una trayectoria descendente de uso. Cada nuevo espacio de comunicación que no lo prohíbe obliga a los hablantes a tener que elegir entre usar una lengua dominante o renunciar a oportunidades en la cultura más amplia.

“Si estas nuevas tecnologías solo hablan idiomas occidentales, acabamos excluidos de la economía digital”, explica Running Wolf. “Y si no pueden funcionar en la economía digital, va a ser muy difícil que nuestros idiomas prosperen“.

Con la llegada de la inteligencia artificial, la revitalización de las lenguas se encuentra en una encrucijada. No obstante, la tecnología puede codificar aún más la supremacía de las lenguas dominantes, o puede ayudar a los idiomas minoritarios a entrar en los espacios digitales. Esta es la oportunidad que han aprovechado Jones y Mahelona.

Mucho antes de que se embarcaran en este viaje, Jones y Mahelona se conocieron en una barbacoa organizada como reunión de los miembros de su club de natación en Wellington (Nueva Zelanda). Los dos se entendieron muy bien de inmediato. Mahelona llevó a Jones a dar un largo paseo en bicicleta. “El resto es historia”, señala Mahelona.

En 2012, la pareja regresó a la ciudad natal de Jones, Kaitaia, donde Jones se convirtió en el CEO de Te Hiku Media. Por ser tan lejana, esta región sigue siendo una de las más empobrecidas económicamente de Aotearoa pero, del mismo modo, su población maorí se encuentra entre las mejor protegidas del país.

Durante sus más de 20 años de transmisión, Te Hiku ha acumulado un rico archivo de materiales de audio en te reo. La colección incluye una grabación de la abuela de Jones, Raiha Moeroa, nacida a finales del siglo XIX, cuyo te reo permaneció prácticamente intacto y sobrevivió la influencia colonial.

Jones vio la oportunidad de digitalizar el archivo y crear un equivalente más moderno de la propagación intergeneracional del lenguaje. La mayoría de los maoríes ya no viven con sus iwis y no tienen parientes cercanos para escuchar diariamente el te reo. No obstante, con una biblioteca digital, podrían oír el te reo de los ancianos cuando y donde quisieran.

Las tribus maoríes locales le dieron a Jones su permiso para continuar, pero necesitaba un lugar para alojar los materiales online. Ni a él ni a Mahelona les gustó la idea de subirlos a Facebook o Youtube. Los gigantes tecnológicos así tendrían una licencia para hacer lo que quisieran con los valiosos datos.

(Unos años más tarde, las empresas empezaron a trabajar con los hablantes de maorí para adquirir dichos datos. Duolingo, por ejemplo, quiso crear herramientas de aprendizaje de idiomas que luego se podrían comercializar entre la comunidad maorí. “Nuestros datos se iban a utilizar por parte de las mismas personas que nos habían quitado esa lengua para vendérnosla de vuelta como un servicio“, resalta Jones. “Es como apropiarse de nuestra tierra y volver a hacernos pagar por ella”, agrega Mahelona).

La única alternativa era que Te Hiku construyera su propia plataforma de alojamiento digital. Con su experiencia en ingeniería, Mahelona aceptó liderar el proyecto y se unió como CTO.

La plataforma digital se convirtió en el primer gran paso de Te Hiku para establecer la soberanía de los datos, una estrategia en la que las comunidades buscan el control de sus propios datos en un esfuerzo por asegurar el control sobre su futuro. Para los maoríes, el deseo de tal autonomía tiene sus raíces en la historia, indica el cofundador de la red de soberanía de datos maoríes Tahu Kukutai. En los primeros censos coloniales, después de una serie de guerras devastadoras en las que habían matado a miles de maoríes confiscando sus tierras, los británicos estuvieron recopilando datos sobre el número de tribus para comprobar el éxito de las políticas de asimilación del Gobierno.

La soberanía de los datos es, por lo tanto, el último ejemplo de resistencia indígena: contra los colonizadores, contra el estado-nación y ahora contra las grandes empresas tecnológicas. “La nomenclatura puede ser nueva, el contexto también, pero se basa en una historia muy antigua”, señala Kukutai.

En 2016, Jones se embarcó en un nuevo proyecto: entrevistar a los hablantes de te reo nativos de 90 años antes de que su idioma y sus conocimientos se perdieran para las futuras generaciones. Jones quería crear una herramienta que mostrara la transcripción junto a cada entrevista. Aquellos que querían aprender te reo podrían entonces desplazarse sobre las palabras y expresiones para ver sus definiciones.

Pero pocas personas dominaban el idioma lo suficiente como para transcribir manualmente el audio. Inspirándose en los asistentes de voz como Siri, Mahelona empezó a investigar el procesamiento del lenguaje natural. “Enseñar al ordenador a hablar maorí se volvió absolutamente necesario”, afirma Jones.

Pero Te Hiku se enfrentó al problema del huevo y la gallina. Para construir un modelo de reconocimiento de voz en te reo, se necesitaba una gran cantidad de audio transcrito. Pero, para transcribir el audio, necesitaba a los hablantes avanzados que ya eran pocos, razón que ya se estaba intentando compensar en primer lugar. No obstante, había muchos hablantes principiantes e intermedios que podían leer las palabras del te reo en voz alta mejor de lo que podían reconocerlas en una grabación.

Entonces, Jones y Mahelona, junto con la directora de operaciones de Te Hiku, Suzanne Duncan, idearon una solución inteligente: en lugar de transcribir el audio existente, pedían a las personas que grabaran su voz leyendo una serie de frases diseñadas para capturar la gama completa de sonidos del idioma. Para un algoritmo, el conjunto de datos resultante cumpliría la misma función. Por lo tanto, el modelo aprendería a reconocer las sílabas de te reo en audio a partir de esas miles de frases habladas y escritas.

El equipo anunció una competición. Jones, Mahelona y Duncan se pusieron en contacto con todos los grupos de la comunidad maorí que pudieron encontrar, incluidas las compañías de danza tradicional kapa haka y los equipos de carreras de canoas waka ama, y les explicaron que el que enviara la mayor cantidad de grabaciones ganaría el primer premio de 5.000 dólares (4.760 euros).

Toda la comunidad se movilizó. El concurso parecía muy reñido. Un miembro de la comunidad maorí, Te Mihinga Komene, educador y defensor del uso de las tecnologías digitales para revitalizar el te reo, grabó 4.000 frases él solo.

El dinero no fue el único motivador. La gente aceptó la visión de Te Hiku y confiaba en él para salvaguardar sus datos. “Te Hiku Media aseguró: ‘Para lo que nos dan algo, estamos aquí como kaitiaki [guardianes]. Nosotros lo guardamos, pero ustedes siguen siendo dueños de su audio‘”, señala Te Mihinga. “Eso es importante. Esos valores definen quiénes somos como maoríes”.

En 10 días, Te Hiku reunió 310 horas de voz con su texto de unas 200.000 grabaciones realizadas por aproximadamente 2.500 personas, un nivel de compromiso sin precedentes entre los investigadores de la comunidad de IA. “Nadie pudo haberlo logrado excepto una organización maorí”, opina el científico de datos maorí Caleb Moses, que se unió al proyecto tras conocerlo por redes sociales.

La cantidad de datos aún era pequeña en comparación a las miles de horas que normalmente se usan para entrenar los modelos en inglés, pero fue suficiente para comenzar. Así que se utilizaron los datos para poner en marcha un modelo de código abierto ya existente de la Fundación Mozilla. De esta manera, Te Hiku creó su primer modelo de reconocimiento de voz en te reo con un 86 % de precisión.

A partir de ahí, se expandió a otras tecnologías de IA de lenguaje. Mahelona, Moses y su equipo recién formado crearon un segundo algoritmo para etiquetar automáticamente frases complejas en te reo y otro tercero para dar feedback en tiempo real a los estudiantes de te reo sobre la precisión de su pronunciación. El equipo incluso experimentó con síntesis de voz para crear el equivalente de Siri en te reo, aunque finalmente no superó el nivel de calidad que se necesitaba para su uso.

Mientras tanto, Te Hiku estableció nuevos protocolos de soberanía de datos. Todavía hay pocos científicos de datos maoríes como Moses y están lejos unos de otros, pero los que vienen de fuera de la comunidad no pueden simplemente utilizar los datos como les plazca. “Si quieren probar algo, nos preguntan y tenemos un marco de toma de decisiones basado en nuestros valores y principios”, explica Jones.

Eso puede ser desafiante. La cultura libre y de código abierto de ciencia de datos suele ser la antítesis de la práctica de la soberanía de los datos, al igual que la cultura de la IA. Ha habido momentos en los que Te Hiku ha despedido a algunos científicos de datos porque “solo querían acceder a nuestros datos”, comenta Jones. La intención es tener más científicos de datos maoríes a través de programas de prácticas y puestos junior.

Desde entonces, Te Hiku ha puesto a disposición la mayoría de sus herramientas como la API a través de su nueva plataforma de lenguaje digital llamada Papa Reo. También colabora con las organizaciones dirigidas por maoríes como la empresa educativa Afed Limited, que está creando una app para ayudar a los estudiantes de te reo a practicar su pronunciación. “Realmente es un punto de inflexión”, afirma el fundador de Afed, Cam Swaison-Whaanga, quien también está aprendiendo te reo. Los alumnos ya no tienen que estar tímidos cuando hablen en voz alta frente a maestros y compañeros en su aula.

Te Hiku también ha empezado a trabajar con otras poblaciones indígenas más pequeñas. En la región del Pacífico, muchos comparten los mismos ancestros polinesios que los maoríes y sus idiomas tienen raíces comunes. Con los datos en te reo como base, un investigador de las Islas Cook pudo entrenar un modelo lingüístico de las Islas Cook para alcanzar aproximadamente un 70 % de precisión con solo decenas de horas de datos.

“Ya no se trata solo de enseñar a los ordenadores a hablar te reo maorí“, indica Mahelona. “Se trata de construir una base lingüística para los idiomas del Pacífico. Todos tenemos dificultades por mantener vivas nuestras lenguas”.

“Independientemente de lo mucho que se hablen, los idiomas pertenecen a un pueblo”.

kathleen siminyu

Pero Jones y Mahelona saben que llegará un momento en el que no solo tendrán que trabajar con las comunidades y organizaciones indígenas. Si quieren que te reo sea realmente omnipresente, hasta el punto de tener  asistentes de voz parlantes de te reo en iPhones y Android, tendrán que asociarse con las grandes empresas de tecnología.

“Incluso si la comunidad tiene capacidad de hacer un reconocimiento de voz muy bueno o lo que sea, hay que ponerlo en manos de la comunidad“, afirma el científico informático Kevin Scannell, que ayuda a revitalizar el idioma irlandés y ha lidiado con las mismas contrapartidas en su investigación. “Tener un sitio web en el que se pueda escribir un texto y que lo lean es importante, pero no es lo mismo que ponerlo en mano de todo el mundo a través de su teléfono”.

Jones admite que Te Hiku se está preparando para esta inevitabilidad. Ha creado una licencia de datos que detalla las reglas básicas para las futuras colaboraciones basadas en el principio maorí de kaitiakitanga, o protección. Solo otorgará acceso a los datos a las organizaciones que acuerden respetar los valores maoríes, que se mantengan dentro de los límites del consentimiento y transmitan los beneficios derivados de su uso al pueblo maorí.

La cesión aún no ha sido utilizada por ninguna organización además de Te Hiku, y quedan dudas sobre su aplicabilidad. Pero la idea ya inspiró a otros investigadores de IA, como la experta Kathleen Siminyu del proyecto Common Voice de Mozilla, que reúne donaciones de voz para construir conjuntos de datos públicos para el reconocimiento de voz en diferentes idiomas. Actualmente, esos conjuntos de datos se pueden descargar para cualquier propósito. Pero el año pasado, Mozilla empezó a explorar una cesión más similar a la de Te Hiku que daría un mayor control a las comunidades lingüísticas que decidan donar sus datos. “Sería genial si pudiéramos decirle a la gente que contribuir a un conjunto de datos permite opinar sobre cómo se usará“, señala Siminyu.

La ex codirectora del equipo de Ética para la Inteligencia Artificial de Google, Margaret Mitchell, que realiza investigaciones sobre la gobernanza de datos y las prácticas de propiedad, está de acuerdo. “Es exactamente el tipo de cesión que queremos poder desarrollar de manera más general para todos los tipos diferentes de tecnología. Realmente me gustaría ver más de eso”, resalta Mitchell.

De alguna manera, Te Hiku tuvo suerte. Te reo puede aprovechar las tecnologías de inteligencia artificial en el inglés porque se parece bastante a este idioma en algunas características clave como su alfabeto, sonidos y construcción de palabras. Los maoríes también son una comunidad indígena bastante grande, lo que les permitió reunir suficientes datos lingüísticos y encontrar científicos de datos como Moses para ayudar a hacer realidad su visión.

“La mayoría de las otras comunidades no son lo suficientemente grandes para que ocurran esas felices coincidencias”, advierte el tecnólogo digital y artista Jason Edward Lewis, que coorganiza la Red Indígena de IA o Indigenous AI Network.

Al mismo tiempo, Te Hiku ha sido una poderosa demostración de que la IA se puede construir fuera de los ricos centros de beneficio de Silicon Valley, por y para las personas a las que debería servir.

Te Hiku Media recibe el premio a la innovación de Nueva Zelanda por su trabajo de revitalización del idioma. / Foto de cortesía

Este ejemplo ya ha motivado a otros. Michael Running Wolf y su esposa, Caroline, también tecnóloga indígena, trabajan para desarrollar el reconocimiento de voz para los makah, el pueblo indígena de la costa noroeste del Pacífico, cuyo idioma tiene solo alrededor de una docena de hablantes restantes. La tarea es titánica: el idioma makah es polisintético, lo que significa que una sola palabra, compuesta de múltiples componentes como prefijos y sufijos, puede expresar una frase completa en inglés. Las técnicas de procesamiento de lenguaje natural existentes podrían no ser aplicables.

Antes del éxito de Te Hiku, “ni siquiera consideramos investigarlo”, reconoce Caroline. “Pero cuando nos enteramos del increíble trabajo que estaban llevando a cabo, se nos ocurrieron muchas ideas: ‘Oh, Dios mío, por fin es posible'”.

Siminyu de Mozilla cree que el trabajo de Te Hiku también ofrece algunas lecciones para el resto de la comunidad de IA. Teniendo en cuenta la forma en la que opera la industria hoy en día, resulta fácil que las personas y las comunidades se vean privadas de sus derechos; se considera que el valor proviene no de las personas que dan sus datos, sino de quienes se los quitan. “Aseguran: ‘Tu voz no vale nada por sí sola. De hecho, nos necesita a nosotros, a alguien con la capacidad de reunir miles de millones de voces, para que cada una se vuelva significativa’“, señala Siminyu.

De esta manera, entonces, el procesamiento del lenguaje natural “es un buen paso para empezar a descubrir cómo debería funcionar la propiedad colectiva”, añade Siminyu. “Porque independientemente de lo mucho que se hablen, los idiomas pertenecen a un pueblo“.

MIT