Los usuarios de Internet tienden a comunicarse no solo con palabras, sino también con imágenes. Para una plataforma como Facebook con más de 2 mil millones de usuarios activos mensuales, eso significa que se publican una gran cantidad de imágenes todos los días, incluidos memes.
En este sentido, para incluir imágenes con texto en resultados de búsqueda de fotos relevantes, para darles a los lectores de pantalla una manera de leer lo que está escrito en ellos y asegurarse de que no contengan discursos de odio y otras palabras que violen la política de contenido del sitio web, Facebook ha creado y desplegado un sistema de machine learning a gran escala llamado “Rosetta”.
Facebook necesitaba un sistema de reconocimiento óptico de caracteres que pudiera procesar grandes volúmenes de contenido de manera regular, por lo que tuvo que crear su propia tecnología. Según la red social, Rosetta extrae texto de más de mil millones de imágenes y frames de video en una amplia variedad de idiomas todos los días en tiempo real.
En un comunicado, la compañía explicó cómo funciona Rosetta: comienza por detectar regiones rectangulares en imágenes que potencialmente contienen texto. A continuación, utiliza una red neuronal para reconocer y transcribir lo que está escrito, incluso palabras no inglesas o alfabetos no latinos, como el árabe y el hindi. Para entrenar el sistema, Facebook usó una mezcla de imágenes públicas anotadas por humanos y máquinas.
Varios equipos dentro de Facebook e Instagram ya están usando Rosetta para mostrar más contenido y vigilar las plataformas. Además, la compañía planea seguir aumentando la cantidad de idiomas que puede entender y mejorar la extracción de texto de los marcos de video.
Vía: Facebook
