Google wraz z Allen Institute for Artificial Intelligence tworzą BERT-a, „pierwszą dwukierunkową, nienadzorowaną reprezentację językową, która może być wykorzystywana do różnych zadań z zakresu języka naturalnego przy użyciu transferu wiedzy”.
BERT to sztuczna inteligencja, która potrafi uzupełnić brakujące części zdań niemal tak samo dobrze, jak zrobiłby to człowiek. Na przykład do zdania: „Adam wszedł do piekarni i kupił bochenek…” dopisałaby: „chleba”, ponieważ uczy się, analizując miliony zdań w tysiącach książek reprezentujących różne gatunki literackie, od powieści przygodowych po reportaże, napisane w 102 językach. Rozumiejąc związki między słowami, jest w stanie odgadywać brakujące słowa w zdaniach.
BERT to jedno z najciekawszych osiągnięć z dziedziny przetwarzania języka naturalnego (NLP), sektora sztucznej inteligencji, która w ostatnich latach rozwija się szczególnie szybko. Dzięki niemu dzień, w którym będziemy mogli porozmawiać z maszyną, znacznie się przybliżył.