BERT

Transformatörlerden Çift Yönlü Kodlayıcı Temsili (BERT: Bidirectional Encoder Representations from Transformers) Google tarafından arama sorgularının amacını ve içeriğini tüm arama ifadesinin ilişkisine dayanarak yorumlayabilmek ve kullanıcılara daha doğru sonuçlar sunmak adına geliştirilen, açık kaynaklı, önceden eğitilmiş bir Doğal Dil İşleme (NLP) modelidir. Eski modellerde edatlar veya bağlaçlar dikkate alınmadan sadece çift yönlü LSTM kullanılmaktaydı. 2019 itibariyle Google, BERT kullanmaya başlayarak yapılan sorgulardaki kelimeleri tek tek değerlendirmek yerine, cümledeki eksik olan kelimeyi bulabilmek için tüm cümleyi incelenmeye, önündeki ve arkasındaki kelimeler ya da benzer ve eş anlamlı kelimeler ile birlikte değerlendirmeye başlamıştır.