Google BERT Nedir?

Google algoritmalarının doğal dil işleme yani NLP tekniklerini kullanarak doğal dil sorguları için en iyi sonuçları getirmek üzere tasarlanmış bir modelidir. Google bu modeli kullanarak, doğal dile uygun sonuçları sıralamak istemektedir.
Jacob Devlin Ve Google’daki çalışma arkadaşları tarafından 2018 yılında bulunmuş ve yayınlanmıştır.
Bidirectional Encoder Representations from Transformers (BERT) yayınlandığında 11 dili doğal olarak anlayabiliyordu. Google BERT teknolojisi, bilgisayarların konuşma dilini yani doğal dili daha iyi anlamasını sağlamıştır.
BERT’in tam olarak ne olduğunu anlamak isteyenler ilgili akademik makaleye şuradan bakabilirler.
Jacob Devlin, Ming-Wei Chang, Kenton Lee ve Kristina Toutanova tarafından hazırlanan makalede, BERT hakkında derinlemesine bilgiler yer almaktadır. İlgili makaleyi PDF olarak indirmek için şuraya tıklayınız.
BERT, yeni bir dil temsil modelidir. Önceki dil temsil modellerinden farklıdır. Metinlerdeki bazı gösterimleri önceden tahmin etmek için tasarlanmış bir modeldir. BERT modeli önceden eğitilmiş bir model olup, soru cevaplama ve dil çıkarımı gibi çok çeşitli görevler için uygundur.
BERT kavramsal olarak basit olmakla birlikte ampirik (deneysel) olarak güçlüdür. BERT’in önceki temsil modellerinden en büyük farkı, “sonraki cümle tahmini” yapabilmesidir. Bu özellik önceki dil temsil modellerinde bulunmuyordu.
Öte yandan, BERT, bir NLP görevi için en son teknolojiyi kullanmaktadır. Kod ve önceden eğitilmiş modeller https://github.com/google-research/bert adresinde bulunabilir.
BERT, aynı zamanda bir eğitim yöntemidir. “dil anlama” modeli bir metin kaynağında eğitilir. Örneğin Wikipedia gibi bir kaynak bu iş için kullanılabilir. Sonra da NLP görevlerinde bu bilgiler kullanılır. Soru cevaplama buna örnek olarak gösterilebilir.
BERT ortaya çıkmadan önce, dil modelleri soldan sağa ya da sağdan sola bağlam üzerinden gidiyordu. BERT ise böyle yapmıyor. Bu konularda daha detaylı bilgi almak isterseniz BERT’in yaratıcılarıyla şuradaki adreslerden iletişim kurabilirsiniz.


Yorum Gönderme

1 Yorumlar

  1. google Berti ilk kez blogunuz dan duydum demek ki öğrenecek daha çok bilgimiz varmış bu bağlamda bloglar çok faydalı oluyor teşekkürler.

    YanıtlayınSil