Bóng

Điểm đột phá lớn nhất của Transformers chính là cơ chế Attention, cụ thể là Self-Attention. Thay vì xử lý dữ liệu theo trình tự như RNN, Transformers cho phép mô hình "chú ý" đến toàn bộ câu đầu vào cùng