DL đã tạo bước nhảy vọt trong xử lý máy tính, xử lý ngôn ngữ và nhận dạng tiếng nói. Mạng nhiều lớp (Multilayer Perceptron, MLP) và Hàm kích hoạt phi tuyến (sigmoid, tanh, ReLU, Leaky ReLU) giúp biểu diễn phi tuyến mạnh mẽ, nhưng dễ quá khớp nếu dữ liệu/regularization chưa đủ. Ứng dụng: tích chập (convolution), tạo tín hiệu mới (feature map), và chia sẻ tham số theo thời gian.
Transformer sử dụng cơ chế tự chú ý (self-attention) để ghi nhớ dài hạn hơn, giảm tham số và huấn luyện nhanh hơn. Các mô hình tiêu biểu gồm:BERT, chia ảnh thành patch, và V. Multi-head tách nhiều “đầu” để học quan hệ đa chiều. Generative Adversarial Networks (GANs) 2014 gồm hai mạng đối đầu: Generator (tạo dữ liệu giả) và Distor (phân biệt thật/giả).
Nền tảng: Python, đại số tuyến tính, xác suất-thống kê, giải tích cơ bản, và công cụ. 2, 3, và Deep Learning bao gồm các kiến trúc: Perceptron, MLP, CNN, RNN/LSTM/GRU, và Autoencoder. Các công cụ: PyTorch/TensorFlow, Conda/Docker, và các mô hình sinh như GAN, Autoencoders.