66B là một mô hình ngôn ngữ quy mô lớn với 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngữ cảnh khác nhau. Mô hình này có khả năng hiểu câu hỏi, sinh văn bản mạch lạc và hỗ trợ các tác vụ như tóm tắt, dịch thuật, và sáng tác nội dung.
Kiến trúc của 66B dựa trên công nghệ Transformer theo hướng decoder, tối ưu cho sinh văn bản và trả lời chất lượng cao. Nó tận dụng cơ chế chăm chú (self-attention) và khối feed-forward sâu, cùng với các kỹ thuật tối ưu để kiểm soát độ phát sinh và ngữ nghĩa.
Đào tạo và dữ liệu của 66B được thực hiện trên tập dữ liệu đa dạng gồm sách, bài báo, nội dung trên web và các nguồn ngôn ngữ khác. Quá trình huấn luyện kết hợp giữa việc tối ưu ngôn ngữ và kiểm soát chất lượng, nhằm giảm sai lệch và thiên vị. Sau khi huấn luyện sơ cấp, có thể thực hiện tinh chỉnh trên các tác vụ cụ thể.
Mô hình cho thấy khả năng sinh văn bản mạch lạc, trả lời hợp lý trên nhiều chủ đề. Tuy nhiên, vẫn có hạn chế như thiên vị dữ liệu đào tạo, phản hồi có thể không đầy đủ, và chi phí tính toán cao khi vận hành quy mô lớn.
66B có thể được áp dụng trong chatbot và trợ lý ảo, tóm tắt và phân tích văn bản, hỗ trợ viết sáng tạo, viết mã và hỗ trợ lập trình, cũng như các hệ thống hỗ trợ quyết định tự động.
