66B là một mô hình ngôn ngữ tự nhiên có quy mô lớn, được thiết kế để xử lý nhiều tác vụ ngôn ngữ từ sinh văn bản cho tới hỗ trợ lập trình và phân tích ngữ cảnh.
Mô hình dựa trên kiến trúc Transformer, với 66 tỷ tham số được phân bổ trên nhiều lớp và cơ chế attention để nắm bắt ngữ cảnh dài và phức tạp.
Quá trình huấn luyện diễn ra trên tập dữ liệu đa ngôn ngữ và đa nguồn, bao gồm văn bản trên mạng, sách và mã nguồn công khai, nhằm cải thiện khả năng hiểu và sinh văn bản tự nhiên.
Khả năng: sinh văn bản mạch lạc, trả lời câu hỏi, tóm tắt văn bản, dịch ngôn ngữ và hỗ trợ viết mã ở mức căn bản đến trung bình. Giới hạn: có thể bị thiên lệch, sai sự thật (hallucination), đòi hỏi tài nguyên tính toán lớn và cần giám sát an toàn khi triển khai.
66B có thể được dùng làm trợ lý ảo, nền tảng hỗ trợ khách hàng, công cụ giáo dục, tổng hợp nội dung, phân tích dữ liệu ngôn ngữ. Tuy vậy, cần quản trị rủi ro, xác thực đầu ra và thiết kế giao diện người dùng thân thiện để đảm bảo hiệu quả và an toàn.