66B là biệt danh của một mô hình ngôn ngữ quy mô lớn có khoảng 66 tỷ tham số. Nó được thiết kế để hiểu và sinh văn bản tự nhiên, trả lời câu hỏi, tóm tắt nội dung, và hỗ trợ các tác vụ NLP ở nhiều ngôn ngữ.
66B dựa trên kiến trúc Transformer, với nhiều lớp tự attention và feed-forward. Số tham số lớn cho phép mô hình lưu trữ ngữ nghĩa phức tạp, song nó cũng đòi hỏi nguồn lực tính toán và tối ưu hoá vận hành để suy luận nhanh và hiệu quả.
Quá trình đào tạo 66B thường yêu cầu hệ thống đồ sộ và dữ liệu văn bản đa dạng từ nhiều nguồn, nhằm cải thiện khả năng hiểu ngữ cảnh, ngôn ngữ và phong cách. Quá trình fine-tuning có thể được dùng để thích nghi với nhiệm vụ cụ thể hoặc công tác an toàn nội dung.
66B có thể hỗ trợ viết nội dung, dịch máy, tóm tắt văn bản, trợ giúp lập trình và hỗ trợ quyết định trong doanh nghiệp. Tuy nhiên, người dùng cần chú ý đến rủi ro như suy diễn sai, thiên lệch dữ liệu và yêu cầu đánh giá đạo đức khi triển khai trong thực tế.