66B là một mô hình ngôn ngữ dựa trên transformer với khoảng 66 tỷ tham số, được thiết kế để xử lý văn bản, tạo văn bản và trả lời câu hỏi ở nhiều ngữ cảnh. Mô hình này có khả năng hiểu và sinh ngôn ngữ ở mức độ cao, phục vụ cho nhiều mục đích từ hỗ trợ sáng tạo đến tự động hoá tác vụ văn bản.
Kiến trúc của 66B hầu như dựa trên phiên bản decoder của transformer, tối ưu cho sinh ngữ và suy luận tự quản. Dữ liệu huấn luyện gồm một tập hợp lớn các văn bản từ nhiều nguồn, giúp mô hình học cách biểu đạt ý tưởng, cú pháp và ngữ nghĩa, đồng thời học được khả năng đa ngôn ngữ và văn phong khác nhau.
66B có thể thực hiện nhiều tác vụ NLP như sinh văn bản mạch lạc, tóm tắt nội dung, dịch ngôn ngữ, phân loại và trả lời câu hỏi. Nó có khả năng học theo ví dụ và phương pháp few-shot để thích nghi nhanh với nhiệm vụ mới mà không cần huấn luyện từ đầu.