66b là một mô hình ngôn ngữ lớn được phát triển để hỗ trợ nhiều tác vụ xử lý ngôn ngữ tự nhiên, từ trả lời câu hỏi đến sinh văn bản.
Với 66 tỷ tham số, 66b dựa trên kiến trúc transformer với nhiều tầng encoder-decoder hoặc thuần transformer tùy biến. Mô hình được huấn luyện trên tập dữ liệu đa dạng gồm văn bản mạng xã hội, bài viết khoa học, sách và mã nguồn.
Đào tạo 66b được tiến hành với kỹ thuật tối ưu hóa hiện đại và các biện pháp an toàn dữ liệu. Dữ liệu được làm sạch và trích lọc để giảm thiểu độc hại và thiên vị, đồng thời giữ quyền riêng tư.
66b có thể được ứng dụng cho trả lời câu hỏi, tóm tắt văn bản, viết sáng tạo, hỗ trợ lập trình và trợ lý viết nội dung. Tuy vậy, nó còn tồn tại giới hạn về hiểu ngữ cảnh dài, thiên vị, sai lệch thông tin và yêu cầu tài nguyên tính toán.