66b là một mô hình ngôn ngữ có kích thước 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên và sinh văn bản có tính thuyết phục cao. Nó có khả năng trả lời câu hỏi, tóm tắt văn bản và tham gia vào cuộc đối thoại phức tạp với độ hiểu ngữ cảnh mạnh mẽ.
66b nổi bật với khả năng nắm bắt ngữ cảnh dài, sinh văn bản mạch lạc và duy trì tính nhất quán qua các đoạn văn dài. Nó hỗ trợ nhiều tác vụ từ phân tích ngữ nghĩa đến sáng tạo nội dung.
Kiến trúc của 66b dựa trên biến đổi sâu với nhiều lớp self-attention và tối ưu hóa huấn luyện trên dữ liệu đa nguồn. Nó cho phép xử lý chuỗi văn bản phức tạp và sinh ngữ tự nhiên mượt mà.
66b được huấn luyện trên một tập dữ liệu khổng lồ từ web, sách và nguồn dữ liệu công khai, kết hợp giữa đa dạng nội dung và chất lượng. Quá trình đào tạo tập trung vào chất lượng biểu đạt, phản hồi người dùng, và khả năng tổng hợp thông tin.