66B là một mô hình ngôn ngữ lớn (LLM) với khoảng 66 tỷ tham số, được thiết kế để hiểu và sinh văn bản tự nhiên ở nhiều ngôn ngữ. Mô hình này dựa trên kiến trúc Transformer và được huấn luyện trên lượng dữ liệu khổng lồ, cho phép nó nắm bắt ngữ nghĩa, ngữ pháp và phong cách văn bản khác nhau.
Kiến trúc của 66B chủ yếu dựa trên Transformer với nhiều tầng encoder-decoder hoặc chỉ decoder tùy biến, tuỳ thiết kế. Với 66 tỷ tham số, nó có hàng chục lớp attention, cơ chế vị trí và các lớp feed-forward mạnh mẽ. Tokenizer có thể sử dụng BPE hoặc SentencePiece để xử lý nhiều ngôn ngữ và ngữ cảnh khác nhau.
Quá trình huấn luyện 66B đòi hỏi hạ tầng tính toán phân tán, tối ưu hóa precision và quản lý bộ nhớ ở quy mô lớn. Tập dữ liệu bao gồm văn bản đa ngôn ngữ, tài liệu công khai, văn bản câu chuyện, bài báo và nguồn dữ liệu chất lượng cao khác. Thiết kế an toàn và căn chỉnh bằng RLHF được áp dụng để cải thiện đầu ra có ích và giảm sai lệch.
66B có thể được dùng để trả lời câu hỏi, tóm tắt văn bản, hỗ trợ viết, dịch máy và sinh mã nguồn. Tuy nhiên, nó đối diện với thách thức về chi phí tính toán, độ trễ phản hồi, và rủi ro lệch lạc hoặc thiên kiến. Việc quản trị dữ liệu, kiểm soát đầu ra và đảm bảo an toàn là phần quan trọng khi triển khai mô hình ở quy mô lớn.
66B đại diện cho một thế hệ mô hình ngôn ngữ lớn có quy mô trung bình đến lớn, mang lại khả năng xử lý ngôn ngữ đa ngữ và linh hoạt. Trong tương lai, các phiên bản kế tiếp có thể tối ưu hoá hiệu suất, giảm chi phí và tăng tính an toàn, đồng thời mở rộng phạm vi ứng dụng cho doanh nghiệp và nghiên cứu.