Trong thử thách này, LLM của Zalo AI đã so tài với các mô hình ngôn ngữ lớn hiện hành trên thế giới như: GPT-4, GPT-3.5 (OpenAI), QWen (Alibaba), LLaMA (Meta) và một mô hình khác của Việt Nam mới được giới thiệu gần đây. Bên cạnh trí tuệ nhân tạo, thử thách này còn có sự tham gia thi đấu của con người là quản trị viên Tinhte.vn.
Tham gia thử thách, các LLMs phải vượt qua 20 câu hỏi trắc nghiệm do Tinhte.vn đưa ra thuộc nhiều lĩnh vực khác nhau như đời sống - xã hội, khoa học thường thức, văn học, lịch sử, địa lý và tiếng Anh... trong thời gian chỉ 10 giây/câu hỏi.
Kết quả trung bình các LLMs đã trả lời đúng 8/20 câu hỏi. Trong đó, nhiều câu có độ thử thách cao, mà một người bình thường khó có thể trả lời chính xác chỉ trong vòng 10 giây. Kết thúc trò chơi, vị trí dẫn đầu thuộc về quản trị viên Tinhte.vn. Riêng Kiki xếp hạng 3 chung cuộc chỉ sau một mô hình ngôn ngữ lớn là GPT-4 của OpenAI và quản trị viên Tinhte.vn .
Phiên bản Kiki tham gia Kahoot được phát triển trên mô hình ngôn ngữ lớn của Zalo AI. Mô hình dựa theo kiến trúc transformer, được huấn luyện bằng các kỹ thuật như Flash Attention và Llama với dữ liệu hướng dẫn chất lượng cao. Mô hình của Zalo AI đang hướng đến mục tiêu xử lý đa tác vụ, như: dịch văn bản, sáng tạo và viết nội dung, trích xuất thông tin trong văn bản và trả lời câu hỏi... Trước đó, LLM này cũng đã từng được thử nghiệm để tạo ra hàng triệu bài thơ nhân dịp 8/3 và 20/10.
Hiện Zalo đang phát triển mô hình ngôn ngữ lớn của mình trên nhiều kích cỡ mô hình khác nhau, từ 1B đến 30B tham số. Phiên bản chatbot Kiki được trình diễn tại Zalo AI Summit được huấn luyện trên mô hình 7B tham số. Trong tương lai, Zalo sẽ tiếp tục cải tiến mô hình của mình trước khi ra mắt người dùng và cung cấp nền tảng cho các ứng dụng hữu ích như chatbot, chăm sóc khách hàng, trình sáng tạo nội dung...
Trong một đánh giá khác thực hiện trên VMLU - Bộ tiêu chuẩn đánh giá năng lực tiếng Việt cho các mô hình ngôn ngữ lớn, được hợp tác phát triển bởi Zalo AI và Viện khoa học Công nghệ Tiên tiến Nhật Bản (JAIST), cho thấy mô hình của Zalo xếp thứ hai chỉ sau GPT-4 trong hầu hết mục đánh giá. Đây là một kết quả đáng khích lệ với một mô hình có thời gian huấn luyện không lâu, cho thấy tiềm năng phát triển và bắt kịp thế giới của ngành AI Việt Nam.
