Sau giai đoạn đốt tiền cho các mô hình lớn, đang hình thành làn sóng AI mã nguồn mở dồn lực vào bốn bài toán thực dụng: chi phí huấn luyện, tốc độ xử lý, bộ nhớ/ngữ cảnh và cách AI tích hợp vào quy trình làm việc thật. Các động thái từ Google, Microsoft, Xiaomi đến Sapient hay các nhóm nghiên cứu đại học, đang muốn giải bài toán hiệu quả kinh tế của trí tuệ nhân tạo.

Mô hình 1 tỉ tham số giá 1.500 USD

Việc huấn luyện một mô hình ngôn ngữ lớn từ đầu lâu nay được coi là cuộc chơi tốn kém, với chi phí thường tính bằng triệu đô la Mỹ. Sapient đưa ra HRM‑Text, mô hình 1 tỉ tham số được huấn luyện từ đầu với chi phí khoảng 1.500 USD.

Thay vì sử dụng kiến trúc Transformer quen thuộc, HRM‑Text được xây dựng trên mô hình Hồi quy Phân cấp, tập trung sử dụng dữ liệu hiệu quả hơn. Thay vì nạp toàn bộ văn bản trên internet, mô hình được huấn luyện độc quyền trên các cặp hướng dẫn – phản hồi, mô phỏng gần hơn với những tác vụ thực tế trong doanh nghiệp. Kết quả thử nghiệm cho thấy HRM‑Text có thể cạnh tranh với nhiều mô hình mã nguồn mở lớn hơn đáng kể trên các bài kiểm tra chuẩn ngành.

Dù chỉ có 1 tỉ tham số, con số khiêm tốn so với nhiều mô hình ngôn ngữ phổ biến khác, HRM‑Text được thiết kế mang tính chuyên biệt, tập trung vào các tác vụ dạng hướng dẫn – phản hồi nên đạt hiệu quả tốt trong phạm vi này. Đây không hẳn là bài toán rẻ thắng đắt tiền, mà là tiến tới xóa nhòa ranh giới giữa việc sở hữu một mô hình riêng và việc dùng giao diện lập trình. Khi chi phí đầu tư ban đầu để thử một nền tảng mới giảm mạnh, lợi thế bắt đầu nghiêng về phía những đội ngũ biết tối ưu kiến trúc và dữ liệu, chứ không chỉ những người có ngân sách lớn.

Tháo nút thắt chi phí vận hành

Nếu chi phí huấn luyện là câu chuyện chi phí đầu tư (CapEx), thì tốc độ xử lý và bộ nhớ là phần chi phí vận hành (OpEx) mà người dùng phải trả mỗi ngày. Google và một nhóm trường đại học hàng đầu đưa ra hai cách tiếp cận khác nhau để giải bài toán này.

Google thử nghiệm DiffusionGemma, mô hình ngôn ngữ dùng kỹ thuật “khuếch tán” để tạo văn bản. Thay vì tạo từng từ một cách tuần tự như phần lớn mô hình hiện nay, DiffusionGemma tạo song song cả một khối 256 từ. Nhờ vậy, phiên bản dùng độ chính xác FP8 có thể đạt hơn một ngàn từ mỗi giây trên một dòng chip đồ họa hiệu năng cao đang được sử dụng rộng rãi như Nvidia H100, và gần 1.300 từ mỗi giây trên H200, tăng tốc khoảng 4 lần so với cách làm cũ trên cùng nền tảng phần cứng. Mô hình được phát hành dưới giấy phép tự do sử dụng cho doanh nghiệp và đã được hỗ trợ nguyên bản trong một nền tảng suy luận mã nguồn mở phổ biến, cho phép cộng đồng nhanh chóng đưa chuẩn tốc độ mới vào sản phẩm.

Ở góc khác của bài toán, khi các tác nhân AI làm việc liên tục, cửa sổ ngữ cảnh ngày càng mở rộng, kéo theo nhu cầu bộ nhớ và chi phí tính toán phình to. Nhóm nhà nghiên cứu từ New York, Columbia và Princeton đề xuất mô hình Ngôn ngữ Ngữ cảnh Tiềm ẩn, chọn cách nén chuỗi từ trước khi đưa vào bộ giải mã. Khác với các phương pháp chỉ xử lý phần “bộ nhớ đệm” ở cuối, cách làm này tác động trực tiếp vào lượng dữ liệu cần xử lý. Các thử nghiệm cho thấy với mức nén 16 lần, mô hình có thể tạo kết quả nhanh hơn gần 9 lần trên các bài kiểm tra ngữ cảnh dài, đồng thời giảm đáng kể nhu cầu bộ nhớ.

Cả DiffusionGemma và các mô hình ngữ cảnh tiềm ẩn đều nhắm vào mục tiêu chuyển lợi thế tốc độ và khả năng xử lý ngữ cảnh dài của hệ thống đóng trở thành phổ cập.

Tối ưu “kỹ năng” và trợ lý lập trình nhiều bước

Giá trị kinh tế của AI không đến từ các đoạn trình diễn ấn tượng, mà từ việc nó giúp giảm bao nhiêu giờ công trong những quy trình cụ thể. Đây là điều Microsoft và Xiaomi tập trung vào.

Với Microsoft, tập đoàn gắn với hệ sinh thái phần mềm tương đối khép kín lại chọn phát hành công cụ tối ưu của mình theo dạng mã nguồn mở. SkillOpt, bộ công cụ Microsoft giới thiệu, dùng để tự động tinh chỉnh “kho kỹ năng” của tác nhân AI. Thay vì nhân sự phải viết và chỉnh sửa thủ công các tệp mô tả kỹ năng dưới dạng văn bản, SkillOpt xem những tệp này như đối tượng có thể huấn luyện, tự động đề xuất chỉnh sửa dựa trên kết quả thực thi và áp dụng các thay đổi, trong khi không đụng chạm tới trọng số của mô hình nền tảng. Các thử nghiệm trên những mô hình lớn sẵn có cho thấy độ chính xác nhiệm vụ được cải thiện rõ rệt. Cách tiếp cận này bên cạnh tinh chỉnh mô hình, còn để mô hình tự tinh chỉnh “sổ tay hướng dẫn.”

MiMo Code, trợ lý viết mã chạy trực tiếp trên cửa sổ dòng lệnh, được Xiaomi giới thiệu là vượt trội so với trợ lý nổi tiếng khác trong những nhiệm vụ phức tạp kéo dài hơn 200 bước. MiMo Code là phiên bản phát triển từ một dự án mã nguồn mở hiện có, nhưng được Xiaomi điều chỉnh lại cách quản lý bộ nhớ và quy trình làm việc. Sản phẩm được phát hành dưới giấy phép tự do sử dụng và đi kèm quyền truy cập miễn phí vào một mô hình với cửa sổ ngữ cảnh lên tới một triệu từ, đủ để xử lý các dự án phần mềm lớn mà không đánh mất bối cảnh.

Hướng tới bài toán hiệu quả

Nhìn riêng lẻ, những cái tên như HRM‑Text, DiffusionGemma, các mô hình ngữ cảnh tiềm ẩn, SkillOpt hay MiMo Code có vẻ là những câu chuyện kỹ thuật rời rạc. Nhưng trên cùng một trục, chúng đang kể chung một điều:

Cuộc đua AI đang có sự dịch chuyển từ xây dựng mô hình lớn, công nghệ vượt trội sang hiệu quả vận hành, chi phí đầu tư hợp lý. Trong bức tranh đó, lợi thế cạnh tranh không còn nằm trọn trong khả năng huy động được siêu máy chủ, mà là khả năng ghép các khối mã nguồn mở, từ mô hình nền, bộ máy suy luận, kỹ thuật nén ngữ cảnh đến bộ công cụ tối ưu kỹ năng và ứng dụng chuyên sâu, thành những hệ thống thực sự làm được việc và tạo ra dòng tiền. Đây là sân chơi mà, ít nhất về lý thuyết, không chỉ những cái tên sở hữu trung tâm dữ liệu khổng lồ mới có cơ hội bước vào.