Mạng xã hội Meta sẽ bước vào kỷ nguyên kỹ thuật số mới bằng cách sớm ra mắt Llama 3. Viên ngọc công nghệ rất được mong đợi này sẽ được công bố vào đầu năm 2024.
Bí ẩn xung quanh sự phát triển của Llama 3
Tin đồn ngày càng gia tăng xung quanh Llama 3. Trên thực tế, đây là một mẫu trí tuệ nhân tạo được Meta lên kế hoạch ra mắt vào năm 2024. Điều này đã làm dấy lên rất nhiều sự tò mò và suy đoán trong cuộc đua giành quyền thống trị lĩnh vực AI. Mô hình trước đó của Meta, Llama 2, đã có được chỗ đứng trên thị trường kể từ khi phát hành vào tháng 7. Mạng Meta vẫn chưa chính thức xác nhận tin đồn. Nhưng Mark Zuckerberg gần đây đã gợi ý về tương lai của Siêu mô hình ngôn ngữ (LMM). Ông thừa nhận rằng Llama 3 hiện đang được phát triển. Trong một cuộc phỏng vấn trên podcast về AI và Metaverse, Zuckerberg đã đề cập rằng họ liên tục đào tạo các mô hình mới và Llama 2 đã được phát hành dưới dạng mô hình nguồn mở.
- Những tin đồn xung quanh việc phát hành Llama 3 vào đầu năm 2024
- Llama 2, một thành công của Meta
- Zuckerberg gợi ý về việc phát triển Llama 3
Những manh mối thúc đẩy sự đầu cơ
Theo lịch sử chu kỳ phát triển mô hình tại Meta, một người dùng Reddit tên là llamaShill đã trình bày một phân tích chi tiết. Điều này củng cố giả thuyết về việc phát hành Llama 3 vào đầu năm 2024. Theo ông, Llama 1 đã được huấn luyện từ tháng 7 năm 2022 đến tháng 1 năm 2023, sau đó là Llama 2 cho đến tháng 7 năm 2023. Điều này cho thấy việc huấn luyện Llama 3 trong khoảng thời gian từ tháng 7 năm 2023 đến tháng 1 năm 2024 Ngoài ra, những kết luận này trùng hợp với mong muốn của Meta nhằm duy trì vị trí đứng đầu trước OpenAI và mô hình đối thủ của nó, GPT-4.
- Phân tích cẩn thận về chu kỳ phát triển mô hình lịch sử
- Có thể có sự cạnh tranh với OpenAI và GPT-4
- Đầu tư vào AI để tránh bị đối thủ bỏ lại phía sau
Hợp tác chặt chẽ với Dell
Một nguồn ẩn danh tuyên bố rằng Meta sẽ có đủ sức mạnh tính toán. Sức mạnh này đủ để đào tạo không chỉ Llama 3 mà còn cả Llama 4 tiềm năng. Do đó, Méta cũng có thể cung cấp chúng dưới dạng nguồn mở. Sự hợp tác với Dell thể hiện cam kết của công ty trong việc làm chủ dữ liệu và bảo mật. Điều này sau đó sẽ giúp bảo vệ người dùng doanh nghiệp khỏi các phiên bản tại chỗ của mô hình Llama.
- Tính toán mạnh mẽ để huấn luyện Llama 3 và Llama 4
- Cam kết về bảo mật và quyền riêng tư dữ liệu
Llama 3 có thể trở thành mã nguồn mở
Zuckerberg nêu lên ý tưởng về một Llama 3 cũng có nguồn mở. Ý tưởng này sẽ giúp thúc đẩy các cuộc thảo luận về tham vọng của Meta trong lĩnh vực này.
Sức mạnh của cài đặt
Số liệu đóng một vai trò quan trọng trong hiệu quả của LLM. Chúng xác định khả năng hiểu và tạo ra ngôn ngữ của mô hình. Ngoài ra, số lượng của chúng thường tương quan với độ tinh xảo và chất lượng sản xuất của mẫu mã. Do đó, Meta đã đào tạo AI của mình dựa trên kho dữ liệu khổng lồ gồm 2 nghìn tỷ mã thông báo, cho phép nó tạo ra các văn bản tương tự như bài viết của con người về các chủ đề và bối cảnh khác nhau.
- Các thông số cần thiết để cải thiện khả năng hiểu và tạo ngôn ngữ
- Kho 2 nghìn tỷ token cho AI hiệu quả
Đầu tư lớn vào phần cứng AI
Theo thông tin được Decrypt cung cấp, Meta đang trong quá trình trang bị một trong những trung tâm dữ liệu của mình. Nó sẽ sử dụng Nvidia H100, đơn vị phần cứng hiệu suất cao để đào tạo AI. Khoản đầu tư này khẳng định sự tập trung tích cực của Meta vào việc đạt được các mục tiêu AI của mình. Điều này cũng tính đến thời gian đào tạo, yêu cầu phần cứng và vấn đề quan trọng về tính khả dụng của nguồn mở.
Cơ sở hạ tầng mới vững chắc cho một tương lai đầy hứa hẹn
Với những tiến bộ khác nhau này, có vẻ như Meta tiếp tục tập trung vào việc tích hợp AI trên các sản phẩm của mình. Sự phát triển của Llama 3 có thể mang tính quyết định đối với sự phát triển công nghệ của công ty và trên hết là duy trì khả năng cạnh tranh với các đối thủ cũng quyết tâm thống trị thị trường trí tuệ nhân tạo.
