Trợ lý AI Claude 2 của Anthropic được huấn luyện bao nhiêu tham số?

Trợ lý AI Claude 2 mới đây được ra mắt bởi Anthropic, một startup về trí tuệ nhân tạo an toàn có trụ sở tại San Francisco, đã thu hút được nhiều sự chú ý đặc biệt. Không chỉ bởi khả năng và kỹ năng ấn tượng của nó, mà còn bởi cách thức mà Claude 2 được xây dựng để đặt sự an toàn lên hàng đầu. Nhiều người tò mò muốn biết liệu điều này có ảnh hưởng thế nào đến kích thước của mô hình, cụ thể là số lượng tham số mà nó được huấn luyện. Bài viết này sẽ làm sáng tỏ vấn đề này.

Tham số trong mô hình AI là gì?

Trước tiên, chúng ta cần hiểu tham số là gì trong bối cảnh các mô hình AI như Claude 2. Tham số đề cập đến các siêu tham số có thể điều chỉnh được trong quá trình huấn luyện mô hình. Chúng cho phép mô hình tinh chỉnh hiệu suất trên các nhiệm vụ khác nhau.

Trong mạng nơ-ron, loại mô hình phổ biến nhất hiện nay, tham số sẽ là trọng số và hệ số dịch chuyển giữa các nơ-ron. Số lượng tham số tăng lên đáng kể khi mô hình trở nên sâu và rộng hơn.

Nói cách khác, khi nhắc đến số tham số của Claude 2, chúng ta đang đề cập tới tổng số trọng số và hệ số dịch chuyển trên toàn bộ kiến trúc mạng nơ-ron của mô hình này.

Xu hướng phát triển các mô hình có quy mô lớn

Trong vài năm trở lại đây, xu thế là phát triển các mô hình AI có quy mô khổng lồ, hàng nghìn tỷ tham số. Điển hình có thể kể đến GPT-3 của OpenAI với 175 tỷ tham số hay PaLM của Google với 540 tỷ tham số.

Lý do mô hình lớn được ưa chuộng bởi chúng có thể nắm bắt, mô phỏng nhiều kiến thức và ngữ cảnh phức tạp hơn. Điều này cho phép chúng làm chủ được nhiều lĩnh vực, nhiệm vụ khác nhau cũng như khả năng tổng quát và ghi nhớ thông tin tốt hơn.

Tuy nhiên, huấn luyện các siêu mô hình đòi hỏi lượng tài nguyên vô cùng lớn. Đa số các công ty khó có thể đáp ứng được. Bên cạnh đó cũng có các lo ngại về đạo đức, thiên vị và việc sử dụng sai mục đích.

Cách tiếp cận của Anthropic – AI an toàn dựa trên nguyên tắc

Chính vì thế, Anthropic đã chủ động hạn chế kích thước mô hình Claude 2, như một phần trong chiến lược phát triển AI an toàn dựa trên nguyên tắc của họ. Cụ thể, Claude 2 được thiết kế để:

• Dễ hiểu và kiểm soát: vừa đủ nhỏ để con người có thể hiểu và can thiệp khi cần thiết
• Dễ kiểm tra, giám sát: giúp phát hiện và ngăn chặn các hành vi tiềm ẩn nguy hiểm
• Có cơ chế ràng buộc chặt chẽ: mở rộng tham số mô hình một cách thận trọng, có kiểm soát

Ngoài ra, Anthropic còn sử dụng kỹ thuật “adversarial testing” để đánh giá các rủi ro tiềm ẩn của Claude 2 trước khi cho ra mắt.

Vậy Claude 2 được huấn luyện bao nhiêu tham số?

Gần đây trên trang web của mình, đại diện Anthropic đã tiết lộ con số chính xác:

“Claude 2 có khoảng 12 tỷ tham số, chạy trên một GPU đơn lẻ, có thể trả lời người dùng chỉ trong vòng 1 giây.”

So với các mô hình ngôn ngữ khác, con số này khá khiêm tốn (chỉ bằng 2% so với PaLM). Tuy nhiên, mức độ tham số hóa 12 tỷ vẫn đủ để Claude 2 thực hiện tốt nhiều tác vụ như xử lý ngôn ngữ tự nhiên, suy luận logic hay trả lời câu hỏi.

Mối liên hệ giữa kích thước mô hình và khả năng kiểm soát

Có một sự đánh đổi không thể tránh khỏi giữa hiệu năng và quy mô mô hình. Mô hình càng nhỏ thì khả năng kiểm soát và giám sát càng cao nhưng lại bị hạn chế về hiệu suất. Ngược lại mô hình càng lớn thì càng khó kiểm soát nhưng lại mạnh mẽ hơn.

Theo Anthropic, 12 tỷ tham số là con số tối ưu, cân bằng giữa 2 yếu tố trên. Nó vừa đủ nhỏ để có thể kiểm tra, ràng buộc, đồng thời vừa đủ lớn để Claude 2 thể hiện được khả năng ở mức độ cần thiết.

Mặc dù Claude 2 không thể sánh ngang về sức mạnh so với các siêu mô hình khác, Anthropic vẫn có kế hoạch mở rộng dần dần số lượng tham số trong thập kỷ tới, nhưng luôn đặt sự an toàn lên hàng đầu. Sự tăng trưởng về quy mô sẽ được kiểm soát chặt chẽ để tránh những rủi ro tiềm ẩn.

Như vậy, có thể thấy Anthropic đã có cách tiếp cận rất độc đáo, cân nhắc kỹ lưỡng giữa năng lực và độ an toàn khi thiết kế Claude 2. Con số 12 tỷ tham số là minh chứng rõ ràng cho điều đó. Hi vọng rằng cách tiếp cận này sẽ là tiền đề để các mô hình AI trong tương lai phát triển bền vững, an toàn và mang lại nhiều lợi ích thiết thực cho xã hội.

EHOMEAI.VN CUNG CẤP TÀI KHOẢN ỨNG DỤNG TRÍ TUỆ NHÂN TẠO

👉 MUA TÀI KHOẢN CHAT GPT  👉https://ehomeai.vn/2023/09/11/mua-tai-khoan-chat-gpt/

👉 MUA TÀI KHOẢN CLAUDE AI 👉https://ehomeai.vn/2023/09/30/mua-tai-khoan-claude-ai/

💥Sau khi chuyển khoản Bạn đăng nhập vào: 

👉 Nhóm Hỗ trợ Kích hoạt tài khoản sau khi ĐÃ THANH TOÁN 👉 https://zalo.me/g/vttemw127
👉 Nhóm ứng dụng OPEN AI & ChatGPT trong Công việc & Kinh doanh 👉 https://zalo.me/g/tmbsma080
👉 Nhóm ứng dụng OPEN AI & ChatGPT trong Giáo dục 👉https://zalo.me/g/izsmdw110