Giới thiệu GeneBench-Pro

GeneBench-Pro là một tiêu chuẩn đánh giá cấp nghiên cứu để đo lường khả năng của các tác nhân AI trong việc điều hướng sự mơ hồ và đưa ra các phán quyết có hậu quả trong sinh học tính toán.

Các dữ liệu nghiên cứu thường không đi kèm với hướng dẫn. Các nhà nghiên cứu phải quyết định liệu một mẫu có phản ánh sinh học hay chỉ là tiếng ồn, liệu dữ liệu có thể hỗ trợ câu hỏi đang được đặt ra hay không, và làm thế nào mỗi kết quả nên thay đổi những gì họ làm tiếp theo.

Tính năng của GeneBench-Pro

GeneBench-Pro mở rộng trên GeneBench để bao phủ các nhiệm vụ khó hơn, thực tế hơn trong lĩnh vực sinh học tính toán, bao gồm cả genomics, sinh học định lượng và y học chuyển đổi.

Mỗi vấn đề của GeneBench-Pro cung cấp cho mô hình một tập dữ liệu thực tế và phức tạp, một bối cảnh thí nghiệm ngắn gọn và một mục tiêu ước tính liên quan đến quyết định hạ nguồn. Để trả lời chính xác, mô hình phải khám phá dữ liệu, chọn phương pháp phân tích phù hợp, tham gia vào quá trình thí nghiệm lặp đi lặp lại và cung cấp câu trả lời cuối cùng.

Xây dựng tập dữ liệu

GeneBench-Pro được xây dựng để đánh giá tiến bộ trong việc giải quyết nút thắt trong tính toán và phân tích dữ liệu sinh học, với 129 câu hỏi bao phủ một loạt các thiết lập và phương pháp sinh học tính toán.

Mỗi vấn đề của GeneBench-Pro được xây dựng tổng hợp: chúng tôi biết cấu trúc nguyên nhân đầy đủ và mô phỏng trực tiếp quá trình tạo dữ liệu. Điều này cho phép chúng tôi điều chỉnh độ phức tạp của mỗi vấn đề, đảm bảo rằng các sự khác biệt hợp lý trong các lựa chọn phân tích chủ quan vẫn sản xuất ra kết quả số được chấp nhận, và xác minh (qua các nghiên cứu loại bỏ) rằng các phân tích không chính xác nhưng hợp lý vẫn thất bại.