Яндекс предложил концепцию тестов для ИИ на соответствие духовно-нравственным ценностям
Бенчмарк должен проверять способность моделей решать реальные задачи
Яндекс представил на совещании рабочей группы по регулированию ИИ концепцию национального датасета — набора тестовых заданий и эталонных данных для проверки моделей на соответствие «духу времени и ценностям страны». В обсуждении участвовали представители Минцифры, бизнеса и ведомств, включая ФСБ.
Бенчмарк — это стандартизированный набор контрольных заданий с эталонными ответами, который позволяет сравнивать качество моделей. В отличие от простых тестов, современные бенчмарки проверяют способность ИИ решать реальные задачи: выгружать данные, собирать отчёты и т.д.
На совещании возникли разногласия о формате датасета. ФСБ настаивает на закрытом варианте, чтобы разработчики не могли заранее настроить модели на прохождение теста. Бизнес, напротив, предлагает публичный формат, чтобы не замедлять развитие моделей. Компромиссом может стать комбинированный подход: открытый бенчмарк для предварительной проверки и закрытый — для финальной оценки с разными формулировками вопросов.
Остаётся открытым вопрос, кто будет определять содержание бенчмарка. ИТ-сообщество предлагает создать совместную комиссию с участием властей, бизнеса и экспертов. В аппарате вице-премьера Дмитрия Григоренко сообщили, что предложения обсуждаются с отраслью. В «Яндексе» подчеркнули, что компания не представляла готовую концепцию, а лишь участвовала в обсуждении и высказала позицию: датасет должен быть открытым по общепринятым принципам. В Минцифры добавили, что ключевая задача — соблюсти интересы отрасли и пользователей.
Источник: Ведомости