Представители бизнеса и ведомств обсудили 13 августа в Минцифры, как проверять ИИ-системы на соответствие духовно-нравственным ценностям. Об этом сообщает «Коммерсант».
Для проверки предлагают создать бенчмарк — набор заданий и эталонных данных. Он позволит оценивать, соответствуют ли нейросети «духу времени и ценностям страны», а также подходят ли для использования в России.
По словам источника «Коммерсанта», на совещании возникли разногласия о степени публичности датасета. ФСБ выступила за закрытый формат, чтобы разработчики не могли заранее подготовить модели к тесту. Бизнес предложил сделать задания открытыми: иначе проверка может замедлить выпуск новых версий нейросетей.
В качестве компромисса был предложен комбинированный формат: открытый бенчмарк будут использовать для публичного тестирования, а закрытый — для финальной проверки с такими же темами, но разными формулировками вопросов.
Неясно пока и кто будет определять содержание бенчмарка. ИТ-сообщество предложило создать комиссию из представителей властей, бизнеса и экспертных организаций.
Первоначально «Коммерсант» сообщил, что концепцию теста представил «Яндекс». В компании эту информацию отрицают. Там заявили, что лишь участвовали в обсуждении — и предложили сделать датасет «открытым по общепринятым принципам отрасли».