Пекинская академия искусственного интеллекта разработала новую языковую модель Wu Dao 2.0. По словам специалистов, по мощности она обходит ближайших конкурентов — Open AI GPT-3 и Google Switch Transformers, пишет Engadget.
Новая технология использует более 1,75 трлн параметров для имитации разговорной речи, написания текстов и понимания изображений. В то время как нейросеть Open AI GPT-3 использует всего 175 млрд параметров, а Google Switch Transformers — 1,6 трлн.
Wu Dao 2.0 мультимодальна — она может выполнять множество разнообразных задач. Она пишет эссе и стихи, распознает изображения и генерирует их по словесному описанию, имитирует речь и создает кулинарные рецепты.
Для ее обучения использовались почти 5 терабайтов текстов и изображений, 1,2 терабайта из них — тексты на китайском и английском языках.
Исследователи рассказали, что разработкой уже заинтересовались 22 компании. В их числе — производитель смартфонов Xiaomi, служба доставки Meituan и платформа для обмена короткими видео Kuaishou.