МТС AI представила открытую языковую модель для решения бизнес-задач
Продукт Cotype Nano способен обрабатывать контекст до 32 тысяч токенов или 45 страниц текста за раз
Продукт Cotype Nano способен обрабатывать контекст до 32 тысяч токенов или 45 страниц текста за раз
Разработка Cotype Nano выполнена специалистами дочерней структуры оператора мобильной связи МТС. Подходит для написания статей, переводов между русским и английским языками, обработки и анализа текстовых данных.
Также модель можно использовать для разработки чат-ботов и поиска и анализа информации в корпоративных базах знаний. Работает локально на мобильных телефонах, ПК и ноутбуках со средней производительностью.
Cotype Nano — открытая модель. Параметры, которые она использует для принятия решений, можно изучать и настраивать под конкретные задачи, говорится в релизе.
Всего разработка включает полтора миллиарда параметров. Скорость обработки текста составляет около 190 токенов в секунду на графическом процессоре Nvidia A100 и 9,5 токенов в секунду на смартфоне с процессором Qualcomm Snapdragon 8 Gen 2.
Продукт основан на архитектуре трансформера Qwen 2.5 и совместим с популярными фреймворками для инференса, такими как VLLM, OpenVINO и Hugging Face. Доступен для скачивания на Hugging Face.