Локальная транскрибация: как я перешел с Whisper на GigaAM и почему это спасение для вашего смартфона

Бывало ли у вас так: нужно быстро наговорить мысль в заметки или ответить в мессенджере на бегу, но стандартный голосовой ввод безбожно тупит или требует стабильного интернета? В эпоху нейросетей мы привыкли, что всё работает через облако, но когда речь заходит о приватности и скорости, на сцену выходят локальные модели транскрибации.

В этой статье я поделюсь своим опытом миграции с тяжеловесного Whisper от OpenAI на отечественную модель GigaAM. Расскажу, как заставить транскрибацию летать даже на смартфоне, потребляя в 6 раз меньше оперативной памяти без потери качества.

Эпоха Whisper: мощно, но прожорливо

Долгое время золотым стандартом локального распознавания речи считался Whisper. На своем MacBook с 64 ГБ оперативной памяти я использовал приложение Handy. Это удобная надстройка, которая позволяет выбирать разные версии моделей: от крошечной Tiny до продвинутой Turbo v3.

Однако у Whisper есть существенные недостатки, которые особенно заметны при ежедневном использовании:

• Огромный аппетит: Модель Whisper Turbo занимает в оперативной памяти около 3,5 ГБ. Даже при моем объеме памяти это ощутимый «балласт», который висит в фоне ради возможности мгновенного ввода.
• Задержки: После нажатия кнопки «стоп» обработка текста занимала от 1 до 5 секунд. Это не критично, но и не мгновенно.
• Избыточность: Whisper — мультиязычная модель (80+ языков). Если вам нужен только русский, вы все равно «платите» ресурсами за поддержку суахили и португальского.

Проблема мобильной транскрибации: почему Tiny — это плохо

На Android-смартфоне ситуация была еще печальнее. Пытаясь внедрить транскрибацию для общения с LLM (языковыми моделями), я столкнулся с выбором: либо ставить тяжелую модель, которая «съест» все ресурсы и будет тормозить, либо использовать Whisper Tiny.

Tiny-версия весит немного (около 300 МБ), но качество распознавания оставляет желать лучшего. Постоянные ошибки в окончаниях, пропуски слов и путаница в сложных терминах превращали диктовку в бесконечную правку текста руками. Использовать это в мессенджерах было практически невозможно.

GigaAM v3: «Пушка» от Сбера, которая изменила всё

Недавно я открыл для себя Open Source модель от Сбербанка — GigaAM версии 3. Это узкоспециализированная модель, заточенная исключительно под русский язык. И это её главное преимущество.

Когда в приложении Handy на Mac появилась поддержка GigaAM, я сразу перешел на неё и был поражен результатом. Транскрибация стала мгновенной: как только я отпускаю кнопку, текст уже в поле ввода. Точность — «пуля в пулю», модель идеально понимает контекст и дословно переносит речь в текст.

Сравнение характеристик (на ПК)

Цифры говорят сами за себя:

• Потребление RAM: Whisper Turbo (~3.5 ГБ) vs GigaAM (~600 МБ вместе с оболочкой).
• Скорость: Whisper (до 5 сек) vs GigaAM (мгновенно).
• Специализация: GigaAM сфокусирована на русском языке, что дает ей фору в качестве распознавания нашей специфической лексики.

«Говорун»: локальный транскрибатор в вашем кармане

Главный инсайт случился, когда я нашел реализацию этой модели для Android. На GitHub есть проект под названием «Говорун» — это приложение со встроенной моделью GigaAM v3.

Установив APK-файл, я получил то, чего не мог добиться от Whisper: высочайшее качество на мобильном процессоре. Приложение потребляет столько же ресурсов, сколько слабая модель Tiny, но выдает результат уровня топовых нейросетей. Теперь я могу наговаривать сообщения в мессенджеры или запросы для ИИ-ассистентов прямо на телефоне, не беспокоясь об интернете или конфиденциальности данных.

Итоги: почему стоит перейти на локальные решения?

Переход на GigaAM v3 на компьютере и смартфоне закрыл мой запрос на идеальный голосовой ввод. Подводя итог, выделю три причины, почему это круто:

1. Приватность: Ваши данные не улетают на сервера корпораций. Всё обрабатывается внутри устройства.
2. Автономность: Транскрибация работает в самолете, в лесу или в подвале — интернет не нужен.
3. Эффективность: Вы экономите заряд батареи и оперативную память, получая при этом мгновенный отклик.

Совет: Если вы активно пользуетесь голосовым вводом, обязательно попробуйте связку Handy (для Mac) и «Говорун» (для Android). Это тот редкий случай, когда отечественная Open Source разработка объективно обходит мировых гигантов в конкретной нише.

А как вы используете транскрибацию в своей работе? Сталкивались ли с проблемами распознавания русского языка? Пишите в комментариях!