Почему обычных горутин недостаточно для фоновых задач
Язык Go позволяет запустить асинхронную операцию буквально одной строкой с помощью конструкции go doWork(). Однако горутины существуют только в оперативной памяти конкретного инстанса. Если приложение перезапускается при деплое, падает из-за паники или завершается по сигналу операционной системы, все незавершенные задачи безвозвратно теряются.
Кроме того, запуск неконтролируемых горутин не обеспечивает противодавления (backpressure). При резком росте входящего трафика HTTP-обработчик может породить тысячи одновременных задач, что исчерпает пул подключений к базе данных и приведет к нехватке памяти. Горутины подходят для второстепенных операций вроде локального сбора метрик, но для бизнес-задач необходима внешняя очередь.
Очереди на PostgreSQL и SELECT FOR UPDATE SKIP LOCKED
Если в проекте уже используется PostgreSQL, отдельный брокер на первых этапах часто избыточен. Механизм SELECT FOR UPDATE SKIP LOCKED позволяет нескольким экземплярам воркеров безопасно выбирать и блокировать свободные строки из таблицы задач, не мешая друг другу и исключая взаимные блокировки.
Главное преимущество очереди на базе реляционной базы данных — транзакционная согласованность. Создание фоновой задачи и обновление бизнес-сущностей выполняются в рамках одной транзакции (паттерн Transactional Outbox). Это решает проблему двойной записи: задача гарантированно попадает в очередь только тогда, когда основные данные успешно зафиксированы.
- Отсутствие дополнительной инфраструктуры: не нужно администрировать отдельный кластер.
- Атомарная постановка задач в одной транзакции с бизнес-данными.
- Простая структура таблицы: статус, число попыток, время следующего запуска и время блокировки.
- Ограничение: при очень интенсивном потоке задач частые обновления вызывают фрагментацию таблиц и нагрузку на диск.
Когда проекту необходим специализированный брокер
Переход на выделенные брокеры сообщений (Redis, RabbitMQ, NATS или Kafka) оправдан, когда интенсивность фоновых операций начинает перегружать основную базу данных. Если в системе генерируются тысячи задач в секунду, операции с очередью в PostgreSQL создают избыточный объем журнала упреждающей записи (WAL) и усложняют очистку устаревших строк.
Специализированные брокеры оптимизированы под высокие нагрузки, поддерживают гибкую маршрутизацию, шардирование и потоковую обработку. При этом архитектура усложняется: команде приходится настраивать мониторинг, резервное копирование и решать задачу согласованности между базой данных и очередью.
Стратегия повторов и обработка сбоев
Сбои во внешних сервисах, кратковременные сетевые задержки и конфликты блокировок неизбежны. Надежный воркер должен разделять ошибки на временные и фатальные. Невалидные данные или нарушенные бизнес-правила не должны отправляться на повтор, так как они завершатся ошибкой при любой попытке.
Для временных сбоев необходимо использовать экспоненциальную задержку (exponential backoff) со случайным смещением (jitter). Это исключает лавинообразную нагрузку на восстанавливающийся сервис. Если число попыток исчерпано, задача переносится в очередь недоставленных сообщений (Dead Letter Queue) для дальнейшего ручного разбора.
Идемпотентность и гарантия доставки
Большинство распределенных очередей обеспечивают семантику доставки at-least-once (как минимум один раз). Это означает, что воркер может получить одну и ту же задачу повторно. Например, если обработка прошла успешно, но процесс аварийно завершился до отправки подтверждения в очередь, задача вернется на выполнение.
Чтобы предотвратить дублирование действий (повторные списания, отправку нескольких писем), обработчики обязаны быть идемпотентными. Это достигается за счет уникальных идентификаторов операций, ограничений уникальности в базе данных или атомарной смены статуса задачи с проверкой текущего состояния.
Корректное завершение работы (Graceful Shutdown)
При обновлении сервиса или перезапуске контейнера операционная система отправляет процессу сигналы SIGTERM или SIGINT. Мгновенное завершение приложения прерывает выполняемые операции, оставляя внешние системы в неопределенном состоянии, а строки в базе — заблокированными до истечения таймаутов.
В сервисах на Go завершение настраивается через signal.NotifyContext. Получив сигнал остановки, диспетчер перестает забирать новые задачи из очереди и ожидает завершения текущих горутин в течение заданного лимита времени (context.WithTimeout). Если задача не успевает завершиться, транзакция откатывается, а блокировка снимается, чтобы задачу мог обработать другой узел.