Что значит «после запуска» на телеком-платформе в США
Платформа биллинга и MVNO и команда из двенадцати человек: как связаны релизы, логи, мониторинг и разбор ошибок.
С 2021 года наш основатель — ведущий архитектор телеком-платформы в США: консолидированный биллинг, мобильные линии в крупных национальных сетях, дилерская сеть, порталы для клиентов и администраторов, мобильные приложения. Над ней работают более двенадцати инженеров — бэкенд, фронтенд, мобильная разработка и автотесты.
Такая система никогда не бывает готовой. Операторы меняют API, дилеры находят новые сценарии в портале, а неудачный платёж в три часа ночи — это клиент без связи. Разработка — меньшая часть работы.
Что держит её в рабочем состоянии
- Пайплайн на каждый merge request: сборка, тесты и ревью до того, как код попадёт в общую ветку.
- Отдельная ветка на каждое окружение, чтобы в продакшене всегда работал известный коммит.
- Структурированные логи в одном месте с поиском по клиенту, линии или запросу — вместо чтения файлов на серверах.
- Мониторинг серверов с алертами по диску, CPU и базе данных раньше, чем заметят пользователи.
- Ошибки из продакшена превращаются в задачи с причиной, найденной в коде, — порциями, которые реально можно исправить.
Что мы поняли
Большинство инцидентов — не экзотические баги. Это интеграция, изменившаяся без предупреждения, задача, которая тихо остановилась, лимит, который никто не записал. Решение скучное, но работает: каждая внешняя зависимость видна, в лог пишется решение, а не только ошибка, и за каждую часть системы отвечает конкретный человек.
Так MARSO работает с каждым клиентом: те, кто проектирует систему, отвечают, когда она ломается.