Avro и реестр схем: сохранить связь архивного сообщения

Запросить

Архив телеметрии может содержать сообщения нескольких поколений устройств. Для их разбора важно знать схему записи, а не просто получить последнюю доступную схему с похожим названием. Если связь с реестром потеряна, сохранённые байты могут оказаться практически непригодными для достоверного восстановления истории хозяйства.

Уточнить конкретный формат

Документация Confluent описывает формат сериализации с идентификатором схемы. (Confluent — Schema Formats for Schema Registry) Это пример конкретной реализации, а не утверждение, что любой Avro пакет имеет одинаковый заголовок. Запишите версии сериализатора и приёмника, расположение метаданных и документированный способ получения соответствующей схемы.

Не путайте идентификатор схемы, версию объекта в реестре и прикладной номер устройства. Даже если интерфейс показывает их рядом, они выполняют разные роли. Сохраните источник каждого поля и область, в которой его значение имеет смысл, особенно при нескольких реестрах.

Проверить два поколения сообщений

Создайте собственные учебные данные по двум поддерживаемым схемам с различимым содержимым. Сохраните исходные байты и точные сведения, достаточные для восстановления схемы записи. Затем выполните декодирование старого и нового сообщения через рабочий путь приложения.

Не подменяйте схему записи значением latest только ради успешного вызова API. Если используется схема чтения, её совместимость также должна соответствовать документированному механизму реализации. Успешно полученный объект ещё нужно сравнить с известным смыслом исходных полей и единиц.

Увеличить схемуОткрыть отдельно

Исследовать доступность реестра

На стенде проверьте поведение потребителя при временной недоступности сервиса схем. Уточните, какие определения кэшируются, где и на какой срок по фактической реализации. Не обещайте чтение всего архива без реестра только потому, что одна недавно использованная схема оказалась в памяти.

Проверьте восстановление после перезапуска потребителя с пустым допустимым кэшем. Наличие сырого сообщения должно сохраняться, если разбор временно невозможен. Ошибка получения схемы не должна превращаться в нулевое измерение или удаление исходных байтов без понятного статуса.

Оформить перенос и долговременное хранение

При миграции реестра сохраните документированное соответствие, необходимое для прежних сообщений. Нельзя считать одинаковые числовые идентификаторы в независимых системах одной схемой без подтверждения. План резервирования должен охватывать не только поток байтов, но и нужные для его понимания определения.

Приёмка завершается чтением старых и новых данных после предусмотренного восстановления. Для хозяйства результатом становится объяснимая связь между сообщением и форматом его записи. Она сохраняет смысл архива при обновлении программ и не зависит от случайного текущего значения последней опубликованной схемы.

Все разборы