NATS Stream DuplicateWindow

DuplicateWindow — временное «скользящее окно» для дедупликации сообщений в стриме на основе заголовка Nats-Msg-Id.

Как работает

• Клиент при публикации устанавливает Nats-Msg-Id (через заголовок или API клиента).
• JetStream запоминает идентификаторы сообщений, которые были успешно записаны, на время, заданное в DuplicateWindow.
• Если в пределах этого окна приходит новое сообщение с тем же Nats-Msg-Id (независимо от subject), оно считается дубликатом и:
  • не сохраняется повторно в стрим;
  • продюсер получает ack, что «сообщение принято», хотя фактически оно не было записано второй раз.
• По истечении DuplicateWindow тот же Nats-Msg-Id больше не считается дубликатом и сообщение будет записано как новое.

Зачем нужно

• Обеспечить идемпотентную запись сообщений при повторных попытках публикации (retries) со стороны продьюсера.
• Защититься от дубликатов при:
  • сетевых повторах;
  • повторных публикациях после неопределённого статуса (продьюсер не получил ack и публикует ещё раз).

Что учитывать при выборе значения

• Слишком маленький DuplicateWindow:
  • дубликаты, пришедшие позже окна, всё-таки попадут в стрим.
• Слишком большой DuplicateWindow:
  • растут накладные расходы на хранение истории Nats-Msg-Id;
  • при повторном использовании идентификаторов через долгое время сообщения могут считаться дубликатами и не записываться.
• Типовой подход:
  • выбирать окно, сопоставимое с максимальным ожиданием ack и максимальным временем работы retry-логики продюсера.