File Log Receiver
Source:: https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/receiver/filelogreceiver
Читает и парсит логи.
Параметры
| Field | Default | Description |
|---|---|---|
include | обязательный | Список шаблонов glob для файлов, которые нужно прочитать. |
exclude | [] | Список шаблонов glob для исключения из чтения. Это применяется к путям, соответствующим include. |
exclude_older_than | Исключает файлы, время изменения которых старше указанного возраста. | |
start_at | end | При запуске, откуда начинать чтение логов из файла. Опции: beginning или end. |
multiline | Блок конфигурации multiline. См. ниже для получения дополнительных сведений. | |
force_flush_period | 500ms | Время с момента последнего обнаружения новых данных в файле, после которого может быть выдан частичный лог в конце файла. |
encoding | utf-8 | Кодировка читаемого файла. См. список поддерживаемых кодировок ниже для доступных опций. |
preserve_leading_whitespaces | false | Сохранять ли ведущие пробелы. |
preserve_trailing_whitespaces | false | Сохранять ли конечные пробелы. |
include_file_name | true | Добавлять ли имя файла в качестве атрибута log.file.name. |
include_file_path | false | Добавлять ли путь к файлу в качестве атрибута log.file.path. |
include_file_name_resolved | false | Добавлять ли имя файла после разрешения символических ссылок в качестве атрибута log.file.name_resolved. |
include_file_path_resolved | false | Добавлять ли путь к файлу после разрешения символических ссылок в качестве атрибута log.file.path_resolved. |
include_file_owner_name | false | Добавлять ли имя владельца файла в качестве атрибута log.file.owner.name. Не поддерживается для Windows. |
include_file_owner_group_name | false | Добавлять ли имя группы владельца файла в качестве атрибута log.file.owner.group.name. Не поддерживается для Windows. |
include_file_record_number | false | Добавлять ли номер записи в файле в качестве атрибута log.file.record_number. |
poll_interval | 200ms | Продолжительность между опросами файловой системы. |
fingerprint_size | 1kb | Количество байтов, используемых для идентификации файла. Первые байты в файле используются в качестве отпечатка. Уменьшение этого значения в любой момент приведет к забыванию существующих отпечатков, что означает, что все файлы будут прочитаны с самого начала (один раз). |
max_log_size | 1MiB | Максимальный размер записи лога для чтения. Запись лога будет обрезана, если она больше max_log_size. Защищает от чтения больших объемов данных в память. |
max_concurrent_files | 1024 | Максимальное количество лог-файлов, из которых логи будут читаться одновременно. Если количество файлов, соответствующих шаблону include, превышает это число, файлы будут обрабатываться партиями. |
max_batches | 0 | Применимо только когда файлы должны быть разбиты на партии для соблюдения max_concurrent_files. Это значение ограничивает количество партий, которые будут обработаны за один интервал опроса. Значение 0 указывает на отсутствие лимита. |
delete_after_read | false | Если true, каждый лог-файл будет прочитан и затем немедленно удален. Требует, чтобы был включен флаг функции filelog.allowFileDeletion. Должно быть false, когда start_at установлено в end. |
acquire_fs_lock | false | Пытаться ли получить блокировку файловой системы перед чтением файла (только Unix). |
attributes | {} | Карта пар ключ: значение, добавляемая к атрибутам записи. |
resource | {} | Карта пар ключ: значение, добавляемая к ресурсам записи. |
operators | [] | Массив операторов. См. ниже для получения дополнительных сведений. |
storage | none | ID расширения хранения Storage Extension, который будет использоваться для хранения смещений файлов. Смещения файлов позволяют получателю продолжать с того места, где он остановился в случае перезапуска коллектора. Если не используется расширение хранения, получатель будет управлять смещениями только в памяти. |
header | nil | Указывает параметры для парсинга заголовков метаданных. Требует, чтобы был включен флаг функции filelog.allowHeaderMetadataParsing. См. ниже для получения дополнительных сведений. Не должно быть установлено, когда start_at установлено в end. |
header.pattern | обязательный для парсинга заголовков метаданных | Регулярное выражение, которое соответствует каждой строке заголовка. |
header.metadata_operators | обязательный для парсинга заголовков метаданных | Список операторов, используемых для парсинга метаданных из заголовка. |
retry_on_failure.enabled | false | Если true, получатель приостановит чтение файла и попытается повторно отправить текущую партию логов, если возникнет ошибка от компонент downstream. |
retry_on_failure.initial_interval | 1s | Время ожидания после первой ошибки перед повторной попыткой. |
retry_on_failure.max_interval | 30s | Верхний предел на время ожидания повторной попытки интервала. Как только это значение достигнуто, задержка между последовательными попытками останется постоянной. |
retry_on_failure.max_elapsed_time | 5m | Максимальное количество времени (включая повторы), потраченного на попытки отправки партии логов компоненту downstream. Как только это значение достигнуто, данные будут отброшены. Повторные попытки никогда не прекращаются, если установлено значение 0. |
ordering_criteria.regex | Регулярное выражение, используемое для сортировки, должно содержать именованные группы захвата, которые будут использоваться в regex_key. | |
ordering_criteria.gropup_by | Регулярное выражение, используемое для группировки, которая выполняется до сортировки. Должно содержать именованные группы захвата. | |
ordering_criteria.top_n | 1 | Количество файлов для отслеживания при использовании упорядочивания файлов. Отслеживаются верхние N файлов после применения критериев упорядочивания. |
ordering_criteria.sort_by.sort_type | Тип сортировки, которая будет выполнена (например, numeric, alphabetical, timestamp, mtime) | |
ordering_criteria.sort_by.location | Уместно, если sort_type установлен на timestamp. Определяет местоположение временной метки файла. | |
ordering_criteria.sort_by.format | Уместно, если sort_type установлен на timestamp. Определяет формат strptime временной метки, которая сортируется. | |
ordering_criteria.sort_by.ascending | Направление сортировки. | |
compression | Указывает формат сжатия входных файлов. Если установлено соответствующим образом, файлы будут читаться с использованием считывателя, который распаковывает файл перед сканированием его содержимого. Опции: “ или gzip |