Apache Kafka 3.8

У червні поточного року відбувся реліз Apache Kafka 3.8, попередня версія 3.7 стала доступною в лютому, і на осінь 2024 року заплановано випуск наступної версії 3.9. Даний інструмент потрібен для побудови event-driven додатків і конвеєрів даних. Версія 3.8 має поліпшення безпеки, підтримку JBOD, а також можливість видалення конфігурацій.

​Основні зміни стосуються:

• Додано механізм конфігурації топіка, продюсера і брокера для того, щоб вказувати необхідний рівень стиснення, а також додано 3 цілочисельних параметра для zstd, gzip і lz4.
• З'явилася повноцінна підтримка JBOD для можливості вести кілька каталогів для кожного брокера. Ця підтримка дуже важлива для розгортання великих проєктів.
• У разі недоступності відомих брокерів стало можливим повторювати процес завантаження під час оновлення метаданих.
• Додано можливість спільного використання сховища в Kafka Streams. Така зміна дасть змогу використовувати дані без необхідності дублювання. Також у застосунках Streams додано нові метрики для пошуку проблем із продуктивність і витоків.
• Для уникнення необмеженого доступу та поліпшення безпеки з'явилася можливість обмежувати файли. Ба більше, з'явилася можливість налаштовувати тайм-аут під час читання з віддаленого сховища.
• У створенні коду для версії 3.8 брало участь понад 200 розробників та інших контрибуторів.