KAFKA2 Kafka Partition Replication, ISR 그리고 Producer Acks Kafka Partition 복제 Kafka 에서는 가용성을 위해 replication 을 제공한다. 이 때 kafka 에서 replication은 각 Topic 의 partition 들을 다른 브로커들로 복제하는 것을 말한다. topic 생성 시, replication 수를 지정할 수 있으며, replication-factor option 값을 지정하여 설정 (default.replication.factor = 1) 이 때, replication-factor 의 경우, broker(node) 수를 넘지 못한다. ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3 --topic sample.. 2024. 1. 7. Kafka Streams kafka streams - kafka 에서 공식적으로 지원하는 라이브러리 토픽에있는 데이터를 낮은 지연률로 빠른 속도로 데이터 처리 가능 장점 1. 카프카와의 호환성 카프카의 버전정보에 대해 다른 툴들은 완벽한 호환성을 제공하지 않지만 카프카 스트림즈는 카프카 호환성을 걱정하지 않아도 된다. 유실과 중복 처리 방지에 대한 완벽한 기능을 제공하고 있다. 2. 스케줄링 도구가 필요없다 스파크 스트리밍과 연동해서 사용한다면 마이크로 배치 서비스를 구축 할 수 있지만 이를 위해 클러스터 관리자, 리소스 관리자가 필요하고 또한 서버들도 필요합니다. 하지만 Kafka Streams는 다른 것 필요없이 스트림즈 어플리케이션만 가지고 사용할 수 있습니다. 3. 스트림즈 DSL , 프로세서 API 제공 많은 기능들을 .. 2022. 1. 20. 이전 1 다음
