Kafka API

💿 Kafka API

Kafka API

• Kafka Producer API: directly producing data
• Kafka Connect Source API: bridging between a datastores we don’t control and kafka
• KafkaStreams API/KSQL: App wanting to consume from Kafka and produce back into Kafka, also called stream processing
  • Use KSQL can write your real time job as SQL-like
• Kafka Consumer API: Read a stream and perfrom real-time action on it
• Kafka Connect Sink API: Read a stream and store it into a target store
  • Kafa to S3, Kafka to HDFS, KafKa to (R)DBMS

분류

위의 것들을 크게 나누자면 3가지 이다.

• Conntector 계열: 분산 커넥트를 구축해야함
  • Source & Sink API
  • connect-api 사용
• Producer / Consumer 계열: 인프라(분산 커넥트) 구축 X
  • Producer & Consumer API
  • kafka-client 사용
  • spring kafka(어드민, 컨슈머, 프로듀서, 스트림즈 제공)
• Stream 계열
  • Kfka Streams

💿 Kafka Connector

특정한 작업 형태를 템플릿으로 만들어 놓은 커넥터를 실행함으로서 반복 작업을 줄일 수 있다.

분류

• 소스 커넥터: 데이터를 토픽으로 전송(프로듀서 역할)
• 싱크 커넥터: 토픽의 데이터를 다른 저장소에 저장(컨슈머 역할)

구성

• 사용자가 커넥트에 커넥터 생성 명령을 내리면 커넥트는 내부에 커넥터와 태스크를 생성
  • 보통 Task는 실질적인 데이터를 처리하기 때문에 Custom하여 사용
• 커넥터를 사용하여 파이프라인을 생성할 때 converter 와 Trasform 기능을 옵션으로 추가할 수 있다.
  • 컨버터: 데이터를 처리하기 전에 스키마를 변경하도록 도와준다.
    • JsonConverter, StringConverter, ByteConverter를 지원
    • 아니면 직접 CustomConver를 작성 가능
  • Tramsform: 데이터 처리 시 각 메시지 단위로 데이터를 간단하게 변환하기 위한 용도
    • Json 데이터를 커넥터에서 사용할때 특정 키를 삭제하거나 추가 가능
    • Cast, Drop, ExtractField 등이 기본적으로 제공

💿 Kafka Connector 실행

단일 모드

하나의 프로세스에 1하나의 커넥트가 실행되어 그룹의 개념 없이 혼자 모든 데이터를 처리

분산 모드

2개 이상의 프로세스가 1개의 그룹으로 묶여서 운영

• 1개의 커넥트 프로세스에 이슈가 발생하여 종료되더라도 살아있는 나머지 1개 커넥트 프로세스가 커넥터를 이어받아서 파이프라인을 지속적으로 실행

__

💿 장점 과 단점

Kafka Producer(Consumer) API

• 장점
  • Extremely simple to use
  • multithread로 구성 가능
  • 분산 커넥트 구축 필요 없음
  • perfectly suited for applications directly emitting stream of data such as logs, clickstreams, IOT
• 단점
  • Producer API can be extended and built upon to do a lot more thing
  • this will requre engineers to write a lot of added logic
  • How to track the source offset(how to resume if stopped)
  • How to distribute the load for your ETL(converter, transformer) across many producers

Connect Source(Sink) Connect API

• 장점
  • built so that developers would get a nicer API made for
    • producer tasks distribution for parallel processing
    • easy mechanism to resume your producers
    • 태스크 마다 다르 config 가능
  • bustiling variety of available connectors
• 단점
  • 분산 커넥트를 직접 구성해야 함
  • 단점을 잘 모르겠음