Kubernetes 1 💿 컨트롤 플레인(마스터) https://startkubernetes.com/blog/k8s_master_and_worker_nodes kube-api-server 쿠버네티스 시스템 컴포넌트는 오직 API 서버와 통신 컴포넌트끼리 서로 직접 통신X 때문에 etcd와 통신하는 유일한 컴포넌트 API 서...

Kubernetes 0 💿 도커 컨테이너와 가상머신 가상머신: 운영체제 위헤 하드웨어를 에뮬레이션하고 그 위에 운영체제를 올리고 프로세스를 실행 컨테이너: 하드웨어 에뮬레이션 없이 리눅스 커널을 공유해서 바로 프로세스를 실행 $ docker version Client: Docker Engine - Community Versi...

Programming Skills 2 💿 Serverless Baas 와 Faas에 의존하는 아키텍처를 Serverless() Bass: 자주 필요한 사용자 관리 및 접속 제어, 푸시 알림, 데이터 저장, 누리 소통망 서비스(SNS), 위치 서비스 등의 백엔드 기능을 구현하기 위해 코드를 직접 개발해야 한다. 그러나 서비스형 백엔드(B...

Programming Skills 1 💿 BackEnd 일의 범위 사용자에게 보이는 웹 어플리케이션 개발뿐만 아니라 데이터 분석을 위한 엔지니어링, 분산시스템이나 DBMS와 같은 제품을 만드는 개발자들도 백엔드에 속함 그 대상이나 하는 일이 상대적으로 모호 서버관리 DB관리 프런트엔드 개...

Kafka API 💿 Kafka API Kafka API Kafka Producer API: directly producing data Kafka Connect Source API: bridging between a datastores we don’t control and kafka KafkaStreams API/KSQL: A...

Apache Kafka 2 💿 브로커, 클러스터, 주키퍼 브로커 클라이언트와 데이터를 주고받기 위해 사용하는 주체이자, 데이터를 분산 저장하여 장애가 발생하더라도 안전하게 사용할 수 있도록 도와주는 App 데이터 저장, 전송: 프로듀서로 부터 전달된 데이터는 파일 시스템에 저장 되며 컨슈머가 데이터를 요청하면 파티션에 저장된 저...

Apache Kafka 1 💿 카프카의 탄생 아키텍쳐가 거대해지고 소스 애플리케이션과 타깃 App의 개수가 점점 많아지면서 서로를 연결하는 파이프라인의 개수가 많아 졌다. 그러ㅕ면서 소스코드 및 버전 관리에서 이슈가 생겼다 그리고 타깃 App에 장애가 상길 경우 그 영향이 소스 App에 그대로 전달되었다. 즉 파편화된 데이터 파이프라인은 치명...

Data Engineering Kafka Pub-Sub 모델의 메시지 큐 분산환경에 특화 💿 구성 Event Producer와 Consumer가 데이터를 주고 받는 단위 Producer 데이터를 발생시키고 카프카 클러스터(Kafka Cluster)에 적재하는 프로세스 Kafka Cluster ...

SIY Spring Cloud Feign(RabbitMQ) 💿 구성 FeignClient: MSA 통신 Resilience4J Hystrics(CircuitBreaker): Circuit breaker 패턴을 자바 기반으로 오픈소스화한 라이브러리 Bulkhead RateLimiter ...

SIY Spring Cloud Config(RabbitMQ) actuator를 통해 원격에서 REST API를 통해 서비스를 Refresh 시킬 수 있습니다. 즉 설정파일이 바뀌었다고 프로젝트를 다시 빌드할 필요가 없어졌습니다. 또한, 실행중에 빌드, 배포 없이 동적으로 변경시킬 수 있습니다. 💿 준비 RabbitMQ 설치 ...