갴발자 디찌 갴발자 디찌

Kafka 없이 데이터를 처리할 때의 복잡성서버 간 직접 연결: 여러 서버가 서로 다른 데이터를 교환하거나 서로 필요한 데이터를 받아오기 위해 서버 간 직접적인 연결을 설정해야 합니다. 예를 들어, 서버 A에서 생성된 데이터를 서버 B, C, D가 각각 받으려면, 각 서버 간에 개별적으로 데이터를 주고받는 코드를 작성해야 합니다.다양한 프로토콜: 각 서버가 데이터를 다르게 처리하거나, 사용하는 통신 프로토콜이나 데이터 포맷이 다를 경우, 데이터 변환과 통신을 위한 코드가 더 복잡해질 수 있습니다.실시간 데이터 처리의 어려움: 데이터를 실시간으로 여러 곳에서 동시에 처리하려면, 각각의 서버 간 데이터 동기화를 관리해야 하며, 이 역시 복잡한 문제로 이어집니다.이렇게 여러 서버 간에 직접 데이터를 주고받는 ..

Contents  -->  1. Kafka는 무엇이며, 등장배경 kafka가 등장하기전 대부분 데이터 etl(추출,변환,로드) 에 작업들은 배치 워크프로세스로 진행되는 경우가 많았습니다.kafka는 위와같은 작업을 실시간 데이터 피드 방식으로 진행하는 서버입니다.카프카(Kafka)는 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 설계된 고성능 분산 이벤트 스트리밍 플랫폼이다. 1.1 등장 배경기존 어플리케이션에서 사용자에 대한 상태데이터가 존재하고 해당 데이터를 통해 분석을 하기위해 메트릭 서버가 존재한다고 가정하자. 해당 메트릭서버는 프론트서버에서 사용자 상태데이터를 받고 데이터를 저장한다. 그렇다면 위 같이 간단한 구조가 완성된다.   하지만 시간이 흘러 서비스는 점점..