💡 스트리밍 SQL이 비즈니스 속도를 10배 높이는 구축 전략 및 코드 적용 사례 비결!

[cloudbro-radar]

스트리밍 SQL 기반 마이크로서비스가 실시간 데이터 분석을 복잡한 코딩 없이 SQL로 실시간 비즈니스 로직을 구현하고, 아래의 실제 구현 방식을 확인하셔서 즉각적인 인사이트를 만들어보세요!

주요 기능 효과 및 이점

• 실시간 인사이트:
  • 고객 행동, 시장 동향을 실시간으로 파악하여 즉각적인 의사결정을 내릴 수 있습니다.
• 개발 효율성 극대화:
  • 복잡한 데이터 파이프라인 구축 대신, 친숙한 SQL로 실시간 애플리케이션을 쉽게 개발할 수 있습니다.
• 비즈니스 민첩성 향상:
  • 변화하는 시장 상황에 빠르게 대응하고, 새로운 비즈니스 모델을 유연하게 적용할 수 있습니다.
• 비용 절감:
  • 기존의 복잡한 시스템 구축 및 유지보수 비용을 절감하여 효율적인 자원 배분이 가능합니다.

"코드를 한 번 작성하면 모든 곳에서 실행된다"는 스트리밍 SQL의 철학은 데이터 처리의 패러다임을 바꾸고 있습니다. 더 이상 데이터 엔지니어링의 복잡성에 얽매이지 않고, 핵심 비즈니스 로직에 집중하여 더 큰 가치를 창출할 수 있습니다.

상세 정보 및 실제 구현 예제

• 내장 함수, UDF, 물리화된 결과, 그리고 ML 및 AI 모델과의 통합은 스트리밍 SQL을 마이크로서비스 구축 시 매력적인 선택지로 만듭니다.

• 전통적인 데이터베이스(예: Postgres)에서의 SQL 쿼리는 경계가 있는 쿼리로, 데이터베이스 내의 유한한 데이터 집합을 대상으로 동작합니다. 이 경계 데이터에는 쿼리가 실행되는 시점에 존재하던 데이터만 포함됩니다. 쿼리 실행 이후에 발생한 데이터 집합의 변경 사항은 최종 결과에 포함되지 않습니다. 대신, 새로운 데이터를 포함하려면 다시 쿼리를 실행해야 합니다.

• 반면, 스트리밍 SQL 쿼리는 제한되지 않은 데이터 집합, 가장 일반적으로는 하나 이상의 이벤트 스트림을 대상으로 동작합니다. 이 모델에서 스트리밍 SQL 엔진은 스트림으로부터 이벤트를 하나씩 소비하며, 타임스탬프와 오프셋에 따라 이를 정렬합니다.

• 또한 스트리밍 SQL 쿼리는 무기한 실행되며, 입력으로 이벤트가 도착하는 즉시 이를 처리하고, 상태 저장소를 갱신하며, 결과를 계산하고, 나아가 하위 스트림으로 이벤트를 출력하기도 합니다.

• 패턴 1: AI 및 머신러닝과의 통합

목록의 첫 번째로, 스트리밍 SQL은 SQL 코드에서 인공지능(AI) 및 머신러닝(ML) 모델과의 직접적인 통합을 지원합니다. 스트리밍 SQL을 통해 AI 또는 ML 모델에 접근하는 것은 그 어느 때보다 쉬워졌습니다.

• AI가 다양한 비즈니스 워크로드의 유력한 대안으로 부상함에 따라, 스트리밍 SQL은 별도의 전용 마이크로서비스를 띄우고, 실행하고, 관리할 필요 없이 이벤트 기반 방식으로 모델을 활용할 수 있는 기능을 제공합니다. 이 패턴은 사용자 정의 함수(UDF) 패턴과 유사하게 동작합니다. 즉, 모델을 생성하고, 사용하도록 등록한 뒤, SQL 쿼리 안에서 인라인으로 호출하면 됩니다.

• Flink 문서에서는 모델을 연결하는 방법에 대해 더 자세히 설명하고 있습니다:

CREATE MODEL sentiment_analysis_model 
INPUT (text STRING COMMENT 'Input text for sentiment analysis') 
OUTPUT (sentiment STRING COMMENT 'Predicted sentiment (positive/negative/neutral/mixed)')
COMMENT 'A model for sentiment analysis of text'
WITH (
    'provider' = 'openai',
    'endpoint' = 'https://api.openai.com/v1/chat/completions',
    'api-key' = '<YOUR KEY>',
    'model'='gpt-3.5-turbo',
    'system-prompt' = 'Classify the text below into one of the following labels: [positive, negative, neutral, mixed]. Output only the label.'
);

• • 모델 선언은 스트리밍 SQL 코드에서 해당 모델을 사용할 수 있도록 해주는 일련의 연결 설정과 구성이라고 볼 수 있습니다. 예를 들어, 이 모델 선언을 사용하면 이벤트에 포함된 텍스트 본문에 대해 감성 분석을 수행할 수 있습니다.

  • 여기서 ML_PREDICT는 사용되는 구체적인 모델 이름과 텍스트 파라미터를 모두 필요로 한다는 점에 유의해야 합니다. _

INSERT INTO my_sentiment_results 
    SELECT text, sentiment 
    FROM input_event_stream, LATERAL TABLE(ML_PREDICT('sentiment_analysis_model', text));

• 패턴 2: 함수로 구현하는 맞춤형 비즈니스 로직

  • 스트리밍 SQL은 다양한 함수를 기본적으로 제공하지만, 모든 기능을 언어 문법에 포함시키는 것은 현실적으로 불가능합니다. 이 지점에서 **사용자 정의 함수(UDF)**가 등장합니다. UDF는 사용자가 직접 정의한 함수로, SQL 문 안에서 프로그램이 이를 실행할 수 있습니다.

  • UDF는 핵심 SQL 문법에서 지원하지 않는 외부 시스템 호출이나 사이드 이펙트 생성도 수행할 수 있습니다. 이를 위해, 독립적인 파일에 함수 코드를 구현한 뒤, SQL 문을 실행하기 전에 해당 함수를 스트리밍 SQL 서비스에 업로드합니다.

  • 이제 Flink 예제를 하나 살펴보겠습니다.

// Declare the UDF in a separate java file
import org.apache.flink.table.api.*;
import org.apache.flink.table.functions.ScalarFunction;
import static org.apache.flink.table.api.Expressions.*;

//Returns 2 for high risk, 1 for normal risk, 0 for low risk.
public static class DefaultRiskUDF extends ScalarFunction {
  public Integer eval(Integer debt, 
    Integer interest_basis_points, 
    Integer annual_repayment,
    Integer timespan_in_years) throws Exception {

    int computed_debt = debt;

   	 for (int i = 0; i < timespan_in_years; i++) {
    	    computed_debt = computed_debt + 
(computed_debt * 
interest_basis_points / 10000)
- annual_repayment;
   	 }
    	if ( computed_debt >= debt )
return 2;
else if ( computed_debt < debt && computed_debt > debt / 2)
return 1;
else
return 0;
}

• • 다음으로, Java 파일을 JAR 파일로 컴파일한 뒤 스트리밍 SQL 프레임워크가 접근할 수 있는 위치에 업로드해야 합니다. JAR가 로드되면 프레임워크에 이를 등록해야 하며, 이후 스트리밍 SQL 문에서 해당 함수를 사용할 수 있습니다.
  • 아래는 등록과 호출 문법에 대한 아주 간단한 예시입니다.

-- Register the function.
CREATE FUNCTION DefaultRiskUDF
  AS 'com.namespace.SubstringUDF'
  USING JAR '<path-to-jar>';

-- Invoke the function to compute the risk of:
-- 100k debt over 15 years, 4% interest rate (400 basis points), and a 10k annual repayment rate
SELECT UserId, DefaultRiskUDF(100000, 400, 10000, 15) AS RiskRating
FROM UserFinances
WHERE RiskRating >= 1;

• • 이 UDF를 사용하면 대출자가 대출을 **연체(디폴트)**할 위험을 계산할 수 있으며, 낮은 위험과 보통 위험에 대해서는 각각 0과 1을 반환하고, 고위험 차입자 또는 위험 상태의 계정에 대해서는 2 값을 반환합니다.

  • 이 UDF는 비교적 단순하고 다소 인위적인 예시이지만, 표준 Java 라이브러리 내의 거의 모든 기능을 활용해 훨씬 더 복잡한 연산을 수행할 수 있습니다. 스트리밍 SQL 솔루션에 없는 기능을 얻기 위해 굳이 전체 마이크로서비스를 구축할 필요는 없습니다. 대신, 부족한 기능을 구현해 업로드한 다음, 코드에서 인라인으로 직접 호출하면 됩니다.

• 패턴 3: 기본 필터, 집계, 조인

  • 이 패턴은 스트리밍 SQL 프레임워크에 기본으로 내장된(하지만 강력한) 기능들로 다시 초점을 옮깁니다. 스트리밍 SQL의 대표적인 활용 사례 중 하나는 단순 필터링으로, 특정 조건을 만족하는 레코드만 유지하고 나머지는 버리는 방식입니다.
  • 아래 예시는 total_price > 10.00인 레코드만 반환하는 SQL 필터를 보여주며, 이 결과를 결과 테이블로 출력하거나 이벤트 시퀀스 형태의 스트림으로 내보낼 수 있습니다.

SELECT *
FROM orders
WHERE total_price > 10.00;

• • 윈도잉과 집계는 스트리밍 SQL에서 또 하나의 강력한 구성 요소입니다. 이 보안 예제에서는 1분 텀블링 윈도우 내에서 특정 사용자가 로그인 시도를 몇 번 했는지를 집계합니다(슬라이딩, 세션 등 다른 윈도우 타입도 사용할 수 있습니다).

SELECT 
    COUNT(user_id) AS login_count, 
    TUMBLE_START(event_time, INTERVAL '1' MINUTE) AS window_start
FROM login_attempts
GROUP BY TUMBLE(event_time, INTERVAL '1' MINUTE);

• • 윈도우 내 로그인 시도 횟수를 구한 뒤, 그 값이 일정 기준(예: > 10)을 초과하는 경우를 필터링하여, 해킹 방지 기능으로 UDF 내부의 비즈니스 로직을 트리거해 일시적으로 계정을 잠그도록 할 수 있습니다.
  • 마지막으로, 몇 가지 간단한 명령만으로도 여러 스트림의 데이터를 조인할 수 있습니다. 스트림을 스트림(또는 테이블)으로 조인하는 작업은 스트리밍 프레임워크 없이는, 특히 장애 허용성, 확장성, 성능을 고려할 때 상당히 구현하기 어렵습니다. 이 예제에서는 제품 ID를 기준으로 Orders 데이터와 Product 데이터를 조인하여, 확장된 Order + Product 결과를 반환합니다.

SELECT * FROM Orders
INNER JOIN Product
ON Orders.productId = Product.id

• • 모든 스트리밍 프레임워크(SQL 여부와 관계없이)가 기본 키–외래 키 조인을 지원하는 것은 아니라는 점에 유의해야 합니다. 일부는 기본 키–기본 키 조인만 허용합니다. 이유를 간단히 말하면, 장애 허용성, 확장성, 성능을 함께 고려할 때 이러한 조인 유형을 구현하는 것이 상당히 어렵기 때문입니다. 실제로 사용 중인 스트리밍 SQL 프레임워크가 조인을 어떻게 처리하는지, 외래 키와 기본 키 조인을 모두 지원하는지, 아니면 후자만 지원하는지를 반드시 검토해야 합니다.
  • 지금까지 스트리밍 SQL의 몇 가지 기본 기능을 살펴보았지만, 아직 이 쿼리 결과들이 더 복잡한 무언가를 구동하고 있지는 않습니다. 현재 상태로는, 이 결과들을 하위 서비스가 소비하도록 또 다른 이벤트 스트림으로 출력하는 수준에 머무르게 됩니다. 이는 다음 패턴인 **사이드카(sidecar)**로 이어집니다.

• 패턴 4: 스트리밍 SQL 사이드카

  • 스트리밍 SQL 사이드카 패턴은 Flink나 Kafka Streams와 같은 완전한 기능을 갖춘 스트림 처리 엔진의 기능을, 비즈니스 로직을 동일한 언어로 작성하지 않고도 활용할 수 있게 해줍니다.
  • 스트리밍 SQL 컴포넌트는 집계, 조인과 같은 풍부한 스트림 처리 기능을 제공하고, 하위 애플리케이션은 자신만의 독립적인 런타임에서 결과 이벤트 스트림을 처리합니다.

• • 이 예제에서 INTERNAL_STREAM은 SQL 사이드카가 결과를 기록하는 Kafka 토픽입니다. 사이드카 기반 이벤트 드리븐 서비스는 INTERNAL_STREAM으로부터 이벤트를 소비하여 적절히 처리하고, 경우에 따라 OUTPUT_STREAM으로 이벤트를 다시 발행할 수도 있습니다.
  • 사이드카의 또 다른 일반적인 활용 방식은 웹 서비스에서 다른 애플리케이션에 제공할 데이터를 준비하는 것입니다. 이 경우 컨슈머는 INPUT_STREAM을 소비해 데이터를 처리한 뒤, 웹 서비스가 자체 상태 저장소로 물리화할 수 있도록 데이터를 제공합니다. 그 이후에는 REST나 RPC 요청과 같은 요청/응답 방식의 질의를 다른 서비스에 제공할 수 있습니다.

• • 사이드카 패턴은 다양한 추가 기능을 제공하지만, SQL 쿼리와 함께 사이드카 서비스를 직접 구축·관리·배포해야 한다는 요구사항이 따릅니다.
  • 이 패턴의 핵심적인 장점은, 전체 기술 스택을 변경하지 않고도 스트리밍 변환과 로직 처리를 스트리밍 SQL 기능에 맡길 수 있다는 점입니다. 대신, 스트리밍 SQL의 결과를 기존 기술 스택에 그대로 연결하여, 지금까지 사용해온 동일한 도구들로 웹 서비스나 기타 애플리케이션을 구축할 수 있습니다.

• 추가 활용 사례

  • 각 패턴은 개별적인 연산을 독립적으로 보여주며, 이는 비교적 단순한 애플리케이션에는 충분할 수 있습니다. 그러나 더 복잡한 비즈니스 요구사항의 경우, 여러 패턴을 연쇄적으로 연결하여 앞 단계의 결과가 다음 단계로 전달되는 구조를 사용하게 될 가능성이 큽니다.
  • 예를 들어, 먼저 데이터를 필터링한 뒤 UDF를 적용하고, 이후 ML_PREDICT를 사용해 ML 또는 AI 모델을 호출할 수 있습니다. 이는 아래 예시의 전반부에 나타나 있습니다. 이어서 스트리밍 SQL은 첫 번째 ML_PREDICT의 결과를 다시 필터링하고, UDF를 적용한 다음, 최종적으로 또 다른 ML 모델로 전달한 뒤 OUTPUT_STREAM에 기록합니다. _

• • 스트리밍 SQL은 다수의 클라우드 벤더에서 서버리스 기능으로 제공되며, 스트리밍 데이터 서비스를 빠르고 쉽게 구축할 수 있는 방식으로 과금됩니다.
  • 내장 함수, UDF, 물리화된 결과, 그리고 ML 및 AI 모델과의 통합을 통해, 스트리밍 SQL은 마이크로서비스를 구축할 때 충분히 고려할 만한 대안임이 입증되었습니다.

[출처] Why your next microservices should be streaming SQL-driven | InfoWorld

| This is a space where knowledge is not merely consumed, but respected, sovereign, and connected—shared together with cloud industry professionals (Bros).|
| 지식이 소비되지 않고 존중·주권보장·연결되는 공간으로 클라우드 현업 전문가(Bro)와 함께 공유하고 있습니다. |