들어가며 GCP Serverless 서비들을를 활용한 데이터 파이프라인 구축 방법을 소개하겠습니다. 여러 GCP 서비스를 사용하여 유연하고 확장 가능한 데이터 파이프라인을 단계별로 구축해볼건데요. 이 방법을 통해 데이터 수집, 처리, 저장, 분석을 손쉽게 자동화하여 Serverless가 가진 장점을 모두가 경험해보았으면 좋겠습니다. GCP Serverless 서비스를 이용한 데이터 파이프라인 구축해보기 Serverless 서비스를 데이터 파이프라인 중간중간에 잘 […]
들어가며 안녕하세요. NNT Tech 팀입니다. NNT Tech팀의 업무 중에는 고객사의 데이터를 수집한 뒤, 이를 목적에 맞게 처리하는 데이터 파이프라인 구축 작업이 있는데요. Google Cloud Platform의 Serverless 서비스를 이용해 통해 쉽고 빠르게 데이터 파이프라인을 구축하는 방법에 대해 소개해보고자 합니다. 왜 Serverless여야 하나요? Serverless가 무엇일까요? 클라우드 환경에서 Serverless는 기존의 VM 방식이 가진 […]
마케팅 믹스 모델링(Marketing Mix Modeling, MMM)은 빠르게 변화하는 마케팅 환경에서 소비자의 관심을 끌기 위한 경쟁이 치열해지는 가운데, 마케터들이 예산을 어디에 배분해야 최대의 효과를 얻을 수 있을지에 대한 답을 제시하는 중요한 분석 기법입니다. MMM은 다양한 마케팅 채널의 효과를 측정하고, 예산 배분의 최적화를 도와줍니다. 이 글에서는 MMM이 무엇인지, 왜 중요한지, 그리고 실제 […]
들어가며 2024년 8월 21일, Google Cloud는 Cloud Functions를 Cloud Run Functions로 리브랜딩했습니다. 이는 단순한 이름 변경이 아닌, 서버리스 컴퓨팅 플랫폼의 큰 도약을 의미합니다. 자세한 내용은 Google Cloud 블로그에서 확인할 수 있습니다. Cloud Functions 2세대 함수는 자동으로 Cloud Run Functions로 변환됩니다. 기존 함수 API, gcloud 명령 등에 대한 지원이 계속되기 때문에 […]
들어가며 Google Cloud Platform(GCP)은 강력하고 유연한 클라우드 환경을 제공하지만, 잘못 관리하면 예상치 못한 높은 GCP 비용이 발생할 수 있습니다. 클라우드 환경에서 비용 관리와 최적화는 효율적인 운영의 핵심입니다. 이 글에서는 GCP에서 비용을 절감하고 안전하게 관리하기 위한 구체적인 전략과 팁을 소개하겠습니다. 비용 관리의 기초: 모니터링과 예산 설정 1. Billing Reports를 활용한 모니터링 […]
들어가며 BigQuery는 GCP(Google Cloud Platform)에서 제공하는 완전 관리형 엔터프라이즈 데이터 웨어하우스로, 대규모 데이터 분석을 수행할 수 있도록 설계되어있습니다. BigQuery는 데이터 처리량에 따라 과금이 부과되는 주문형 컴퓨팅 가격 요금제와일정한 예산 설정이 가능한 용량 컴퓨팅 가격 요금제를 제공하고 있습니다. 특히 사용량 기반 요금제의 경우, 관리와 최적화를 소홀히 할 경우 불필요한 비용이 발생할 […]
들어가며 데이터 엔지니어링의 세계는 빠르게 변화하고 있으며, 다양한 데이터 소스와 방대한 데이터 양을 효율적으로 관리하고 분석할 수 있는 도구의 필요성이 날로 커지고 있습니다. 이러한 요구를 충족시키기 위해 등장한 솔루션 중 하나가 Snowflake입니다. 본 글에서는 Snowflake의 주요 기능과 데이터 엔지니어가 이를 어떻게 활용할 수 있는지, 그리고 비용 구조에 대해 자세히 살펴보겠습니다. […]
현대 비즈니스 환경에서는 데이터 기반의 의사결정이 필수적입니다. 다양한 비즈니스 활동에서 수집되는 데이터를 분석해 인사이트를 도출하고 이를 바탕으로 빠르고 정확한 결정을 내리는 것이 기업의 성패를 좌우합니다. 이 과정에서 비즈니스 인텔리전스(Business Intelligence, BI) 시스템과 리포트 자동화 전략이 핵심적인 역할을 합니다. 리포트 자동화는 비즈니스 데이터를 효율적으로 관리하고, 인사이트를 실시간으로 제공하며, 데이터 기반 의사결정을 […]
오늘날의 비즈니스 환경은 그 어느 때보다 빠르게 변화하고 있습니다. 기업들이 더 나은 결정을 내리기 위해 신속한 데이터 분석과 인사이트를 필요로 하게 되었죠. 특히 경영진과 마케터들은 전략적 의사결정을 위해 데이터 기반의 분석과 자동화된 리포트 시스템을 점점 더 많이 채택하고 있습니다. 이는 단순히 시간을 절약하는 문제를 넘어, 실질적인 비즈니스 성장과 직결됩니다. 특히, […]
들어가며 복잡한 데이터 엔지니어링 환경에서 로그 분석은 단순한 디버깅 도구를 넘어 시스템의 건강 상태를 모니터링하고 성능을 최적화하는 데 필수적인 요소가 되었습니다. 데이터 파이프라인, ETL 프로세스, 실시간 데이터 스트리밍 등 다양한 데이터 처리 작업에서 발생하는 로그는 시스템의 동작을 이해하고 문제를 신속하게 해결하는 데 중요한 정보를 제공합니다. 데이터 엔지니어는 이러한 다양한 형태의 […]