순식간에 지나간 설 연휴가 끝나고 벌써 2월이 되었습니다. 어제는 눈 내리는 정월 대보름이었죠. 내린 눈이 녹았다 얼어붙어 더 춥게 느껴지는 출근길이 힘들진 않으셨나요? (저는 꽤 고생했답니다😂) 따뜻한 차 한 잔과 함께 뉴스레터를 읽으며, 새로운 인사이트를 얻어 가시길 바랍니다! ☕💡
2025년이 시작된 지 한 달이 지난 지금, AI 산업에서는 더욱 빠른 변화와 혁신이 일어나고 있습니다. 특히, AI 모델을 어디에서 배포할 것인가에 대한 논의가 활발해지고 있는데요. 클라우드 배포의 확장성과 관리 용이성, 엣지 배포의 저지연성과 데이터 프라이버시 보호 사이에서 어떤 선택이 더 적합할지 고민하는 기업들이 늘어나고 있습니다. 이번 뉴스레터에서는 클라우드 vs. 엣지, 각 배포 방식의 장단점을 비교하고 어떻게 최적의 전략을 선택해야 하는지에 대한 내용을 다뤄봤는데요. 올해 AI 개발과 MLOps를 고민하는 많은 분들이 더 효과적인 AI 도입 전략을 세울 수 있도록, 계속 유익한 정보를 제공해 드릴 예정입니다.
모델 배포는 MLOps 사이클에서 가장 중요한 구성요소라고 해도 과언이 아니라고 생각합니다. 기업의 AI 도입이 활발해지면서 확장 가능하고 효율적인 배포 방법에 대한 수요가 증가하고 있지만, 모든 것을 만족시키는 정답을 찾기란 어려운데요. 상황에 맞는 ML 모델 배포 방법은 무엇이며, 어떻게 최적의 방법을 선택할 수 있을까요? 모델 배포 방식에는 일반적으로 클라우드 배포와 엣지 배포 방식으로 나뉩니다. 클라우드 배포와 엣지 배포 방식은 장단점을 가지고 있고, 최적의 선택을 위해서는 여러 요소를 고려해야 하는데요. 머신러닝(ML) 모델을 배포할 때, 클라우드와 엣지 중 어느 환경을 선택할지는 제품의 요구 사항과 제약 조건에 따라 달라지기 때문입니다. 먼저 각 방식에 대한 장단점을 알아볼까요?
장점 : 클라우드 인프라는 필요에 따라 자원을 유연하게 조절할 수 있는 확장성을 가지고 있습니다. 대규모 데이터 처리와 모델 학습에 적합합니다. 또한, 모델 업데이트와 유지보수를 중앙에서 관리할 수 있어 일관성을 유지하기 쉽고, 클라우드 서비스는 강력한 GPU와 TPU를 제공하여 복잡한 모델의 학습과 추론을 지원할 수 있습니다.
단점 : 데이터 전송과 처리에 시간이 소요되어 실시간 응답이 필요한 애플리케이션에는 부적합할 수 있습니다. 또한, 민감한 데이터를 클라우드로 전송하는 과정에서 보안 및 프라이버시 문제가 발생할 수 있죠.
엣지(Edge) 배포
장점 : 낮은 지연 시간으로 데이터가 생성되는 현장에서 직접 처리하여 실시간 응답이 가능하고, 인터넷 연결이 불안정하거나 없는 환경에서도 모델을 활용할 수 있습니다. 또한, 데이터가 로컬에서 처리되므로 민감한 정보의 외부 전송을 최소화할 수 있기 때문에, 데이터 보안에 민감한 기업에 적합할 수 있습니다.
단점 : 엣지 디바이스는 컴퓨팅 파워와 저장 공간이 제한적이어서, 복잡한 모델의 실행에 제약이 있을 수 있습니다. 여러 디바이스에서 모델을 업데이트하고 유지 보수하는 것이 복잡하고 비용이 많이 들 수 있습니다.
제품의 요구 사항: 실시간 처리, 데이터 프라이버시, 오프라인 기능 등이 얼마나 중요하고 필요한지 평가해야 합니다.
인프라 제약: 사용 가능한 컴퓨팅 자원, 네트워크 연결 상태, 전력 소비 등을 고려합니다.
비용: 클라우드 서비스 비용과 엣지 디바이스의 유지보수 비용을 비교합니다.
보안 및 프라이버시: 데이터의 민감도와 관련 규제를 검토하여 적절한 배포 방식을 선택합니다.
하지만, 일부 환경에서는 클라우드와 엣지 배포를 결합한 하이브리드 접근 방식이 필요할 수도 있습니다. 예를 들어, 초기 데이터 처리는 엣지 배포 환경에서 수행하고, 집계된 결과를 클라우드로 전송하여 추가 분석이나 모델 개선에 활용하는 방식입니다. 이렇게 ML 모델 배포 전략은 특정 사용 사례와 제약 조건에 맞게 신중하게 결정되어야 합니다. 각 접근 방식의 장단점을 이해하고, 기업 환경과 제품의 요구 사항에 부합하는 최적의 솔루션을 선택하는 것이 중요합니다.
OpenAI에서 새로운 모델 시리즈인 o3-mini를 출시했습니다. 지난해 12월에 preview로 공개 이후, ChatGPT와 API에서 모두 사용할 수 있는 최신이자 가장 비용 효율적인 모델이라고 하는데요.코딩 및 과학적 분석과 같이 좀 더 많은 사고가 필요한 모든 분야에서 탁월한 모델이라고 합니다. DeepSeek R1에 대항할 수 있다고 예상되는 o3-mini에 대한 더 자세한 내용은 링크에서 확인하세요!
금융, 과학, 정책, 엔지니어링과 같은 분야에서 복잡한 연구 과제를 해결하는 사용자를 위해 설계된 새로운 ChatGPT 에이전트인 deep research를 출시했습니다. 기본 AI 쿼리와 달리 이 에이전트는 여러 소스에서 정보를 가져와서 더욱 자세하고 신뢰할 수 있는 인사이트를 제공한다고 하는데요. 현재 ChatGPT Pro 사용자에게 제공되며 월 100개 쿼리 제한이 있는 deep research는 곧 Plus 및 Team 사용자에게도 확장될 예정이라고 합니다. 링크에서 확인하세요!
Hugging Face는 OpenAI의Deep Research를 복제하도록 설계된 오픈소스 프로젝트인 Open-Source Deep Research를 소개했습니다. 공동 창립자 토마스 울프가 이끄는 이 이니셔티브는 OpenAI의 독점적인 o1 모델과 사용자 정의 가능한 "에이전트 프레임워크"를 결합하여 웹을 자율적으로 탐색하고, 데이터를 분석하고, 계산을 실행한다고 합니다. Open Deep Research는 GAIA와 같은 벤치마크에서 좋은 성과를 거두어 OpenAI의 67.36%에 비해 54%를 달성했다고 하는데요! 더 많은 자세한 내용을 링크에서 보실 수 있습니다 :)
Google은 Gemini 2.0 Flash를 공개하고, 비용 효율적인 Flash-Lite를 공개 preview로 선보였습니다. 또한 Gemini 2.0 Pro를 출시했는데요. 엔터프라이즈 규모의 효율성을 위해 설계된 이 모델은 Google AI Studio와 Vertex AI에서 멀티모달 처리를 엄청나게 강화했다고 합니다. 지금까지 가장 가벼운 모델인 Flash-Lite는 MMLU Pro(77.6%대 67.3%)와 Bird SQL(57.4%대 45.6%)에서 Gemini 1.5 Flash보다 성능이 뛰어나며, 업계 표준의 4배인 100만 토큰 컨텍스트 윈도우를 고수한다고 하는데요. 링크에서 자세한 내용들을 확인하세요!
DeepSeek R1이 이제 Perplexity AI에서 라이브로 제공됩니다. Perplexity의 새로운 Pro Search 모드를 사용하면 사용자가 DeepSeek R1과 OpenAI의 o1 사이를 전환할 수 있으며, 무료 및 유료 티어 모두의 일일 사용 한도가 상향 조정되었다고 합니다. 데이터는 미국/EU 서버에 고정되어 있다고 하는데요. 하지만 Deep Seek의 데이터 보안에 관한 이슈가 계속 화두가 되고 있는 만큼, Deep Seek를 금지시킨 나라들도 있다고 합니다. 여러분들의 생각은 어떠신가요?
현재 슈퍼브에이아이에서는 AI, 머신러닝, SaaS, 데이터 과학 등 관련 분야에 대해 형식에 상관없이 작성해 주실 외부 필진 분들을 모집하고 있습니다. 외부 필진 분들에게는 소정의 원고료를 지급하고 있습니다. 관심이 있으면 아래 폼을 통해 신청서를 제출해 주세요. 추후 블로그 운영진이 확인 후 연락드리도록 하겠습니다.
