Gemini 3.1 Flash Live 완벽 분석: 함수 호출 90.8%, 70개 언어 지원 — AI 음성 에이전트의 새로운 기준

AI 음성 비서가 전화 상담원보다 자연스러워지는 날이 정말 온 걸까요? Google이 어제 공개한 Gemini 3.1 Flash Live를 보면, 그 날이 생각보다 훨씬 가까이 와 있다는 걸 체감하게 됩니다.

🎙️ Gemini 3.1 Flash Live가 뭔가요?

Gemini 3.1 Flash Live는 Google DeepMind가 발표한 최고 품질의 실시간 오디오/음성 모델입니다. 핵심은 딱 세 가지입니다:

• 더 자연스러운 대화 — 사용자의 말투, 감정(짜증, 혼란 등)을 인식하고 톤을 알아서 조절합니다
• 더 정확한 작업 수행 — 복잡한 함수 호출(function calling) 벤치마크에서 90.8%로 선두
• 더 낮은 지연 — 이전 모델 대비 응답 속도가 빨라지고, 대화 맥락을 2배 더 오래 유지

한마디로, "AI랑 통화하는데 AI인 줄 모를 수도 있는" 수준을 노리는 모델입니다.

📊 벤치마크: 숫자로 보는 성능

Google이 공개한 벤치마크 결과가 꽤 인상적입니다:

• ComplexFuncBench Audio — 90.8% (다단계 함수 호출 + 다양한 제약 조건을 음성으로 처리하는 벤치마크)
• BigBenchAudio — 이전 모델 대비 유의미한 성능 향상
• Scale AI Audio MultiChallenge — 36.1% (Thinking 모드 활성화 시). 실제 대화에서 발생하는 중단, 망설임 등을 포함한 복잡한 지시 따르기 테스트

특히 ComplexFuncBench가 눈에 띕니다. "서울 날씨 알려줘" 같은 단순 호출이 아니라, "내일 오후 2시에 회의실 예약하고, 참석자 3명에게 메일 보내고, 그 중 한 명 일정이 안 맞으면 다른 시간대로 재조정해줘" 같은 멀티스텝 함수 호출을 음성으로 처리하는 능력을 측정합니다. 여기서 90.8%라는 건, 실제 업무 자동화에 쓸 수 있는 수준에 가깝다는 뜻입니다.

🔧 개발자라면 주목: Live API 실전 가이드

3.1 Flash Live는 Gemini Live API를 통해 개발자 프리뷰로 바로 사용할 수 있습니다. 기술 스펙을 정리하면:

• 입력: 오디오(16비트 PCM, 16kHz), 이미지(JPEG, 1FPS 이하), 텍스트
• 출력: 오디오(16비트 PCM, 24kHz)
• 프로토콜: WebSocket(WSS) — 상태 유지형 연결
• 지원 언어: 70개 이상

Python SDK로 연결하는 기본 코드는 이렇게 생겼습니다:

from google import genai

client = genai.Client()

# Live API 세션 생성
config = {
    "model": "gemini-3.1-flash-live-preview",
    "generation_config": {
        "response_modalities": ["AUDIO"],
        "speech_config": {
            "voice_config": {
                "prebuilt_voice_config": {
                    "voice_name": "Kore"
                }
            }
        }
    }
}

async with client.aio.live.connect(**config) as session:
    # 오디오 스트림 전송
    await session.send(audio_chunk, end_of_turn=True)
    
    # 응답 수신
    async for response in session.receive():
        if response.data:
            play_audio(response.data)

두 가지 구현 방식을 지원합니다:

• 서버 간(Server-to-Server) — 백엔드가 WebSocket으로 Live API에 연결. 프로덕션 환경에 적합
• 클라이언트-서버 — 프론트엔드가 Live API에 직접 연결. 지연이 더 낮지만, 일회성 토큰(Ephemeral Token)을 써야 보안이 유지됩니다

LiveKit, Pipecat, Fishjam, Firebase AI SDK 등 서드파티 통합도 이미 지원하고 있어서, 기존에 WebRTC 기반 음성 앱을 만들고 있었다면 비교적 쉽게 연동할 수 있습니다.

🏢 실제 도입 사례: Verizon, Home Depot, LiveKit

Google은 이미 여러 기업과 파트너십을 맺고 3.1 Flash Live를 테스트하고 있습니다:

• The Home Depot — 고객 서비스 음성 에이전트에 적용. 자연스러운 대화 흐름 개선
• Verizon — 통신 고객센터 자동화에 활용
• LiveKit — 실시간 음성/영상 인프라와 통합하여 개발자 도구 제공

재미있는 건, 이 모델이 Gemini Enterprise for Customer Experience라는 엔터프라이즈 제품으로도 제공된다는 점입니다. 기업 고객센터의 AI 음성 상담원이 "죄송합니다, 다시 한번 말씀해 주시겠어요?"를 반복하던 시대는 곧 끝날지도 모릅니다.

🌍 일반 사용자에게도 이미 적용 중

개발자만의 이야기가 아닙니다. 3.1 Flash Live는 이미 두 가지 Google 제품에 적용되고 있습니다:

• Gemini Live — 기존 대비 응답 속도 향상 + 대화 맥락 2배 유지. 긴 브레인스토밍도 맥락을 놓치지 않습니다
• Search Live — 200개 이상 국가/지역으로 확대. 검색을 음성으로 하면서 실시간으로 후속 질문이 가능

특히 Search Live의 글로벌 확장은 주목할 만합니다. 영어뿐 아니라 70개 이상 언어를 지원하는 다국어 모델이기 때문에, 한국어로도 자연스러운 음성 검색 대화가 가능해집니다.

🔒 안전장치: SynthID 워터마크

AI가 생성한 음성이 너무 자연스러워지면, 딥페이크 우려가 따라옵니다. Google은 이에 대한 대비책으로 SynthID 워터마크를 적용했습니다. 3.1 Flash Live가 생성하는 모든 오디오에는 사람이 감지할 수 없는 워터마크가 포함되어, AI가 만든 음성인지 나중에 확인할 수 있습니다.

💭 개발자 시선에서 본 시사점

솔직히 말해서, 실시간 음성 AI의 경쟁이 본격적으로 달아오르고 있다는 느낌입니다. OpenAI의 Realtime API, Anthropic의 Claude Voice — 빅테크 모두가 "음성 에이전트"를 차세대 인터페이스로 보고 있죠.

3.1 Flash Live가 특히 인상적인 부분은 function calling 성능입니다. 음성 AI가 단순히 "대화만 잘하는" 것이 아니라, 실제로 외부 서비스를 호출하고 작업을 수행할 수 있어야 진짜 "에이전트"라 할 수 있는데, ComplexFuncBench에서 90.8%는 꽤 실용적인 수준입니다.

사이드 프로젝트 아이디어가 떠오르시나요? 저는 벌써 "음성으로 서버 모니터링하는 에이전트"가 만들고 싶어지네요. kubectl get pods 결과를 음성으로 물어보고, 문제 있는 파드를 바로 재시작하는 거죠. Live API 코드 예제가 GitHub에 이미 올라와 있으니, 관심 있으신 분들은 한번 살펴보세요.

이 글은 Google DeepMind의 X 포스트와 Google 공식 블로그를 참고하여 작성했습니다.