최소형 모델 ‘GPT-4o 미니’ 출시
오픈AI가 새로운 소형 모델 ‘GPT-4o 미니(mini)’를 발표했습니다. 이 모델은 비용 절감을 목표로 개발되어, 개발자들에게 경제적인 선택지를 제공합니다. GPT-4o 미니는 성능 면에서 동급 최강을 자랑합니다. 오픈AI는 7월 18일(현지시간) 공식 블로그를 통해 이 모델을 발표했습니다.
‘ChatGPT 4.0 Mini’의 장점
ChatGPT 4.0 Mini는 GPT-4의 경량화된 버전으로, 여러 가지 장점이 있을 수 있습니다. 아래는 그 주요 장점들입니다:
- 저렴한 운영 비용: Mini 버전은 전체 GPT-4 모델에 비해 컴퓨팅 자원을 적게 소모하므로, 운영 비용이 낮을 수 있습니다. 이는 특히 많은 사용자가 동시에 접근하는 상황에서 비용 효율적일 수 있습니다.
- 빠른 응답 시간: 더 적은 연산 자원을 필요로 하므로 응답 속도가 더 빠를 수 있습니다. 실시간 상호작용이 중요한 애플리케이션에서 유리할 수 있습니다.
- 적은 메모리 사용: Mini 버전은 메모리 요구사항이 줄어들어, 하드웨어 자원이 제한된 환경에서도 사용할 수 있습니다. 이는 저사양 기기나 임베디드 시스템에서 유용할 수 있습니다.
- 단순한 응답: 일반적으로 Mini 버전은 더 단순하고 직관적인 응답을 제공하여, 복잡한 처리보다는 기본적인 질의응답에 적합할 수 있습니다. 따라서 특정 용도에 최적화된 성능을 발휘할 수 있습니다.
- 개발과 테스트 용이: 개발자와 연구자들이 새로운 애플리케이션을 테스트하고 개발할 때, 더 작은 모델이 보다 빠르고 저렴한 비용으로 시도해볼 수 있습니다.
- 배포 용이성: 더 작은 모델은 배포와 통합이 쉬울 수 있으며, 다양한 플랫폼이나 디바이스에 통합하기에 적합합니다.
이러한 장점들은 GPT-4의 전체 기능을 필요로 하지 않는 경우 유용할 수 있습니다.
‘GPT-4o 미니’ 특징
출시 플랫폼
- 개발자용 API, 챗GPT 웹 및 앱에서 이용 가능
- 챗GPT 엔터프라이즈 사용자는 다음 주부터 이용 가능
지원 기능
- 현재 텍스트와 비전 지원
- 앞으로 비디오와 오디오 기능도 지원 예정
미세 조정 기능
- 곧 제공 예정으로, 모델의 사용성과 적용 범위를 확대할 예정
(출처: Open AI 공식 블로그)
‘GPT-4o 미니’ 성능 및 벤치마크 결과
토큰 처리 속도
- 초당 202토큰으로 GPT-4o 및 GPT-3.5 터보보다 2배 이상 빠름
컨텍스트 창
- 12만8000개의 토큰을 처리할 수 있어, 대략 책 한 권 분량을 입력 가능
추론 능력 벤치마크 (MMLU)
수학적 추론 벤치마크 (MGSM)
코딩 성능 벤치마크 (HumanEval)
- 87.2%의 점수로 플래시(71.5%)와 하이쿠(75.9%)를 제치고 1위
(출처: dev.to)
👉 ‘GPT-4o 미니’ 성능평가 결과 바로가기
‘GPT-4o 미니’ 비용 및 가격
API 가격
- 입력 토큰 100만개당 15센트, 출력 토큰 100만개당 60센트로 책정
비용 절감
- 이전 프론티어 모델보다 실행 비용이 상당히 저렴하며, GPT-3.5 터보보다도 60% 이상 저렴
‘GPT-4o 미니’ 안전성 및 개선 사항
학습 데이터
- 2023년 10월까지의 데이터를 학습
안전 테스트
- 70명 이상의 외부 전문가가 참여하여 사회 심리학 및 허위 정보 등 분야의 잠재적 위험을 파악
지시 계층
- 모델의 탈옥, 프롬프트 공격, 시스템 공격 등에 대한 저항 능력을 향상시킴
오픈AI의 추가 발표
엔터프라이즈 컴플라이언스 API
- 금융, 의료, 법률 서비스 등 엄격하게 규제되는 산업 분야에서 데이터 감사 및 조치를 지원
- 관리자가 챗GPT 엔터프라이즈 데이터를 감사하고 조치를 취할 수 있도록 돕는 도구
향후 영향 및 시장 반응
개발자 반응
- 많은 개발자들이 비용 절감 효과에 긍정적 반응을 보이고 있습니다.
- 특히 스타트업과 소규모 개발팀에게 큰 도움이 될 것으로 예상됩니다.
- GPT-4o 미니의 빠른 처리 속도와 향상된 성능이 다양한 애플리케이션에서 활용될 것으로 기대됩니다.
< 사용자 리뷰 >
CrewAI의 GPT-40-mini: 새로운 GPT-4o-mini를 사용해 실험해 왔습니다 . 이전에는 Claude-3-Haiku를 사용해 좋은 결과를 얻었습니다 . 안타깝게도 GPT-4o-mini는 CrewAI를 사용한 Haiku만큼 좋지 않습니다. 도구를 사용할 때 종종 루프에 빠져서 같은 일을 계속 반복합니다. Haiku에서도 가끔 발생하지만 매우 드뭅니다(10번 중 1번 정도). GPT-4o-mini를 사용하면 10번 중 8번 정도 발생합니다.
CrewAI 개발자들이 향후 릴리스에서 새로운 GPT-4o-mini를 더 잘 지원하기 위해 사용하는 내부 프롬프트를 업데이트할 수 있기를 바랍니다 .
시장 반응
- AI 기술을 도입하려는 기업들이 GPT-4o 미니에 큰 관심을 보이고 있습니다.
- 비용 절감과 성능 향상이라는 두 가지 요소가 기업들의 AI 도입 장벽을 낮추고 있습니다.
- 금융, 의료, 법률 등 다양한 산업 분야에서 GPT-4o 미니의 도입이 증가할 것으로 예상됩니다.
(출처: reddit.com)
오픈AI는 “비용 절감과 모델 성능 향상을 동시에 이뤄냈다”며, 앞으로도 이러한 궤적을 이어가겠다고 밝혔습니다.
