이 강의에서는 다음을 다룹니다:
- AI 에이전트를 프로덕션 환경에 효과적으로 배포하는 방법.
- AI 에이전트를 프로덕션에 배포할 때 직면할 수 있는 일반적인 실수와 문제.
- 비용을 관리하면서도 AI 에이전트의 성능을 유지하는 방법.
이 강의를 완료한 후, 다음을 알게 되고 이해하게 됩니다:
- 프로덕션 환경에서 AI 에이전트 시스템의 성능, 비용, 효율성을 개선하는 기술.
- AI 에이전트를 평가하는 방법과 평가해야 할 요소.
- AI 에이전트를 프로덕션에 배포할 때 비용을 제어하는 방법.
신뢰할 수 있는 AI 에이전트를 배포하는 것이 중요합니다. "신뢰할 수 있는 AI 에이전트 구축" 강의도 확인해 보세요.
AI 에이전트를 배포하기 전, 배포 중, 그리고 배포 후에 적절한 평가 시스템을 갖추는 것은 매우 중요합니다. 이를 통해 시스템이 사용자와 여러분의 목표에 부합하는지 확인할 수 있습니다.
AI 에이전트를 평가하려면 에이전트의 출력뿐만 아니라 AI 에이전트가 운영되는 전체 시스템을 평가할 수 있는 능력이 중요합니다. 여기에는 다음이 포함되지만 이에 국한되지는 않습니다:
- 초기 모델 요청.
- 사용자의 의도를 파악하는 에이전트의 능력.
- 작업을 수행하기 위해 적합한 도구를 식별하는 에이전트의 능력.
- 에이전트의 요청에 대한 도구의 응답.
- 도구의 응답을 해석하는 에이전트의 능력.
- 에이전트의 응답에 대한 사용자의 피드백.
이러한 방식으로 개선이 필요한 영역을 보다 모듈식으로 식별할 수 있습니다. 이를 통해 모델, 프롬프트, 도구 및 기타 구성 요소에 대한 변경의 영향을 더 효율적으로 모니터링할 수 있습니다.
| 문제 | 잠재적 해결책 |
|---|---|
| AI 에이전트가 일관되게 작업을 수행하지 않음 | - AI 에이전트에 제공되는 프롬프트를 다듬고 목표를 명확히 설정하세요. - 작업을 하위 작업으로 나누고 여러 에이전트가 이를 처리하도록 하면 도움이 될 수 있는 부분을 식별하세요. |
| AI 에이전트가 연속 루프에 빠짐 | - 프로세스를 종료해야 하는 명확한 조건과 종료 기준을 설정하세요. - 추론 및 계획이 필요한 복잡한 작업의 경우, 추론 작업에 특화된 더 큰 모델을 사용하세요. |
| AI 에이전트의 도구 호출 성능이 저조함 | - 에이전트 시스템 외부에서 도구의 출력을 테스트하고 검증하세요. - 정의된 매개변수, 프롬프트 및 도구의 명칭을 다듬으세요. |
| 멀티 에이전트 시스템이 일관되게 작동하지 않음 | - 각 에이전트에 제공되는 프롬프트를 다듬어 구체적이고 서로 구별되도록 하세요. - "라우팅" 또는 컨트롤러 에이전트를 사용하여 어떤 에이전트가 적합한지 결정하는 계층적 시스템을 구축하세요. |
AI 에이전트를 프로덕션 환경에 배포할 때 비용을 관리하기 위한 몇 가지 전략은 다음과 같습니다:
-
응답 캐싱 - 일반적인 요청과 작업을 식별하고, 이를 에이전트 시스템을 거치기 전에 미리 응답하도록 설정하는 것은 유사한 요청의 볼륨을 줄이는 좋은 방법입니다. 더 기본적인 AI 모델을 사용해 요청이 캐싱된 요청과 얼마나 유사한지 식별하는 흐름을 구현할 수도 있습니다.
-
소형 모델 사용 - 소형 언어 모델(SLM)은 특정 에이전트 사용 사례에서 우수한 성능을 발휘할 수 있으며, 비용을 상당히 절감할 수 있습니다. 앞서 언급했듯이, 평가 시스템을 구축하여 대형 모델과 성능을 비교하고 이를 통해 SLM이 사용 사례에서 얼마나 잘 작동하는지 이해하는 것이 가장 좋은 방법입니다.
-
라우터 모델 사용 - 유사한 전략으로 다양한 모델과 크기를 활용하는 방법이 있습니다. LLM/SLM 또는 서버리스 함수를 사용하여 요청의 복잡도에 따라 적합한 모델로 라우팅하면 비용을 절감하면서도 적절한 작업에서 성능을 유지할 수 있습니다.
이 강의는 "AI 에이전트 입문"의 마지막 강의입니다.
우리는 이 빠르게 성장하는 업계의 피드백과 변화를 반영하여 지속적으로 강의를 추가할 계획이므로, 가까운 미래에 다시 방문해 주세요.
AI 에이전트를 계속 학습하고 구축하고 싶다면, Azure AI 커뮤니티 Discord에 참여하세요.
우리는 그곳에서 워크숍, 커뮤니티 라운드테이블, 그리고 "무엇이든 물어보세요" 세션을 진행합니다.
또한, 프로덕션 환경에서 AI 에이전트를 구축하는 데 도움을 줄 수 있는 추가 자료를 모아둔 학습 컬렉션도 제공하고 있습니다.
면책 조항:
이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 최선을 다하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서의 해당 언어 버전이 권위 있는 자료로 간주되어야 합니다. 중요한 정보에 대해서는 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다.