[AI 인프라 혁신 3편] 사내 RAG 챗봇, 단 30분 만에 배포하기
사내에서 LLM을 위한 개발을 하려면 무엇을 준비해야 할까요? ChatGPT나 Gemini 등은 브라우저에서 사용자가 질문만 하면 바로 답을 하지만, 사내 데이터를 넣어 RAG 챗봇을 만들거나 외부에 데이터를 못 보내는 환경에서 자체 LLM을 구축하려면 이야기가 완전히 달라집니다. 최소한 누군가는 vLLM을 GPU 위에…
사내에서 LLM을 위한 개발을 하려면 무엇을 준비해야 할까요? ChatGPT나 Gemini 등은 브라우저에서 사용자가 질문만 하면 바로 답을 하지만, 사내 데이터를 넣어 RAG 챗봇을 만들거나 외부에 데이터를 못 보내는 환경에서 자체 LLM을 구축하려면 이야기가 완전히 달라집니다. 최소한 누군가는 vLLM을 GPU 위에…