목록ai (1)
CloudBackend
Pytorch CUDA Out of Memory 해결하기
이번 공모전에 출품할 작품에는 요약, 키워드 추출 등 인공지능에 대한 기능이 많아 API 호출이 자주 발생합니다. 이를 위해 OpenAI 사에서 제공하는 ChatGPT API를 사용하게 되면 하루에 10$ 이상 크레딧을 사용하게 되었기에 LLM 서버를 직접 구축하고자 했습니다. 이 과정에서 LLaMA보다 OrionStarAI/Orion-14B-Chat 모델의 한국어 처리 성능이 뛰어나다는 조언을 받고 해당 모델을 채택하게 되었습니다. 그러나, 실행 과정에서 아래와 같은 오류를 마주하게 되었습니다. torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 300.00 MiB. GPU 0 has a total capacity of 22.09 GiB of ..
인공지능
2024. 10. 14. 16:55