CloudBackend

오라클 클라우드 프리티어에서 위와 같이 VM을 생성한 후, 아래와 같은 명령어를 통해 VM에 접근할 수 있습니다.$ ssh ubuntu@ -i ./oracle-ssh.key 그러나, 필자는 아래와 같은 문제가 발생했습니다.@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Permissions 0644 for './ssh-key-2024-10-22(2).key' are too open. It is required that your private key files are..

이번 공모전에 출품할 작품에는 요약, 키워드 추출 등 인공지능에 대한 기능이 많아 API 호출이 자주 발생합니다. 이를 위해 OpenAI 사에서 제공하는 ChatGPT API를 사용하게 되면 하루에 10$ 이상 크레딧을 사용하게 되었기에 LLM 서버를 직접 구축하고자 했습니다. 이 과정에서 LLaMA보다 OrionStarAI/Orion-14B-Chat 모델의 한국어 처리 성능이 뛰어나다는 조언을 받고 해당 모델을 채택하게 되었습니다. 그러나, 실행 과정에서 아래와 같은 오류를 마주하게 되었습니다. torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 300.00 MiB. GPU 0 has a total capacity of 22.09 GiB of ..