유튜브를 보다가 메타가 라마 3.1을 무료로 다운로드 받을 수 있게 했다는 소식을 접하게 되었다.
다운로드 받을 수 있게 파일이 제공되었다는 점 외에 한국어를 공식 지원하게 되었다는 점도 흥미를 끌었다.
파라미터 크기에 따라서 8b 70b 405b 모델이 있다.
용량은 각각 4.7기가 40기가 231기가이다.
모델에 대한 평가를 보니 405b는 gpt4o와 비슷한 수준이라고 한다. 엄청난 컴퓨터 자원이 필요한 모델이라서 온디바이스로는 돌릴 엄두조차 낼 수 없어서 chat.lmsys.org에서 테스트해 봤다. 겨우 그 정도 용량의 데이터를 가졌을 뿐인데 질문을 하면 모르는 게 별로 없다. 그리고 제법 논리적이고 답변 품질도 괜찮다. 다만 지엽적인 지식들에 대한 질문을 비교해 보니 gpt4o가 지식량은 더 많은 게 느껴진다.
나는 다소 충격을 받았다. 모델의 용량은 231기가인데 이는 fps게임인 콜오브듀티 용량 정도에 불과하다. 현재 가격 기준으로 3만 원짜리 sd카드에 들어가는 사이즈다. 작년이었다면 2만 원 미만이었다. 그런 박식하고 똑똑한 소프트웨어와 데이터를 3만 원이면 휴대할 수 있고 심지어 스마트폰에도 저장할 수 있는 용량이라니... 현재 구동을 할 수는 없지만 장래에는 휴대폰에 저장된 llm에 프롬프트를 넣고 답변을 보는 날이 오게 될 텐데 마치 전자계산기에 사칙연산을 시키는 것과 같을 것이다. 하지만 이는 꽤 먼 훗날의 이야기이고 온라인으로는 이미 잘 구현되고 있기 때문에 특별히 설렐만한 이유는 없다. 다만 기업 입장에서는 인트라넷으로 인공지능을 구동하기에 매우 좋은 솔루션이 될 것 같다.
라마 3.1 설치 정보를 다룬 유튜버의 컴퓨터 사양이 내 컴퓨터에 비해 비교하기 민망할 정도로 훨씬 더 좋았는데 그는 70b 모델을 설치했고 나름 사용할만한 퍼포먼스를 보여줬다.
현재 내 컴퓨터 사양은 라이젠3600 rx470(4g) 32g ram이다.
시험 삼아 8b를 설치해 보고 구동이 원활하면 70b로 올려볼 생각이었다.
그런데 내 컴퓨터는 8b도 원활히 구동하지 못했다. ollama와 msty를 사용해 봤는데 msty가 사용하기에는 훨씬 편하다. 둘 다 cpu사용량은 60%이고 gpu는 0%였다. gpu사용량이 0%인걸 보고 내 컴퓨터는 인공지능을 다루기에 적합한 시스템이 아니란 점을 알게 되었다.
답변은 엄청나게 느렸고 프롬프트의 내용 중에서 뒷부분만 기억하고 그에 대한 내용만 다루는 것으로 보였다. 이는 아마도 메모리 부족 때문이 아닐까라는 추측을 했다. chat.lmsys.org에서 라마 3.1을 선택해서 그 장문의 프롬프트를 입력해 보니 제대로 된 결과가 나오지 않았다. 메모리 부족이 문제라기보다는 그 모델 자체가 긴 프롬프트를 받아들이는 능력이 부족한 게 아닐까라는 의심도 해보게 되었다.
온디바이스로 돌려본 라마 3.1 8b모델의 답변 품질은 이제는 고대 유물이 되어버린 gpt 3.5 수준으로 보인다. 온디바이스 특성상 쉽게 탈옥하여 야한 채팅을 즐겨볼 여지도 있긴 했지만 느린 속도와 모자란 지능 때문에 흥미를 느끼진 못했다. 결국 라마3.1 8b 모델은 삭제했다. 느림과 멍청함에도 불구하고 굳이 이 모델을 반드시 온디바이스로 구동해야 할 필요는 없었기 때문이다. 인공지능은 아직 평범한 사양의 개인용 컴퓨터로 가동하기에는 시기상조라는 체험을 했다.
