GPT-OSS 120B를 인텔 125H CPU와 96GB 메모리가 탑재된 미니 PC에서 CPU만으로 구동했다고 합니다. 48GB DDR5 메모리 가격이 아마존 등에서 조금씩 떨어지는 거 보면 30만 언더로 96GB 정도를 구성할 수 있고, 255H 미니PC의 가격도 점점 안정화되고 있어 100만 미만으로 로컬 구동이 가능해질 것 같긴 하네요.
같이 올려둔 유튜브 영상에서 확인할 수 있지만 그렇게 빠른 속도는 아니네요.
GPT-OSS 120B를 인텔 125H CPU와 96GB 메모리가 탑재된 미니 PC에서 CPU만으로 구동했다고 합니다. 48GB DDR5 메모리 가격이 아마존 등에서 조금씩 떨어지는 거 보면 30만 언더로 96GB 정도를 구성할 수 있고, 255H 미니PC의 가격도 점점 안정화되고 있어 100만 미만으로 로컬 구동이 가능해질 것 같긴 하네요.
같이 올려둔 유튜브 영상에서 확인할 수 있지만 그렇게 빠른 속도는 아니네요.
댓글
댓글 쓰기