Pi 4에 소형 LLM 8개를 밤새 돌렸더니 한 줄 답하는 데 25초에서 53초가 걸렸다
2026-10-26 새벽에 Pi 4B에서 소형 LLM 8종의 속도를 잰 결과를 CSV로 읽었다. 글자를 만드는 속도는 초당 2.4~5.1토큰이었고, 가장 작은 모델이 가장 빨랐으며, 문맥이 길어지면 모델마다 다르게 느려졌다.
2026-10-26 새벽에 Pi 4B에서 소형 LLM 8종의 속도를 잰 결과를 CSV로 읽었다. 글자를 만드는 속도는 초당 2.4~5.1토큰이었고, 가장 작은 모델이 가장 빨랐으며, 문맥이 길어지면 모델마다 다르게 느려졌다.