Writing / field notes

만들고, 운영하고,
기록합니다.

Notes

  1. 01로컬 LLM으로 코딩 에이전트를 돌리며 배운 디코딩 설정과 가드 설계집 서버의 로컬 모델로 코딩 에이전트를 돌리면서 생긴 같은 명령 370번 반복, 한국어 답의 한자 섞임, echo로 도구를 흉내 내는 문제를 디코딩 설정과 실행 직전 훅으로 고쳤습니다. 기본값을 어느 층이 정하는지 확인하고, 꼭 지켜야 할 규칙은 지침이 아니라 훅에 둔다는 원칙을 정리합니다.
  2. 02RTX 3090 한 장에 125B MoE를 올리며 배운 오프로드 서빙 설계집 서버의 로컬 LLM을 27B 밀집 모델에서 125B MoE 모델로 바꾸고 열흘 동안 조정했습니다. 오프로드 서빙에서 프리필과 디코드의 병목이 어디로 옮겨가는지, 서빙 바깥의 어떤 구성이 성능을 정하는지 정리합니다.