woongstar — writingNotes on AI engineering, systems, and the work behind them.https://blog.woongstar.com/로컬 LLM으로 코딩 에이전트를 돌리며 배운 디코딩 설정과 가드 설계https://blog.woongstar.com/blog/coding-agent-decoding-and-guard-design/https://blog.woongstar.com/blog/coding-agent-decoding-and-guard-design/집 서버의 로컬 모델로 코딩 에이전트를 돌리면서 생긴 같은 명령 370번 반복, 한국어 답의 한자 섞임, echo로 도구를 흉내 내는 문제를 디코딩 설정과 실행 직전 훅으로 고쳤습니다. 기본값을 어느 층이 정하는지 확인하고, 꼭 지켜야 할 규칙은 지침이 아니라 훅에 둔다는 원칙을 정리합니다.Mon, 26 Oct 2026 00:00:00 GMTRTX 3090 한 장에 125B MoE를 올리며 배운 오프로드 서빙 설계https://blog.woongstar.com/blog/strata-moe-offload-rtx-3090/https://blog.woongstar.com/blog/strata-moe-offload-rtx-3090/집 서버의 로컬 LLM을 27B 밀집 모델에서 125B MoE 모델로 바꾸고 열흘 동안 조정했습니다. 오프로드 서빙에서 프리필과 디코드의 병목이 어디로 옮겨가는지, 서빙 바깥의 어떤 구성이 성능을 정하는지 정리합니다.Fri, 23 Oct 2026 00:00:00 GMT