Daejin Lab · 기술 실험 기록
AI 도구를 직접 설치하고,
실패까지 기록합니다.
로컬 LLM과 Astro 블로그를 실제 환경에서 실행합니다. 잘된 결과보다 막힌 화면, 확인한 자료, 다시 판단할 기준을 남깁니다.
- 결론
- 모델 이름보다 데이터 민감도, 실패 비용, 반복 횟수, 도구 권한을 먼저 나눕니다.
- 환경
- M4 Mac mini 16GB, 로컬 LLM 도구, 클라우드 AI 정책 문서
기록 원칙
무엇을 확인했고, 어디까지 말할 수 있는지.
대표 실험
대표 실험 3개
각 기록에서 얻은 결론을 먼저 확인할 수 있습니다.
최근 기록
최근 기록
- 로컬 LLM16GB Mac mini에서 9B급 MLX 4bit 모델 두 개를 oMLX로 같은 프롬프트에 돌려 본 기록
M4 Mac mini 16GB에서 oMLX로 Qwen3.8-9B와 Ornith-1.5-9B(둘 다 MLX 4bit)를 요약 프롬프트와 코드 수정 프롬프트 각 3회씩 돌렸습니다. 첫 토큰 시간 0.9~1.5초, 생성 속도 13.8~18.5 tok/s, 모델 메모리 약 4.9GiB였고, 두 모델의 속도 차이는 오차 안이었습니다.
- 로컬 LLMMAI-Code-1.1-Flash 로컬 버전, 16GB Mac mini에서 시도하기 전에 계산한 메모리
Microsoft가 공개한 MAI-Code-1.1-Flash 로컬 버전의 크기 53GB, 256K 컨텍스트 피크 메모리 75.5GB, 권장 120GB 초과 수치로 M4 Mac mini 16GB에서 시도할 수 있는지 계산했습니다. 직접 실행한 기록이 아니라 공개 수치 기반 사전 점검입니다.
- 로컬 LLMQwen3-TTS와 Supertonic 3를 같은 문장으로 재보고 기본 TTS를 바꾼 기록
M4 Mac mini 16GB에서 Qwen3-TTS와 Supertonic 3에 같은 한국어 문장 4종을 넣고 생성 시간, 음성 길이, 피크 메모리, 샘플레이트를 비교한 뒤 에이전트 기본 TTS를 교체한 기록입니다.
- 로컬 LLMTurboFieldfare로 Gemma 4 26B-A4B를 M4 Mac mini에서 돌려본 기록
Gemma 4 26B-A4B 전용 Swift/Metal 런타임 TurboFieldfare를 M4 Mac mini 16GB에서 직접 빌드하고 실행해 본 실측 기록입니다. 메모리는 2GB로 가볍지만 decode 6.26 tok/s, 콜드 첫 읽기 3~4배 저하가 나온 이유와 에이전트용 부적합 판단을 정리했습니다.
새 기록 받아보기
새로운 실험은 RSS로 이어집니다.
질문이나 잘못된 내용은 문의 페이지로 알려주세요.