vLLM 배치 튜닝, max_num_seqs와 max_num_batched_tokens를 나눠 조정하는 법
vLLM 서버가 메모리 부족으로 선점되거나 지연 시간이 흔들릴 때 max_num_seqs와 max_num_batched_tokens를 어떤 순서로 조정할지 정리했어요.
2026년 10월 04일
가이드
2026
ChatGPT 음성 대화 시작하기, 마이크 권한과 대화 종료를 확인하는 순서
ChatGPT 음성 대화를 시작하고 마이크 권한을 허용하는 방법, 음성 대화 중 주의할 점과 종료·기록 확인 순서를 정리합니다.
2026년 10월 04일
vLLM CUDA Graph와 enforce-eager, 부팅 실패와 추론 지연을 나눠 조정하는 법
vLLM에서 CUDA Graph와 eager 실행이 메모리·부팅 시간·추론 지연에 미치는 차이를 구분하고, enforce-eager를 진단용으로 쓰는 순서를 정리했어요.
2026년 10월 03일
ChatGPT Canvas 사용법, 글과 코드를 고치며 작업하는 초보 순서
ChatGPT Canvas가 무엇인지, 어떤 화면에서 열리는지, 글과 코드를 고치는 기본 순서와 웹 미리보기 주의점을 정리합니다.
2026년 10월 03일
llama.cpp 서버 운영, OpenAI 호환 API·병렬 요청·Flash Attention을 나누는 법
llama.cpp 서버를 로컬 API로 운영할 때 OpenAI 호환 엔드포인트, 병렬 처리, Flash Attention, CORS와 도구 권한을 분리해 점검하는 중급 가이드입니다.
2026년 10월 02일
ChatGPT 예약 작업, 알림을 만들기 전 알아둘 설정과 제한
ChatGPT 예약 작업의 요금제별 활성 한도(Free·Go 3, Plus 5, Business·Edu 10, Pro·Enterprise 15)와 무료·유료 반복 주기, 시간 예약과 앱 변경 트리거의 차이를 정리합니다.
2026년 10월 02일
Transformers KV 캐시 구현 선택, Dynamic·Static·Offloaded를 추론 조건에 맞추는 법
Hugging Face Transformers의 DynamicCache·StaticCache·OffloadedCache를 긴 컨텍스트, 컴파일, GPU 메모리 부족 상황에 맞춰 선택하고 진단하는 방법을 정리합니다.
2026년 10월 01일
bitsandbytes 4비트 양자화, NF4·compute dtype·double quantization을 검증하는 법
Transformers와 bitsandbytes로 4비트 모델을 올릴 때 NF4·계산 dtype·중첩 양자화를 나누어 선택하고, 메모리 절감과 품질 변화를 검증하는 방법이에요.
2026년 09월 30일
GitHub Copilot 처음 시작하기, VS Code에서 질문·제안·수정을 나누는 법
GitHub Copilot을 VS Code에 연결하고 질문, 코드 제안, 수정 요청을 안전하게 나누어 쓰는 초보자 순서예요.
2026년 09월 30일
Hugging Face chat template 오류, add_generation_prompt와 특수 토큰을 분리하는 법
Transformers에서 모델별 chat template을 확인하고 add_generation_prompt·continue_final_message·특수 토큰 중복을 피하는 중급 점검 순서입니다.
2026년 09월 29일