Ollama GPU 메모리 점검, 컨텍스트·병렬 처리·KV 캐시를 조정하는 법
Ollama에서 모델이 GPU에 얼마나 올라갔는지 확인하고 컨텍스트 길이, 병렬 요청, KV 캐시를 메모리 조건에 맞게 조정하는 방법을 설명합니다.
컴퓨팅 · AI · 스마트기기 · 게임을 다루는 IT 가이드
Ollama에서 모델이 GPU에 얼마나 올라갔는지 확인하고 컨텍스트 길이, 병렬 요청, KV 캐시를 메모리 조건에 맞게 조정하는 방법을 설명합니다.
경남대가 2030년까지 진행되는 2005억원 규모 피지컬 AI 국가전략사업의 총괄 주관대학으로 선정됐어요. 제조 현장에 적용될 기술과 확인할 조건을 정리했어요.
ChatGPT 대화를 보관할지 삭제할지, 먼저 데이터를 내려받을지 헷갈릴 때 따라 할 수 있는 순서와 삭제 후 복구할 수 없는 항목을 정리했어요.
Ollama의 JSON 모드와 JSON 스키마의 차이를 설명하고, Pydantic·Zod 검증, 실패 재시도, 컨텍스트·메모리 관리, 스키마 버전화를 실무 순서로 정리합니다.
Ollama 설치 뒤 첫 모델을 실행하고, 목록·실행 상태·삭제 명령을 구분해 로컬 AI를 안전하게 시작하는 순서입니다.
Google이 AI·경제 연구진을 확대한 발표를 바탕으로, AI 사용량과 실제 생산성을 구분해 측정하는 지표·비교 기준·기업의 기록 방법을 정리했습니다.
Ollama Modelfile에서 기반 모델, 실행 파라미터, 시스템 지침을 어디까지 고정할지 정리합니다. temperature·num_ctx·keep_alive의 차이와 TEMPLATE 수정 시 점검 순서까지 다룹니다.
한양대 AI반도체 혁신연구소의 온디바이스·피지컬 AI 연구 범위와 110명 양성 계획을 읽고, 성과를 판단할 기준을 정리했습니다.
Anthropic의 LSVP는 생명과학 AI를 무조건 개방하는 정책이 아니라, Standard·High-risk 사용을 조직과 프로젝트에 연결하는 검증 프로그램입니다. 신청 범위, 데이터 보존, 권한 만료와 사람 검토 기준을 함께 확인해야 합니다.
vLLM Prefix Caching과 Tensor Parallelism을 같은 가속 옵션으로 보지 않고, 반복 prefix·KV 캐시·컨텍스트 길이·GPU 통신을 분리해 측정하고 선택하는 기준을 정리합니다.