본문 바로가기

Local AI/Ollama3

[AI] 🤖 AI와 GPU 그리고 Local LLM (소버린 AI) PART 3 ⚠️ **블로그 컨셉상 반어체가 들어가니 양해바랍니다**🚀 무제한으로 굴리는 나만의 로컬 LLM지난 PART 2에서 언센서드 Gemma 4 구동까지 직접 해보았다.오늘은 이렇게 내 컴퓨터에 구축해 둔 로컬 LLM을 실전에서 알차게 활용할 3가지 핵심 방법에 대해 본격적으로 알아보겠다. 🚀🏆 핵심 요약: 로컬 LLM은 단순히 웹 브라우저에서 챗봇으로 대화하는 데 그치지 않는다. API 무제한 자동화 파이프라인, 사설 OpenWebUI 구축, 그리고 스마트폰 메신저 연동 개인 AI 비서 OpenClaw까지 완벽하게 구축할 수 있다⚡ 활용법 1. 로컬 LLM API 직접 호출 (무제한 자동화 파이프라인) 첫 번째로 활용할 방법은 바로 로컬 LLM API 직접 호출이다.2026년에 누구나 한 번쯤은 상용 .. 2026. 9. 2.
[AI] AI와 GPU 그리고 Local LLM (소버린 AI) PART 2 ⚠️ **블로그 컨셉상 반어체가 들어가니 양해바랍니다** 🤖 AI와 GPU 그리고 Local LLM (소버린 AI) PART 2(Ollama 구축부터 언센서드 모델 빌드까지, 그리고 왜 위험한 것까지 학습시켰나?) 🧠 지난 포스팅에서는 AI와 GPU 그리고 소버린AI에 대해 알아보았다.이번 포스팅에서는 로컬 추론 런타임(LLM 런타임/서버) 인 Ollama 구축에 대해 알아보겠다. 👋🎮 GPU 환경 이야기 당연하겠지만 자신의 PC에 그래픽카드가 있다는 전제하에 진행한다.저번 시간에 학습과 추론의 차이점에 대해 알려줬는데, 학습(Training) 이라면 무조건 거의 RTX 계열만 추천하겠지만 추론(Inference) 이라면 이젠 AMD 그래픽카드도 매우 훌륭하게 사용할 수 있다. 👍❓ 내장형 그.. 2026. 8. 10.
[AI] AI와 GPU 그리고 Local LLM(소버린 AI) - PART 1 ⚠️ **블로그 컨셉상 반어체가 들어가니 양해바랍니다** 🤖 AI와 GPU 그리고 Local LLM(소버린 AI) PART 1 이번에는 서버맨의 전공까지는 아니지만, 나름 대학원에서 데이터마이닝 I, II 수업을 각각 B-, B+ 을 받은 경험을 살려 (증거는 생략한다!) AI, GPU, 그리고 한창 떠들고 있는 소버린 AI 에 대해 다뤄보려 한다. 😤📋 이번 포스팅 구성이번 포스트는 크게 3 PART로 구성될 예정이다.PART 1 AI 개념 털기 👈 지금 여기PART 2LLM 추론 프레임워크 (Ollama) 구축 및 환경 설정PART 3구축된 Local LLM으로 비서(OpenClaw), Open WebUI, 나만의 LLM API 사용해보기 아마 상당한 양의 포스팅 분량이 될 것 같다. 천.. 2026. 7. 20.