대규모 시스템 성능 진단 · 개선 | 가야태자의 IT이야기

안녕하세요 가야태자 @talkit 입니다. 

> **이 글은 Ollama 0.3.14와 Llama 2를 사용했던 당시의 기록입니다.** Ollama와 모델은 빠르게 바뀌므로 새로 설치하는 분은 공식 Windows 문서와 현재 모델 목록을 먼저 확인하십시오. 화면과 출력 결과는 지금 버전과 다를 수 있습니다.

> Ollama API는 로컬 컴퓨터에서만 사용하겠습니다. `11434` 포트를 공유기나 클라우드 방화벽에서 인터넷 전체에 공개하면 안 됩니다. 원격 사용이 필요하면 VPN 또는 인증·TLS를 갖춘 프록시를 앞에 두십시오.

오늘은 오랫만에 다시 인공지능에 대해서 이야기 좀 해보겠습니다. 

관련글

[[AI] 무료 사용 가능한 LLM API 서비스 — Steemit](https://steemit.com/blog/@anpigon/ai-llm-api) - @anpigon

안피곤님의 글중에서 위글을 오늘 읽었습니다. 

저기서 무료로 사용할 수 있는 인공지능에 대한 이야기가 있었고, 저도 개발자라 한번 해보려고 합니다. 

# Ollama 모델 사용 순서

## 1. Ollama 설치하기

### Ollama 다운로드 

https://ollama.com/

저는 저기에 가입을 했습니다. ^^

우측 상단의 다운로드 클릭 하셔서 다운로드 하시면 됩니다. 

### Ollama 설치


이전 화면을 캡쳐를 안해서 그렇지만 Install 버튼 누르면 됩니다. ^^

처음에 팝업이 뜹니다. 그리고 Ollama는 하단에 잘 실행 되어 있습니다. 

### Ollama 설치 확인

파워쉘 또는 배쉬쉘을 여시고 테스트를 합니다. 

```
ollama --version
```

```
PS C:\Users\<사용자> ollama --version
ollama version is 0.3.14
```

잘 설치 되어 있네요 ^^

## 2. 모델 다운로드 및 실행하기

```
ollama pull llama2
```

당시에는 Llama 2 모델을 다운로드했습니다. 지금 새로 따라 할 때는 현재 지원되는 모델과 필요한 메모리·디스크 용량을 확인하십시오.

모델이 3.8GB라 많이 걸리네요 T.T

저는 다운로드가 성공 했습니다. 

## 3. 모델 실행

위에서 다운 받은 llma2 모델을 실행해보겠습니다. 

```
ollama run llama2
```


프롬프트가 생성 됩니다. ^^

답변은 곧잘 합니다. 영어로 T.T

그런데 긴 답변은 무지 오래 걸리네요.

```
안녕하세요, 올라마 모델이 한국어로 대답할 수 있나요?
```

요렇게 질문을 했고, 

답변은 
```
Of course! I can answer in Korean. 
```

대충 이런식입니다. T.T 

저는 한글이 좋은데 말이죠 ^^

```
>>> 안녕하세요, 올리마 모델이 한국어로 대답할 수 있나요?

Of course! I can answer in Korean. Here's a summary of the steps to use Ollama and download/run the Llama2 model in Korean:

Step 1: 설치하기 (Installing Ollama)

우선, Ollama Software를 공식 홈페이지에서 다운로드해야 합니다. 다운로드가 완료되면, 설치 파일을 실행하고, 프러버트에 따라 인스톨 합니다.

Step 2: 라마2 모델 다운로드 (Downloading Llama2 Model)

오늘은 Ollama를 설치한 후, Llama2 모델을 다운로드하겠습니다. Ollama의 인터페이스에서 다음 명령어를 실행해보세요:
```ollama pull llama2```
이 명령어를 실행하면, Llama2 모델을 다운로드하고, 컴퓨터에 저장합니다.

Step 3: 라마2 모델 실행 (Running Llama2 Model)

이제 Ollama의 인터페이스에서 다음 명령어를 실행해보세요:
```ollama run llama2```
이 명령어를 실행하면, Llama2 모델을 실행하고, 간과 작업을 실행합니다.

Note: Llama2 model is a 3.8GB model, so it may take some time to download and run it. 
```

그래서 제가 하고 싶은 제 블로그를 요약해달라고 해봤습니다. 그랬더니 위와 같이 나오네요.

요약은 잘 하는데 ^^ 

영어와 한글이 썩여서 나옵니다. 

일단 가능성은 확인 했고, 이 확인한 가능성을 가지고 새로운 개발을 해봐야겠습니다. 

이 결과는 특정 시점의 모델 출력 한 번일 뿐, 한국어 품질을 일반화하는 성능 평가가 아닙니다. 같은 프롬프트도 모델 버전과 양자화 방식, 하드웨어에 따라 결과가 달라질 수 있습니다.

감사합니다.

---

**Tags** Ollama, OllamaWindows, Llama2, 인공지능, AI, LLM, 로컬LLM, 레거시기록, 로컬API보안, 가야태자, talkit