Google Colab & ngrok 활용 가이드: 나만의 원격 AI 서버 구축하기

Google Colab & ngrok 활용 가이드: 나만의 원격 AI 서버 구축하기

안녕하세요! 가야태자 @talkit입니다.

요즘 AI 공부에 푹 빠져서 열심히 AI를 돌려보고 깊이 파고 들기도 하고 있습니다.
그런데, 자원이 문제 입니다.

제가 가진 맥북을 이용해서 작업을 하고 있는데 이 부분도 너무 좋은데 발열이 문제네요. 팬소음과 발열만 아니면 정말 좋은 것 같은데 말이죠.

그리고, 지난 번에도 말씀 드렸지만, Mac 스튜디오 울트라가 눈에 아른거리고 있습니다.
돈이 비싸서 그렇지 발열과 자원은 신켱 안쓰고 할 수 있을 텐데라는 생각을 하고 있구요.

2년 무이자 할부로 하면, 약 70만원 정도를 2년동안 매달 내야 해서, 요즘 이 생각도 하고 있습니다.

"그냥, 클러드 코드나 Google AI API를 돈을 주고 써볼까?"

그런데, 최대한 무료로 먼저 자원을 찾아 보자. 하고 찾은 것이 옛날에 잠깐 공부 했던 Google Colab 입니다.

그래서 오늘은, 고성능 GPU가 없어도 웹브라우저만으로 최신 AI 모델을 돌리고, 이를 원격 서버로 활용하는 방법을 정리해 드립니다.

---

1. Google Colab 시작하기 (기초 설정)

구글 코랩(Google Colab)은 설치 없이 파이썬 코드를 실행할 수 있는 클라우드 기반 서비스입니다.

https://colab.research.google.com/

위 주소에서 사용할 수 있습니다.

처음 접속 하셔서 몇가지 동의를 하시고, 아래와 같이 설정 하시면 됩니다.

필수 환경 설정: GPU 활성화

비용 없이 강력한 성능을 내려면 T4 GPU를 활성화해야 합니다.

1. 상단 메뉴에서 [런타임] > [런타임 유형 변경]을 클릭합니다.
2. 하드웨어 가속기에서 T4 GPU를 선택하고 저장합니다.
3. 오른쪽 상단의 [연결] 버튼을 눌러 자원을 할당받습니다.

무료로 사용할 때는 기본이 CPU 입니다.

그래서 CUDA라고 그래픽 카드를 이용한 연산을 하려면 위와 같이 T4 GPU를 꼭 선택해주셔야 합니다.

연습용으로 하겠다 하시면 그냥 기본으로 사용하셔도 됩니다.

저도 아직은 코랩을 약간의 시간동안 서버로 사용하기는 성공 했지만,

서버 프로그램이 오류를 일으키고 있습니다. ㅎㅎㅎ

그래서 수정할 계획입니다.

---

2. 간단한 파이썬 프로그램 실행 방법

코랩에서 새 노트를 만드시면 셀이라는 곳에 커서가 깜빡입니다.

코랩의 '셀(Cell)' 단위 실행 방식을 이용하면 코드를 직관적으로 테스트할 수 있습니다.

# 1. 텍스트 셀에 제목을 적고, 코드 셀에 아래 내용을 입력해 보세요.
name = "가야태자"
print(f"안녕하세요, {name}님의 코랩 실험실에 오신 것을 환영합니다!")

# 2. 실행은 셀 왼쪽의 [▶️] 버튼을 누르거나 [Shift + Enter]를 입력합니다.
import torch
print(f"GPU 가용 여부: {torch.cuda.is_available()}")

위소스를 입력하시고,

왼쪽 위에 플레이 버튼을 누르시면 파이썬이 잘 실행 되는 것을 볼 수 있습니다.

장비에 2 CORE CPU 와 T4 GPU(with 12GB RAM)을 사용할 수 있어서.

8b는 테스트했을 때무리였고, ㅠ.ㅠ 3B 정도의 모델은 잘 돌아 갑니다.

---

그리고 여기서 Colab의 아쉬운 점이 있습니다.
바로 외부에서 해당 서버에 접근 할 수 없다는 점인데요.
이부분을 해결 해주는 서비스가 ngrok.com 입니다.

저는 집에 있는 컴퓨터에 번역기가 사용할 AI API를 만들고 있는데 ^^

일단 제미나이 무료 API를 사용하고 잇습니다.

그리고, 바로 코렙에 번역 API를 띄워놓고 사용하고 싶어서 시도 하고 있습니다.

그래서 번역용 파이썬이 코렙에 있는 번역 API를 호출 하면, 동작하도록 만들고 싶어서 찾아 본 서비스가 ngrok 입니다.

제게는 너무 고마운 서비스네요 ^^

3. ngrok.com을 활용한 외부 연결 방법

내 코랩 서버를 집 밖에서도 접속 가능한 API 서버로 만들려면 ngrok이 필요합니다.

ngrok 가입 및 토큰 발급

1. ngrok.com에 가입합니다.
2. Dashboard에서 'Your Authtoken' 메뉴로 들어가 토큰을 복사합니다.

보안 주의사항 (토큰 관리)

• 위에서 받은 토큰은 무조건 본인만 사용하셔야 합니다. - 예시: 2Aul...XXXX...REs

연결 코드 예시

코랩 셀에 아래 코드를 입력하여 외부 URL을 생성합니다.

!pip install pyngrok

from pyngrok import ngrok

# 보안을 위해 토큰은 마스킹 처리된 본인의 토큰을 입력하세요
NGROK_TOKEN = "2AulC*****************************S"  # 예시
ngrok.set_auth_token(NGROK_TOKEN)

# 8000번 포트로 터널 생성
public_url = ngrok.connect(8000)
print(f"공개된 서버 주소: {public_url}")

서버가 켜지면, 공개된 서버 주소 URL 다음에 나오는 주소를 브라우저에 입력하면 필요한 서비스를 웹으로 활요할 수 있습니다.

---

4. 실전! 하이브리드 번역 서버 가동

저는 이 방식을 활용해 Qwen 2.5 3B 모델을 코랩에 올리고, 제 맥북에서 API로 호출하는 3원 하이브리드(Gemini + Colab + Local) 번역 시스템을 운영 중입니다.

• 장점: 맥북의 발열 감소, 무료 GPU 활용, 언제 어디서든 나만의 AI 비서 가동!

추후에 실제 코드는 정리가 되면 한번 같이 공유할 기회가 있을 것 같습니다.

지금은 열심히 작성하고 공부해서 서비스를 만들어 보려고 합니다.

공부하는 부분에 대해서 어떤 점이 잘 못 되었었는지 또 공유 드리겠습니다.

감사합니다.

#GoogleColab #ngrok #AI서버 #파이썬 #GPU #가야태자 #IT지식공유