AI 서비스(로컬)

Doco Translate는 번역을 위해 Ollama, LM Studio 및 oMLX와 같은 로컬 AI 모델 런타임에 연결할 수 있습니다.

로컬 AI 번역 서비스

현지 모델의 장점

로컬 모델을 사용하는 것은 몇 가지 중요한 이점을 제공하기 때문에 Doco Translate가 가장 강력하게 권장하는 접근 방식입니다.

대형 언어 모델은 자연어 작업, 특히 번역에 탁월합니다. 일반적으로 기존 기계 번역 엔진보다 더 나은 번역 품질을 제공합니다.

Model은 데이터를 장치에 유지합니다. 문서 처리가 비공개로 유지되도록 아무 것도 제3자 제공업체로 전송되지 않습니다.

클라우드 AI API와 달리 로컬 모델은 토큰 비용을 청구하지 않으며 추가 사용 요금도 없습니다.

Local 모델은 일반적으로 오픈 소스이며 소비자 하드웨어에서 잘 실행되는 모델은 4B, 9B, 35B-A3B 또는 27B와 같이 상대적으로 작은 매개변수 개수를 갖는 경우가 많습니다. 따라서 일반적인 기능은 대규모 클라우드 모델보다 약할 수 있습니다.

그러나 번역에는 매우 긴 추론 체인이나 가장 강력한 추론 모델이 필요하지 않습니다. 더 작은 로컬 모델은 좋은 번역을 생성할 수 있으므로 매우 비용 효과적인 선택이 됩니다.

로컬 추론 속도는 하드웨어와 모델 크기에 따라 다릅니다. 더 나은 하드웨어와 더 작은 모델은 더 빠르지만 로컬 추론은 일반적으로 클라우드 AI API보다 여전히 느립니다.

도구	특성
올라마	간단한 명령줄 설정 및 모델 관리
LM 스튜디오	로컬 모델을 다운로드하고 실행할 수 있는 친숙한 그래픽 인터페이스
oMLX	Apple Silicon에 최적화된 고속 로컬 LLM 추론

Ollama는 로컬 모델을 실행하기 위한 접근 가능한 명령줄 도구입니다.

공식 지침에 따라 Ollama를 설치한 후 다음을 실행하세요. ollama pull MODEL_NAME 모델을 다운로드합니다.

모델을 다운로드하고 Ollama에서 성공적으로 실행한 후 한 번의 클릭으로 Doco Translate에 연결합니다.

기본 Ollama 엔드포인트는 다음과 같습니다. http://localhost:11434.

Ollama 서비스 설정

LM Studio는 로컬 모델 실행을 위한 그래픽 인터페이스를 제공하며 시작하기 쉽습니다.

공식 웹사이트에서 LM Studio를 설치한 후 앱 내에서 모델을 다운로드하세요.

모델을 다운로드한 후 LM Studio의 로컬 모델 서버를 시작하여 API를 노출합니다. 그런 다음 한 번의 클릭으로 Doco Translate에 연결할 수 있습니다.

기본 LM Studio 엔드포인트는 다음과 같습니다. http://localhost:1234.

LM 스튜디오 서비스 설정

oMLX는 Apple Silicon에 최적화된 로컬 모델 런타임이며 매우 빠른 추론을 제공합니다.

공식 웹사이트에서 oMLX를 설치하고 oMLX 콘솔을 열고 모델을 다운로드하세요.

oMLX는 로컬 서비스를 자동으로 시작합니다. 모델을 다운로드하고 테스트를 통과한 후 한 번의 클릭으로 Doco Translate에 연결합니다.

기본 oMLX 엔드포인트는 다음과 같습니다. http://localhost:8000.

oMLX 서비스 설정