뉴토끼 이미지 깨짐 우리는 로컬 SLM/폐쇄 환경에서 작동하는 생성 된 AI를 테스트했습니다 (성능 지표

뉴토끼 이미지 깨짐 Kiuchi
뉴토끼 이미지 깨짐

소개

오랜 시간이 지났습니다 이 로컬로 생성 된 AI/SLM 검증 시리즈는 뉴토끼 이미지 깨짐;회사 내 또는 현장 내에서 AI를 로컬로 사용하려는뉴토끼 이미지 깨짐;욕구로 시작되었습니다
첫 번째 에피소드에서는 Ollama와 Open Webui를 사용합니다폐쇄 된 환경에서 실행되는 AI (로컬 SLM) 생성를 건설했습니다 단계 및 구성 이미지를 도입했습니다
뉴토끼 이미지 깨짐;클라우드로 보낼 수 없습니다뉴토끼 이미지 깨짐;또는 뉴토끼 이미지 깨짐;인터넷에 연결할 수 없습니다뉴토끼 이미지 깨짐; - 많은 사람들이 그러한 제한 하에도 생성 된 AI를 사용할 수있는 데 관심이있는 것처럼 보였습니다 아직 첫 번째 기사를 읽지 않은 경우 여기를 클릭하십시오뉴토끼 이미지 깨짐;우리는 로컬 SLM/폐쇄 환경지옥락 뉴토끼 작동하는 생성 된 AI를 테스트했습니다 (1) Environment Construction Edition뉴토끼 이미지 깨짐;를 살펴보십시오

이번에는 다음뉴토끼 이미지 깨짐;현실적인 도전뉴토끼 이미지 깨짐;로 들어갑니다뉴토끼 이미지 깨짐;이뉴토끼 이미지 깨짐;실제 뉴토끼 이미지 깨짐;로컬 SLM이 실제로 얼마나 운영 되었습니까?뉴토끼 이미지 깨짐; 우리는이 수치 적으로 시각화하는 방법과 실제로 얻은 데이터를 소개합니다나는 그것을 할 것이다

물론, 이전 기사를 읽지 않더라도 괜찮습니다
내용은 오프라인 환경에서도 그렇게 할 수 있다고 느끼게 할 것입니다!
[기사 요약]
읽기를 완료 할 시간 : 12-15 분
얻을 수있는 혜택 : 성능 메트릭을 시각화하고 로컬 SLM에서 로그를 얻는 방법을 배우십시오

SLM의 뉴토끼 이미지 깨짐;능력뉴토끼 이미지 깨짐;을 측정하는 방법은 무엇입니까?

생성 AI에 관해서는, 우리는 글쓰기의 자연과 지능을 보는 경향이 있지만, 우리의 작업의 현지 사용을 고려할 때 그 자체만으로는 충분하지 않습니다
실제로 중요한 것은성능 표시기 (벤치 마크)

예를 들어 안정기

  • 처리하기에는 너무 느리고 스트레스가 많습니다
  • GPU에서 너무 많은 메모리를 섭취하고 다른 앱 작동 중지
  • 비 GPU 환경에서 사용할 수 없음

이것이 바로뉴토끼 이미지 깨짐;지상의 상황뉴토끼 이미지 깨짐;을 피하기 위해 정량적 지표가있는 모델 평가필수적입니다

실용적인 작업에서 강조하는 5 개의 지표

다음 5 가지 가이 시간을 의식하고 있었다

표시기 실제로 의미와 중요성
토큰/SEC
문장을 얼마나 빨리 생성 할 수 있습니까?
(초당 생성 된 토큰 수, 처리량 설계의 기본 사항)
초기 응답 시간 사용자가 기다려야 할 시간
VRAM 사용 실행할 수있는 PC 및 서버의 조건 이해와 직접 관련
CPU 사용 비 GPU 환경 및 에지 장치에서로드 확인
출력 자연 실용성 및 가독성에 대한 평가 기준


이들은뉴토끼 이미지 깨짐;작은 언어 모델 : 설문 조사, 측정 및 통찰력뉴토끼 이미지 깨짐;는 또한 SLM의 평가 지점으로 잘 구성되어 있습니다
또한 이번에는 뉴토끼 이미지 깨짐;토큰/초 (생성 속도)뉴토끼 이미지 깨짐;를 측정했는데, 이는 상대적으로 쉽게 얻을 수있었습니다 우리는 다른 지표를 획득하고 점차적으로 시각화하는 방법을 계속 개발할 수 있기를 바랍니다

전제 조건

이번에는 검증이 다음 PC 환경에서 수행됩니다 구조는 이전 기사와 동일합니다

OS Windows 11 Home (24H2)
CPU AMD Ryzen AI9 HX370
메모리 32GB
디스크 1TB
GPU/VRAM NVIDIA GEFORCE RTX 4060/8GB


이 테스트의 내용과 결과는이 구성을 기반으로합니다 환경이 다르면 성능 추세가 변경 될 수 있습니다

지역 환경에서 측정을위한 벽과 독창성

뉴토끼 이미지 깨짐;그러면 그 숫자를 어떻게 얻습니까?뉴토끼 이미지 깨짐; 이것은 놀랍게도 내가 가장 좋아하는 것이었다
첫 번째 할부에 내장 된 Ollama 및 Open Webui 구성에 관해서는
  • 토큰/SEC (초당 생성 된 토큰 수)
  • 초기 응답 시간

와 같은 자세한 데이터를 얻을 수 없습니다
나는 또한 webui쪽에 Open WebUI를 직접 엉망으로 만들어서 그것을 표시하는 것에 대해 생각했지만 업데이트를 지원하기가 어렵 기 때문에 현실적이지 않다고 결정했습니다 (Open Webui의 릴리스 상태에서 볼 수 있듯이 거의 매주, 때로는 일주일에 몇 번씩 업데이트가 있습니다 매번 내용을 직접 해결하는 것은 현실적이지 않습니다 )

뉴토끼 이미지 깨짐;외부에서 엿보기뉴토끼 이미지 깨짐;에 릴레이 처리 소개

그래서 나는 아이디어를 생각해 냈습니다Ollama와 Open WebUI 간의 릴레이 처리를 수행하는 방법
특히 다음 이미지가 표시됩니다

이 프록시를 사용하면 릴레이 처리 중에 요청 및 응답을 살펴볼 수 있습니다

  • 프롬프트 보내기 시간
  • 첫 번째 응답 토큰 반환 시간
  • 총 생성 시간
  • 토큰/초의 계산 결과 (초당 생성 된 토큰 수)

와 같은 로그 정보를 출력하는 메커니즘을 생각했습니다

실제 코드

릴레이 처리에 사용되는 뉴토끼 이미지 깨짐;홈 빌드 프록시뉴토끼 이미지 깨짐;처리이지만 이번에는 Python을 사용하여 간단한 플라스크 애플리케이션으로 구현했습니다
다음은 뉴토끼 이미지 깨짐;주택 제작 대리뉴토끼 이미지 깨짐;코드입니다 (proxy_server.PY)

포인트는 Ollama에 대한 요청이 전달되고 필요한 정보 만 기록되는 부분입니다
이 프록시 프로세스 내에서 사용되는 라이브러리도 검색요구 사항.txt당신도 그것을 준비해야하므로 잊지 마십시오! (요구 사항.TXT위 코드와 같은 장소에 배치하십시오)

실행 환경 폴더 구성

기사를 본 사람들의 경우 자신의 환경에서 실행할 수없는 것은 무의미합니다 이번에 테스트 한 폴더 구조의 전반적인 이미지를 게시했습니다 (폴더 구성의 주석 상단에서(*)| 새 폴더로 만들어야합니다)

이 구성을 사용하면 필요한 파일을 동일한 계층 구조로 유지할 수 있으므로 환경을 재현하고 구성을 관리 할 수 있습니다 이를 참조로 자유롭게 사용하십시오

도커 영상화 및 실행 절차

다음, 다음과 같이 위에서 만든 뉴토끼 이미지 깨짐;홈 제작 프록시뉴토끼 이미지 깨짐;와 전달할 composeyaml 준비 :
(위의 뉴토끼 이미지 깨짐;실제 코드뉴토끼 이미지 깨짐;로 생성 된 수제 프록시proxy_server.PY이것은입니다 또한 기존 구성이 없더라도이 컨텐츠로 새 구성을 만들면 문제가 없습니다)

포인트 IS이것은 프록시 (프록시 컨테이너)를 통해 webui를 요청하는 것을 의미합니다
이 구성으로 인해 Open WebUI의 업그레이드 및 내부 사양이 변경되면 외부에서 요청이 보이기 때문에 로그 획득에 영향을 미치기가 어렵습니다

실제 로그 및 고려 사항

릴레이 처리를 시작한 후 다음 로그를 받았습니다 (로그가 발췌 된 표시)

이번에는 다음 4 개의 로컬 SLM 모델을 테스트했습니다 이들 각각의 특성과 실제로 얻은 평균 토큰 생성 속도 (토큰/sec)는 다음과 같습니다
모델 이름 매개 변수 스케일 기능 및 비고 평균 토큰/SEC
QWEN25VL : 7B 7B 경량 및 고속 모델 35.7
gemma3n : e4b 12b (최신)에 해당합니다 Gemma3 시리즈의 최신 세대, 최적화 모델 20.5
gemma3 : 12b 12B 표준 중간 규모 모델, 균형 유형 14.7
gemma3 : 27b 27B 높은 정확도, 느린 속도를 가진 큰 모델 4.0
*평균 값은 가장 가까운 소수점 자리로 반올림
고려 사항 요약
이 확인 결과에서 다음이 공개되었습니다
QWEN25VL : 7B
가능한 한 빨리토큰 생성 속도는 약 35 ~ 38 토큰/Sec| 기록되었습니다
가벼운 모델의 이점을 극대화하기 때문에 지역 환경에서 챗봇 및 간단한 생성 작업에 이상적입니다말할 수 있습니다
gemma3 : 12b
토큰 생성 속도는 약 13-15 토큰/초입니다 중간 체량 모델의 표준 결과입니다
QWEN25VL : 7B는 속도면에서 열등하지만보다 안정적인 출력 품질과 다목적 성을 가질 것으로 예상 될 수 있으므로 처리 시간과 품질 사이의 균형이 강조되는 상황에 적합한 옵션이 될 수 있습니다
gemma3n : e4b 동일한 12b 클래스에서도 최적화 된 생성의 특징으로서약 20-22 토큰/초, 이전 세대 Gemma3 : 12b완료되었습니다
속도와 품질의 균형이 잘 잡혀현실적인 비즈니스 사용을위한 가장 쉬운 중간 규모 모델 중 하나말할 수 있습니다
gemma3 : 27b 토큰 생성 속도는 약 38 ~ 42 토큰/초입니다 이는 다른 모델보다 압도적으로 느립니다
대신출력 품질과 정확성을 강조하고 실시간 성능이 필요하지 않은 고품질 생성 작업 (문서 요약, 텍스트 생성 등)에 대한 가치가있는 대형 모델지역 환경에서 사용하는 경우 운영 목적을 결정한 후에 도입해야합니다말할 수 있습니다
또한이번에는 컨텐츠 출력 외에도 로그의 출력 내용을 수정하여 출력으로 정보를 사용자 정의 할 수도 있습니다
이런 식으로
  • 모델 별 추론 시간
  • 토큰 생성 속도 (토큰/초, 초당 생성 된 토큰 수)
ASSO객관적인 숫자를 기반으로, 우리는 로컬 SLM의 실용성과 범위를 결정하는 데 필요한 정보를 얻을 수있었습니다

요약 및 다음 개발

이 테스트에서 얻은 포인트는 다음과 같습니다

　✅로컬 SLM의 능력은 수치 값을 통해 뉴토끼 이미지 깨짐;시각화뉴토끼 이미지 깨짐;될 수 있습니다
　✅제품 측면을 수정하지 않고 로그를 외부에서 자유롭게 처리 할 수있는 구조
　✅실용성과 한계는 이제 감각보다는 데이터에 의해 판단 될 수 있습니다

다음 개발

다음으로, 우리는 실제 작업에 중점을 둔 다음 주제를 더 자세히 살펴보고 싶습니다

  • 로컬 SLM 및 RAG의 실제 수준 활용
  • 비전 모델 및 사무실 문서 확인
  • 특히 회사 내에서 자주 사용되는 Excel, PowerPoint 및 PDF의 유용성을 요약하고 평가할 것입니다

AI 세대는 뉴토끼 이미지 깨짐;마법뉴토끼 이미지 깨짐;이 아니라 뉴토끼 이미지 깨짐;현실적인 도구뉴토끼 이미지 깨짐;입니다그래서 우리는 이러한 꾸준한 검증을 계속 추구하고 사이트에 맞는 이들을 사용하는 방법을 계속 탐색 할 것입니다그렇게 생각합니다

뵙겠습니다 다음에 뵙기를 기대하십시오!

연락처 정보

저자 프로필

Kiuchi Tomoyuki
Kiuchi TomoyukiTDI 디지털 혁신 기술 부서
내부 개발 프로젝트 및 클라우드 데이터 활용에 대한 기술 지원에 대한 책임 내가 그것을 알기 전에, 나는 데이터 엔지니어링 및 시스템 재단 건설과 같은 다양한 것들에 머리를 밀고 있었지만 내 모토는 뉴토끼 이미지 깨짐;먼저 시도해보십시오뉴토끼 이미지 깨짐;입니다 최근에, 나는 지역 세대 AI 및 코드 생성 AI와 같은 개발 현장에서 즉시 유용한 Generation AI를 사용하는 데 푹 빠졌습니다 우리는 물건을 더 쉽고 똑똑하게 만들 수있는 세상을 만들기 위해 고군분투하고 있습니다

관련 기사