Vibe Coder

  • 홈
  • 태그
  • 방명록
  • Contact me
  • About me
  • Terms of Use
  • Privacy Policy

onnxruntime 1

NVIDIA TensorRT와 ONNX Runtime을 활용한 AI 모델 경량화 및 추론 속도 최적화

거대해진 AI 모델, 배포의 장벽을 넘어서최근 인공지능(AI) 기술은 눈부신 발전을 거듭하며 우리 삶의 다양한 영역에 깊숙이 자리 잡고 있습니다. GPT-3와 같은 거대 언어 모델(LLM)부터 실시간 객체 탐지, 자율 주행에 이르기까지 AI 모델의 성능은 비약적으로 향상되었습니다. 하지만 이러한 성능 향상은 모델의 복잡성과 크기 증가라는 또 다른 과제를 안겨주었습니다. 수십억 개의 파라미터를 가진 모델을 실제 서비스에 배포하고 운영하는 것은 상당한 컴퓨팅 자원을 요구하며, 특히 실시간 추론이 필수적인 응용 분야에서는 지연 시간(Latency)이 큰 걸림돌이 됩니다.이러한 문제를 해결하기 위해 등장한 기술이 바로 AI 모델 최적화 및 경량화입니다. 학습된 모델의 성능은 최대한 유지하면서 크기를 줄이고, 추..

AI 2025.07.11
이전
1
다음
더보기
프로필사진

Vibe Coder

AI 기술을 실제 제품에 적용하는 데 초점을 맞춘 개발 블로그입니다. 컴퓨터 비전, 딥러닝 모델, AOI 검사 알고리즘, GPU 최적화 등 실제 프로젝트에서 얻은 경험과 노하우를 기술 중심으로 공유합니다.

  • 분류 전체보기 (41)
    • AI (41)

Tag

ai도구, cnn, visiontransformer, 인공지능, 3D검사, ChatGPT, Aoi, 딥러닝, AI개발, Ai, 자동광학검사, 머신러닝, 산업용AI, OpenCV, yolov9, 스마트팩토리, C++, python, chatgptapi, 컴퓨터비전,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/07   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바