지난 1월 17일 ‘망고부스트’는 AI(인공지능) 추론 성능과 효율성을 향상시키는 시스템 최적화 소프트웨어 ‘망고 LLM부스트’(Mango LLMBoost™)를 출시했다고 밝혔다. 망고부스트는 AI 데이터 센터 효율성을 극대화하기 위한 첨단 시스템 솔루션을 제공하는 스타트업이다. 카드, 서버, 랙을 포함한 다양한 솔루션의 핵심인 망고부스트의 데이터센터용 데이터처리가속기(DPU)는 범용 그래픽처리장치(GPU), 가속기, 스토리지 제품과 호환돼 비용 효율적이고 표준화된 AI 인프라를 구현하는 게 특징이다. 망고 LLM부스트는 시스템 스케줄 조정, 커널 최적화, 독자적인 데이터 사전패칭(Prefetching) 기술 및 최신 GPU를 최대한 활용한 모델 양자화(Quantization) 기술을 기반으로 개발됐다. 망고부스트에 따르면 해당 모델을 적용하고 거대언어모델(LLM)을 구동한 경우, 최대 12.6배의 상대적 성능이 향상되고 92%의 비용이 절감됐다. 망고부스트 관계자는 “망고부스트 LLM부스트는 경쟁 솔루션 대비 압도적인 성능 향상과 비용 절감 효과를 증명하고 있다.”며 “정식 출시 전부터 강력한 도입 의향을 보인 빅테크 해외 지사에서 도입을 앞두고 있다.”고
지난 9월 24일 인공지능(AI) 기업 코어에이아이(Kore.ai)는 생성형 인공지능(AI) 및 거대언어모델(LLM) 플랫폼 ‘게일(GALE)’을 출시했다고 밝혔다. 게일은 생성형 AI 애플리케이션(앱)을 구축하도록 지원하는 플랫폼이다. 코어에이아이는 게일은 노코드 툴세트와 직관적 인터페이스를 통해 기업에게 다양한 모델과 프롬프트를 실험할 수 있으며, 인공지능에 전문 지식이 없더라도 개발자들이 쉽게 접근이 가능해 인공지능 에이전트를 구축하고 배포하는 효율적인 방법을 제공한다고 설명했다. 기업들은 생성형 인공지능을 배포하려고 하지만, 실행적인 부분에서 다양한 어려움에 직면하고 있다. 코어에이아이(Kore.ai) 플랫폼을 기반으로 한 게일은 AI 애플리케이션 개발을 간소화하고 기업이 생성형 AI를 채택하는 속도를 가속화한다. 개발 시간을 최대 50% 단축하고 신속한 프로토 타이핑을 제공하고 기업 생태계에 통합돼 비즈니스 시스템과 원활한 통합을 보장하며 대규모 AI 구현을 지원한다고 설명하고 있다. 주요 기능으로는 ▲드래그 앤 드롭 인터페이스를 통한 복잡한 워크플로우, 앱 및 AI 에이전트를 빠르게 생성할 수 있는 ‘노코드 플로우 빌더’ ▲30여개 AI 모델(커뮤
제호 : ASEANEXPRESS | 주소 : 서울특별시 서초구 강남대로 365(1103호, 서초동)
발행인-편집인 : 박명기 | 등록번호: 서울 아 52092 | 등록일 : 2019년 01월 19일
발행일 : 2019년 4월 10일 | 전화번호 : 070-7717-3264 | 청소년보호책임자 : 조성진
Copyright @2019 아세안익스프레스 Corp. All rights reserved.
UPDATE: 2025년 05월 31일 00시 08분
