OpenAI пусна нов ултрабърз режим за своя флагман GPT-5.6 Sol, обещавайки да увеличи скоростта на обработка четиринадесет пъти. Това подобрение надхвърля обикновена настройка на производителността; то има за цел да елиминира традиционния компромис между скорост и капацитет, осигурявайки почти мигновени отговори, без да се прави компромис с интелигентността на най-модерния модел на компанията.
Новата технология, която в момента е достъпна за предварителен преглед за избрана група клиенти, използва инфраструктурата на Cerebras, производител на чипове, специализиран в изкуствен интелект. Според данни, предоставени от OpenAI, системата може да генерира до 750 токена в секунда , което е четири пъти по-голяма стойност от повечето настоящи търговски модели и позиционира тази технология на ново ниво в индустрията.
Скок в скоростта без компромис с модела
Досега постигането на бърза реакция обикновено означаваше прибягване до по-малък или по-специализиран модел, компромис, който OpenAI се стреми да избегне с Ultrafast. Вместо да създаде опростена версия, компанията избра да ускори същия GPT-5.6 Sol , оставяйки непокътнати възможностите му за разсъждение и генериране на текст. Това означава, че разработчиците и компаниите, използващи API, ще могат да се радват на минимална латентност, без да жертват качеството на резултатите.
Скоростта от 750 токена в секунда означава, че параграф с отговор се генерира за по-малко от секунда, което прави взаимодействието практически мигновено. Тази функция е особено ценна в приложения, където всяка милисекунда е от значение, като например алгоритмична търговия, поддръжка на клиенти с голям обем запитвания или реагиране на инциденти със сигурността. OpenAI подчертава, че скоростта вече не изисква жертване на интелигентност , послание, което резонира с ранните потребители на предварителен преглед.
Инфраструктурата на Cerebras е ключът към производителността
Тайната зад Ultrafast се крие в сътрудничеството с Cerebras, чийто процесор Wafer-Scale Engine интегрира 44 GB SRAM и поддържа теглата на моделите близо до изчислителните единици. Тази архитектура драстично намалява движението на данни между външната памет и процесора, едно от основните пречки при извеждането на големи модели. Според компанията теглата остават върху чипа, докато токените преминават през слоевете , което му позволява да обработва стотици токени в секунда без влошаване на качеството.
Интеграцията с Cerebras не само е от полза за OpenAI, но и бележи важен етап за производителя на чипове, чиято инфраструктура поддържа граничен модел в рамките на търговска услуга. Въпреки че капацитетът остава ограничен, и двете компании потвърдиха, че ще разширят достъпа, когато се появят налични ресурси. В момента Ultrafast се предлага само чрез API и не е наличен в ChatGPT, разграничение, което OpenAI ясно посочи в прессъобщението си.
Случаи на употреба, предназначени за критични среди
OpenAI е идентифицирал няколко сценария, при които ниската латентност е от съществено значение. Те включват реагиране при инциденти , при което агент може да анализира лог файлове, да преглежда следи и да предлага решения, докато прекъсването все още е активно; финансови проучвания , които изискват обработка на пазарни сигнали в реално време; и обслужване на клиенти , където разговорите протичат безпроблемно без осезаеми забавяния. Споменава се и електронната търговия, с персонализирани препоръки и управление на инвентара в реално време.
Компании като Jane Street, Podium, Basis и Rogo вече тестват Ultrafast в приложения, свързани с програмиране, търговия и поддръжка. Първоначалните резултати показват, че намаляването на времето, прекарано във всяка задача, може да трансформира процеси, които преди това са се изпълнявали на нощни партиди, в непрекъснати итерации през целия ден . OpenAI обаче предупреждава, че крайната производителност зависи от сложността на всеки работен процес, включително външни инструменти и извиквания към база данни, така че цифрата от 750 токена в секунда е само ориентировъчна точка за максималната скорост на генериране.
Ограничена наличност и следващи стъпки
Ultrafast в момента е във фаза на ограничен предварителен преглед и OpenAI не е обявила дата за общата му наличност. Компанията потвърди, че достъпът ще се разшири с увеличаване на капацитета , но засега само избрана група клиенти могат да го активират. Публичната цена на това ново ниво на услуга също не е разкрита, което е ключов фактор за бизнеса, за да прецени дали намалената латентност оправдава допълнителните разходи.
В сравнение с конкуренцията, OpenAI твърди, че Ultrafast превъзхожда режима Claude Fast на Anthropic, който не постига същите скорости. Тази разлика може да се превърне в решаващ фактор за организациите, които разчитат на почти мигновени отговори. Междувременно, разработчиците вече си представят приложения, които преди са били непрактични поради времето за изчакване, от генериране на код в реално време до интерактивни текстови игри.
Накратко, появата на Ultrafast бележи повратна точка в надпреварата за най-бързия изкуствен интелект на пазара. Със сътрудничеството с Cerebras и подход, който не прави компромис с мощността на модела, OpenAI очевидно е установил еталон в областта на ниската латентност. Въпреки че ценообразуването и общата наличност все още не са определени, предварителната версия вече показва, че скоростта може да върви ръка за ръка с интелигентността и че спестените секунди за всяка задача имат реална стойност в корпоративни среди.