Илон Маск объявил, что его компания xAI, занимающаяся разработкой искусственного интеллекта, планирует запустить суперкомпьютер «Гигафабрика вычислений» осенью 2025 года. Суперкомпьютер будет разработан в сотрудничестве с Oracle.
По словам эксцентричного технологического предпринимателя, суперкомпьютер необходим для разработки следующей версии системы Grok-LLM от xAI. Илон Маск подсчитал, что для обучения и работы нового LLM потребуется до 100 000 графических процессоров, пишет The Information. Обучаться Grok 2 LLM от xAI будет на 20 000 GPU.
Поэтому, по логике Илона Маска, вместо того, чтобы покупать их по отдельности, лучше объединить их во всеохватывающий суперкомпьютер или «Гигафабрику вычислений». Он сам будет лично руководить процессом строительства, которое должно завершиться к осени 2025 года.
Графические процессоры, которые будут использоваться в суперкомпьютере xAI, — это графические процессоры Nvidia H100. В совокупности эти GPU будут в четыре раза больше, чем самые крупные из существующих на сегодняшний день кластеров GPU. Например, кластеры GPU, которые Meta использует для разработки своих Llama LLM.
Новый суперкомпьютер разрабатывается в сотрудничестве с Oracle. В чем именно заключается это сотрудничество, пока неизвестно. И Oracle, и xAI пока никак не отреагировали на слухи о новом суперкомпьютере.
Сама компания xAI также набирает обороты в качестве разработчика ИИ и оказывает давление на других крупных разработчиков, таких как OpenAI и Google. Недавно разработчику удалось привлечь 6 млрд долл. в рамках инвестиционного раунда серии B.
Инвесторами этого раунда стали Valor Equity Partners, Vy Capital, Andreessen Horowitz, Sequoia Capital и Fidelity Management & Research Company. Также в этом инвестиционном раунде приняли участие принц Альвалед бин Талал из Саудовской Аравии и компания Kingdom Holding.
По словам представителей xAI, привлечённый капитал будет направлен на вывод на рынок первых моделей искусственного интеллекта, создание развитой инфраструктуры и ускорение исследований в области будущих технологий. Однако неизвестно, подразумевается ли под развитой инфраструктурой суперкомпьютер, который будет разработан.