На форуме Huawei "Инновационная инфраструктура данных" (Баку), посвященном теме "Активация данных: создание передовой инфраструктуры данных, готовой к применению искусственного интеллекта", д-р Питер Чжоу, вице-президент Huawei и президент серии продуктов Huawei для хранения данных, выступил с речью на тему "Пересмотр хранения данных в эпоху активации данных".
Д-р Чжоу прогнозирует, что будущее систем хранения данных будет зависеть от множества возможностей, включая сверхвысокую производительность, устойчивость данных, новую парадигму данных, масштабируемость, долговечность и структуру данных, передает inbusiness.kz.
С появлением генеративного искусственного интеллекта спрос на надёжные решения для хранения данных стал ещё более актуальным в современной технологической среде. Поскольку масштаб кластеров крупных моделей искусственного интеллекта вырос и включает в себя десятки тысяч и даже сотни тысяч графических процессоров, это расширение привело к более частым сбоям в работе кластера и перерывам обучения. Длительный процесс многократной записи данных контрольных точек и возобновления обучения приводит к увеличению времени простоя вычислительных плат, что приводит к снижению использования кластера более чем на 50%. Более того, ожидается, что к 2026 году энергопотребление глобальных центров обработки данных в 2,3 раза превысит показатель 2022 года и будет эквивалентно годовому энергопотреблению Японии. Более половины мощности в центрах обработки данных будет потребляться искусственным интеллектом.
Искусственный интеллект стремится изменить традиционное хранение данных, уделяя особое внимание не только производительности, надежности и парадигме данных, но и масштабируемости, долговечности и матрице данных. В эпоху активации данных Huawei пересмотрит систему хранения данных, внедрив передовые инновации в следующих шести сферах:
- Сверхвысокая производительность: Huawei повышает производительность систем хранения данных в 10 раз по сравнению с традиционным методами хранения. Хранение также поддерживает пропускную способность в Пбайт/с и 100 миллионов операций ввода-вывода в секунду, что значительно повышает эффективность всего процесса генеративного искусственного интеллекта.
- Устойчивость данных: Инновационная архитектура и технологии обеспечивают высокую надежность на уровне 99,9999%. Встроенный механизм обнаружения программ-вымогателей повышает точность обнаружения до 99,99%. Даже время восстановления контрольной точки во время тренировки искусственного интеллекта сокращается менее чем до минуты.
- Новая парадигма данных: Многомерные тензорные данные позволяют поддерживать быстрый поиск и выборку данных с помощью интеллектуального механизма поиска. Технология генерации ответа, дополненная результатами поиска (RAG) работает со встроенной базой знаний для устранения ложной информации в больших моделях искусственного интеллекта.
- Масштабируемость: Один кластер хранения данных может быть расширен до уровня EB, а каждый механизм может быть дополнен несколькими графическими процессорами, устройствами обработки данных (DPU) или нейронными (NPU) процессорами для вычислений вторичного хранения данных.
- Долговечность: Инновации в области носителей информации и устройств хранения данных обеспечили исключительную энергоэффективность (менее 1 Вт/ТБ) и плотность размещения данных (более 1 ПБ/Ед).
- Матрица данных: возможности управления метаданными хранилища и поиска обеспечивают глобальную видимость и управляемость данными, а также мобильность данных, которая в 10 раз эффективнее.
Эти впечатляющие инновации заложили основу для выпуска высокопроизводительного процессора OceanStor A800, который является мощным дополнением к моделям хранения данных Huawei серии OceanStor A. Адаптированный к ИИ, OceanStor A800 может увеличить использование кластера ИИ на 30%, а что касается производительности, то он обеспечивает высокую пропускную способность и скорость ввода-вывода в секунду, которые в четыре и восемь раз выше, чем у аналогичных поставщиков. Что касается масштабируемости, OceanStor A800 поддерживает масштабирование до уровня EB с использованием до 512 контроллеров, а также максимум до 4096 вычислительных плат. Что касается экономии места и энергии, то он обеспечивает исключительную плотность размещения данных – 1 ПБ/Ед., и энергоэффективность – 0,7 Вт/ТБ. Он также предоставляет новую парадигму данных с векторным индексом, тензорными данными и RAG. Что касается устойчивости данных, то точность обнаружения программ-вымогателей повышена с 99,9% до 99,99%. Кроме того, функция матрицы данных облегчает управление информационными активами.
В то же время инновации в области носителей информации являются движущей силой устойчивого развития. Недавно выпущенные Huawei твердотельные накопители большой емкости обеспечивают в 10 раз большую емкость при том же размере диска, что позволяет ещё больше снизить энергопотребление центра обработки данных. При емкости 128 ТБ на диск новые твердотельные накопители потребляют на 88% меньше места для хранения и на 92% меньше энергии, чем твердотельные накопители аналогичных поставщиков, при хранении каждого Пбайта данных.
Чтобы быть готовыми к применению искусственного интеллекта, предприятия должны быть в состоянии готовности данных. Глобальная файловая система Omni-Dataverse, встроенная в DME, делает корпоративные информационные ресурсы видимыми, управляемыми и мобильными в разных регионах, создавая тем самым для предприятий надёжную базу хранилища озер данных искусственного интеллекта.
В заключение д-р Питер Чжоу подчеркнул стремление Huawei пересмотреть систему хранения данных, ориентируясь на задачи и запросы клиентов в эпоху активации данных, и создать передовую инфраструктуру данных с поддержкой искусственного интеллекта для повышения ценности для клиентов.
