0 просмотров

Как создать идеальный компьютер для глубокого обучения и сэкономить тысячи долларов

Содержание

Вы уже знаете, что создание собственного компьютера для глубокого обучения в 10 раз дешевле, чем использование AWS. Но выбор правильных деталей не является тривиальным, поэтому давайте подробно рассмотрим, что вам следует учитывать, плюсы и минусы моей сборки, инструкции по сборке и то, как вы экономите по сравнению с покупкой.

Это часть 2 из 3 в серии Deep Learning Computer. Часть 1 — «Почему строительство в 10 раз дешевле, чем аренда у AWS», а часть 3 — «Производительность и тесты». Смотрите новые фотографии и обновления: подписывайтесь на меня в Medium и Twitter! Оставляйте мысли и вопросы в комментариях ниже.

Выбираем 4 наиболее важные части: CPU, GPU, Storage и Memory.

Статья в тему:  Что такое предикат в искусственном интеллекте

В сборке всего 8 компонентов: GPU, CPU, Storage, Memory, CPU Cooler, Motherboard, Power, Case. Первые 4 являются наиболее важными. При обучении данные перетекают из хранилища в память к графическому процессору, а центральный процессор помогает на этом пути (манипулирует пакетами и т. д.). Итак, вы хотите убедиться:

  • Ваш процессор может поддерживать все ваши графические процессоры
  • Ваш графический процессор достаточно быстр и может разместить модель и пакет данных в памяти.
  • Память DDR4 и достаточно большая, чтобы хранить большинство наборов данных в несжатом виде.
  • Хранилище M.2 PCIe и достаточно большое

Сделайте свой компьютер расширяемым до 4 графических процессоров с правильным процессором

Трудно сказать, сколько графических процессоров вам понадобится, потому что для обучения некоторых моделей требуется 10 часов (Vision CNN, LSTM с обработкой естественного языка, Capsule Auto Encoders и т. д.). Итак, одна из лучших идей — начать с 1 или 2 графических процессоров и добавлять больше графических процессоров по мере продвижения.

Для каждого GPU требуется как минимум 8 линий PCIe (официально 16x, но есть данные, для которых достаточно 8x, если вы не проводите эксперименты с несколькими GPU). Вам понадобится 4 линии PCIe для твердотельного накопителя M.2 (который подключается сразу и работает в 5 раз быстрее, чем SATA3), и еще 4 линии PCIe для Gigabit Ethernet. Это в общей сложности 40 линий PCIe, что немного ограничит выбор вашего процессора. Ваш процессор будет диктовать, какая материнская плата вам нужна. (Например: ЦП AMD Threadripper = материнская плата с набором микросхем X399, ЦП Intel 7900X = материнская плата с набором микросхем X299 и т. д.).

Статья в тему:  Каким образом искусственный интеллект может стать вредным

Вам понадобится ЦП с 8+ ядрами / 16+ потоками и 40+ линиями PCIe, поскольку это позволяет проводить 4 эксперимента на каждый GPU (16 экспериментов, если у вас 4 GPU). Обычно модели занимают как минимум пару гигабайт памяти графического процессора, поэтому вы редко можете провести более 4 экспериментов на один графический процессор. Наконец, убедитесь, что линии PCIe действительно направляются в слоты расширения.

Процессоры AMD предлагают лучшую цену, чем Intel

По состоянию на декабрь 2019 года AMD предлагает больше производительности за меньшие деньги. AMD 1920X с 12 ядрами/24 потоками/60 линиями PCIe стоит всего 199 долларов! Intel 7900X с 10 ядрами/20 потоками/44 линиями PCIe стоит 1000 долларов. Тесты показывают сопоставимую производительность, поэтому AMD кажется легкой задачей. AMD 2920x второго поколения стоит всего 400 долларов. (Раскрытие информации: у меня длинная позиция по акциям AMD.)

Ваш графический процессор должен иметь достаточно памяти и быть достаточно быстрым

Память графического процессора работает иначе, чем оперативная память компьютера, поэтому, если у вас недостаточно памяти для вашей модели, вы не сможете обучаться (в отличие от медленного обучения). Время от времени у меня есть модель, для работы которой требуется 10 ГБ+, поэтому, если вы сомневаетесь, выберите модель с большим объемом памяти.

Графические процессоры Nvidia проще в использовании, чем другие платформы, потому что они имеют наибольшую поддержку инструментов сообщества (Tensorflow, PyTorch и т. д.).Покупайте карты с вентиляторами типа «нагнетатель» вместо больших двойных вентиляторов, потому что, если у вас несколько графических процессоров, вам нужно выпускать воздух за пределы коробки. (например, 1080 Ti Founder Edition или 2080 Ti Asus Turbo)

Статья в тему:  Почему вы выбрали искусственный интеллект

Ваш выбор в основном:

  • Супер высокого класса: Titan RTX (24 ГБ / 4608 ядер / 576 тензорных ядер / 2500 долларов США). Вы можете установить только один из них в нижний слот, потому что Титаны не используют вентиляторы.
  • Высококачественный: 2080 Ti (11 ГБ / 4352 ядра / 544 тензорных ядра / 1149 долларов США), 1080 Ti (11 ГБ / 3584 ядра / 500 долларов США), 2080 Super (8 ГБ / 3072 ядра / 384 тензорных ядра / 730 долларов США)
  • Средний уровень: 2070 Super (8 ГБ / 2560 ядер / 320 тензорных ядер / 530 долларов США)
  • Низкий уровень (лучшее соотношение цены и качества): 2060 Super (8 ГБ / 2176 ядер / 272 тензорных ядра / 410 долларов США)
  • Инвентарь графического процессора очень ограничен, поэтому вам, возможно, придется поискать инвентарь.

Titan RTX — карта-монстр, которая примерно на 55 % быстрее, чем 1080 Ti при 32-битном обучении, и на 135 % быстрее в режиме половинной точности из-за дополнительных тензорных ядер и дополнительной памяти, что позволяет обрабатывать партии гораздо больших размеров. 2080 Ti примерно на 40 % быстрее, чем 1080 Ti при 32-битном обучении, и примерно на 65 % быстрее при использовании в режиме половинной точности. Оттуда скоростная производительность линейна по количеству ядер CUDA, поэтому ожидайте, что 1080 Ti будет примерно на 40% быстрее, чем 1080, а 1080 будет на 33% быстрее, чем 1070.

Статья в тему:  Что такое искусственный интеллект и машинное обучение в строительстве

Хранилище и память должны быть максимально быстрыми

Поскольку вы будете перемещать много данных из хранилища в память, а затем в графические процессоры, вам нужно, чтобы этот конвейер был максимально быстрым. Используйте твердотельный накопитель M.2 NVMe, который подключается непосредственно к материнской плате и памяти DDR4.

Важные недостатки моей сборки и распространенные ловушки

Вот мой список запчастей с обновленными ценами и запасами.

ГП: Я выбрал 1080 Ti изначально, потому что увеличение скорости на 40% по сравнению с 1080 имеет большое значение, когда вы говорите о 10-часовом времени обучения, а дополнительные 3 ГБ памяти важны при работе с большими моделями или увеличении скорости обучения с большими размерами пакетов. 1080 Ti сейчас трудно найти, так что загляните на eBay.Позже я добавил 2080 Ti и Titan RTX в нижний слот. По состоянию на 2020 год 2060 Super является лучшим вариантом для стартовой карты.

ПРОЦЕССОР: AMD 1920X имеет 12 ядер и 38 МБ кэш-памяти и стоит на 150 долларов дороже, чем 1900X с 8 ядрами и 20 МБ кэш-памяти. Выделяя 2 ядра / 4 потока на GPU и тот факт, что позже я мог бы захотеть использовать машину в качестве промежуточного сервера, 1920X дает мне немного больше передышки.

Хранилище: Я использовал один твердотельный накопитель M.2 емкостью 1 ТБ, мне не нравится хранить данные на разных дисках, а 500 ГБ кажутся небольшими, учитывая, что наборы данных часто составляют десятки гигабайт. Я мог бы добавить очень большой вращающийся жесткий диск для «холодного» хранения позже.

Статья в тему:  Каким будет будущее искусственного интеллекта

Память: Четырехканальная память используется потому, что 1920X работает быстрее с четырехканальной памятью, чем с двухканальной. 4 x 16 ГБ выбрано потому, что максимальный поддерживаемый объем памяти составляет 128 ГБ, поэтому это простой способ обновления без необходимости последующего удаления чипов. 3000Mhz — самая быстрая память, совместимая с материнской платой (она разогнана с базовой 2667Mhz).

Источник питания: 1600 Вт P2 достаточно для покрытия 4×250 Вт GPU + 180 Вт CPU + 150 Вт для всего остального и небольшого запаса для разгона. Вы не хотите максимально использовать свой источник питания, потому что вентиляторы включаются как сумасшедшие, когда он работает с высокой нагрузкой.

Кейс: Lian-Li PC-O11AIR, потому что мне нужен корпус с 8 слотами расширения (в большинстве корпусов средней башни их 7, что означает, что вы не можете установить 4 графических процессора двойной ширины). Между этим чехлом и Corsair Air этот чехол выглядит лучше и поставляется с пылевыми фильтрами.

Избегайте этих 7 распространенных ошибок

Просмотрите этот список, чтобы убедиться, что ваша сборка прошла проверку.

  1. Графические процессоры перегревают мой компьютер: Убедитесь, что вы используете графические процессоры в стиле воздуходувки (версия 2080 Ti называется Turbo от Asus), потому что они вентилируются сзади корпуса. Карты типа «Разгон» «OC» будут иметь 2 больших вентилятора, которые обдувают компьютер, что приведет к его перегреву. Вам также понадобится вентилятор, который подает холодный воздух прямо на воздухозаборник графического процессора. Вы можете поместить один Titan RTX в нижний слот, если в вашем корпусе есть вентиляционное отверстие внизу, как у O11AIR.
  2. Недостаточно линий PCIe: Вам нужно как минимум 8x линий PCIe/GPU (16x лучше). Если у вас 4 графических процессора с диском M.2 и Gigabyte Ethernet, это как минимум 40 линий PCIe.
  3. Моя модель не помещается в память моего графического процессора: большие сверточные сети и LSTM используют много памяти графического процессора, 8 ГБ против 11 ГБ — большая разница.
  4. Материнская плата не подходит для 4 графических процессоров: На вашей материнской плате должны быть слоты для 4 графических процессоров, и между ними должно быть пространство, чтобы использовать все 4. Лучший способ проверить — это визуальный осмотр в Google Images или поиск людей, которые это сделали.
  5. Корпус не подходит для 4 GPU: большинство корпусов средней башни имеют только 7 слотов расширения, поэтому вы не сможете поместить 4-й двойной графический процессор в нижний слот. Я нашел только Lian Li и Corsair как варианты.
  6. Блок питания не имеет достаточной мощности / слишком громкий: Вам необходимо учитывать GPU (~ 250 Вт каждый), CPU (~ 180 Вт), другое (~ 150 Вт, материнская плата, вентиляторы и т. д.). Разгон также потребляет много энергии. Некоторые блоки питания слишком громкие, читайте обзоры в Интернете, чтобы узнать о бесшумности. Обычно модели с рейтингом 80+ Platinum тише.
  7. Мой процессорный кулер блокирует первый слот GPU: Большие воздушные кулеры, такие как Noctua, иногда блокируют первый слот GPU. Найдите других, кто использовал комбо.
Статья в тему:  Каковы возможности искусственного интеллекта в Пакистане

Бюджетный расширяемый компьютер для глубокого обучения за 2 тысячи долларов

Зная все это, вы можете увидеть, что ниже представлен бюджетный расширяемый компьютер для глубокого обучения, который стоит 2 тысячи долларов, а также расширяется до 4 графических процессоров.

Сэкономьте тысячу долларов по сравнению с покупкой

Если вы планируете купить систему вместо ее создания, вы можете приобрести систему 4×2080 Ti от Exxact за 7 999 долларов США, что является лучшим предложением, которое я нашел. Система 2×2080 Ti стоит 5899 долларов. Создание собственной системы с 4 графическими процессорами в 2020 году обойдется в 6600 долларов: 3000 долларов + 500 долларов (обновление до 2080 Ti) + 3 x 1200 долларов (еще 3 2080 Ti) — 500 долларов (NVMe и ОЗУ дешевле в 2020 году). Так что это на 1400 долларов (~ 20%) дешевле в строительстве.

Тем не менее, покупка готовой сборки имеет свои преимущества, такие как 3-летняя гарантия, поддержка и предустановленное программное обеспечение.Если вы занятый человек или покупаете для академических кругов/компании и хотите упростить свою жизнь, стоит задуматься.

Заказ и сборка деталей

Создайте свою сборку на PCPartPicker.com

PCPartPicker очень полезен, потому что он позволяет вам выбирать детали и сообщает вам, есть ли несовместимости, а также предлагает вам лучшую цену у нескольких уважаемых продавцов.

Bandh, Adorama, Newegg и Amazon являются уважаемыми торговыми посредниками. Если вы сомневаетесь, проверьте рейтинги реселлеров.

Статья в тему:  Искусственный интеллект и способы заражения операционных систем

Сборка деталей занимает несколько часов

Сборка разбита на следующие 4 шага: 1) Подготовка корпуса 2) Подготовка материнской платы 3) Установка материнской платы 4) Установка памяти, графического процессора и сборка.

Вот короткое видео о том, как я собираю свой компьютер:

Сравнительный анализ вашего компьютера для глубокого обучения

Перейдите к следующему посту: Почему ваш личный компьютер для глубокого обучения может быть быстрее, чем AWS, чтобы узнать, что влияет на производительность глубокого обучения и как ваш компьютер будет работать в облаке.

Смотрите новые фотографии и обновления: подписывайтесь на меня в Medium и Twitter!

Почему расширяемость важна для компьютера с глубоким обучением?
Если вы не знаете, какая мощность графического процессора вам понадобится, лучше всего собрать компьютер для глубокого обучения с 1 графическим процессором и добавлять дополнительные графические процессоры по мере необходимости.

Вы поможете мне построить один?
Рады помочь с вопросами через комментарии / электронную почту. Я также управляю сайтом www.HomebrewAIClub.com, некоторые из наших членов могут быть заинтересованы в помощи.

Как я могу изучить этот материал?
Стэнфорд раздает большую часть своей учебной программы по информатике. Так что смотри туда. Здесь также есть отличные статьи о более передовых исследованиях.

Какие модели я могу обучать?
Вы можете обучить любую модель, если у вас есть данные, графические процессоры наиболее полезны для глубоких нейронных сетей, таких как CNN, RNN, LSTM, GAN. Некоторые примеры с кодом и наборами данных перечислены на моем сайте thisisjeffchen.com.

Статья в тему:  ознакомьтесь с The Ledger, еженедельным информационным бюллетенем Fortune о том, где встречаются технологии и финансы. Подпишите здесь.

Улучшение зрения и фотографий сейчас действительно хорошо, что делает новый iPhone 11 потрясающим.

Спасибо моим друзьям Эвану Дарку, Еве Гласруд, Джеймсу Чжану и Джордану Силлу за то, что они прочитали черновики этой книги.

голоса
Рейтинг статьи
Ссылка на основную публикацию
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x
Adblock
detector