Що відбувається, коли буфер досвіду стає вузьким місцем у розподіленому підсиленому навчанні?

Розподілене підсилене навчання масштабується за допомогою паралельного запуску багатьох акторів і навчальних вузлів. Вони зустрічаються в буфері досвіду, який зберігає кожен перехід, поки навчальний вузол не зможе його використати.

З ростом завдання буфер перестає бути простою чергою. Він перетворюється на шар зберігання великого потужного, критичного до затримок шляху. Кожна ітерація навчання має пройти через нього, щоб перемістити, трансформувати, вибірково відібрати та згрупувати досвід до початку оновлення. Саме цей шлях стає найгарячішою точкою у системі.

Сучасні системи RL обробляють цей шлях двома способами. Деякі вбудовують увесь потік досвіду у логіку керування фреймворку. Інші надають сервіс буфера на основі запитів. Обидва підходи фіксують розміщення досвіду і ускладнюють планування роботи шляху досвіду як незалежної цілі оптимізації середовища виконання.

Системне мислення переосмислює цю проблему. Коли розміщення жорстко задане, дані залишаються там, де їх поставив фреймворк — часто на невірному рівні пам'яті або невірному вузлі. Коли планування неявне, обробка досвіду виконується тоді, коли вирішує фреймворк. Це додає затримку, через яку мусить чекати навчальний вузол.

Шар середовища виконання, що переймає рішення про дані

Experience Data Plane (EDP) — це абстракція середовища виконання. Вона розділяє семантику обробки досвіду RL від логіки виконання, специфічної для фреймворку. EDP надає дві явні точки керування: прийом досвіду та його розміщення. Третя точка — доставка вибіркових партій навчальним вузлам — виокремлена окремо.

Прийом отримує переходи від акторів, не диктуючи, де вони опиняться. Розміщення визначає, яка пам'ять процесора або відеокарти на якому вузлі зберігає кожен фрагмент стану досвіду. Доставка подає вибіркові партії навчальним вузлам, коли ті готові. Фреймворк більше не керує цими кроками; це робить середовище виконання. EDP не залежить від фреймворку. Стаття демонструє інтеграцію з RLlib без зміни логіки виконання фреймворку. Фреймворк все ще визначає алгоритм; Conduit вирішує, де і коли дані існують і переміщуються.

Де досвід перебуває у кластері

Розміщення, яке обмежене потужністю і враховує пропускну здатність, розподіляє стан досвіду між рівнями пам'яті процесорів і відеокарт та між вузлами. Воно поважає різні швидкості з'єднань і ліміти пам'яті пристроїв. Якщо відеокарта має обмежену пам'ять, але високу пропускну здатність до процесора з великою пам'яттю, середовище виконання тримає гарячі партії на відеокарті, а решта скидає на процесор.

Коли виконується шлях даних

Планування, чутливе до затримок, керує тим, коли запускається обробка шляху досвіду. Воно перекриває переміщення даних, трансформацію, вибірку та формування партії з іншою роботою. Мета — звести до мінімуму відкриту затримку шляху досвіду, час, який навчальний вузол чекає на партію.