Картинка

БЛОГ про

все цікаве у світі телекомунікацій

Як відбалансувати навантаження істотної кількості серверів - допоможе новий алгоритм

2021-09-24
Автор: Телесфера

Данські інженери представили алгоритм, який вже використовують великі ІТ-компанії і хмарники. Розповідаємо, як він влаштований і обговорюємо перспективи.

Складнощі балансування на масштабі

За оцінками Cisco, в період з 2017 по 2022 рік обсяг переданих в інтернеті даних збільшиться в три рази, при цьому 82% всього трафіку займе відеоконтент. Настільки стрімке зростання відіб'ється на роботі балансувальників навантаження в дата-центрах ІТ-компаній та стрімінгових платформ, яким доводиться розподіляти трафік між безліччю серверів на льоту.

Класичним методом вирішення завдання вважається «узгоджене хешування» (consistent hashing), коли кожному серверу в мережі призначають кілька хешів, складених на основі імені або ідентифікатора. Далі, аналогічні значення обчислюють для кожного вхідного запиту, і його обробку передають машині, хеш якої виявився найбільш близьким. Однак такий підхід не позбавлений недоліків - тип континенту, який виявився популярніше інших, може не отримати необхідних ресурсів для обробки в силу нерівномірного розподілу трафіку.

Вирішення цієї проблеми знайшли інженери з дослідницької лабораторії при Копенгагенському університеті. Вони представили алгоритм, який об'єднує узгоджене хешування з форвардингом.

Датське вирішення питання

Суть в наступному - спершу адміністратор визначає коефіцієнт врівноваження (balancing factor) зі значенням більше одиниці. Його вибирають експериментально, в залежності від поставлених завдань - зазвичай на відрізку від 1,25 до 2. Далі, кожен раз, коли в систему надходить новий запит, балансувальник обчислює середнє навантаження на інфраструктуру за формулою: число необроблених запитів, поділене на кількість доступних серверів. Отримане значення він множить на коефіцієнт врівноваження і отримує «цільове навантаження». Це - максимально допустиме навантаження на один сервер. Балансувальник передає свіжий запит тій машині, обсяг завдань якої не перевищує порогове значення.

Якщо навантаження зросло і «пробило» граничні показники, система обчислює хеш запиту і шукає підходящий сервер за методикою consistent hashing. Відповідно до заяв розробників, алгоритм за десять ітерацій розподіляє навантаження між серверами з різницею всього в 10%. Вивчити його особливості з математичними викладками можна за допомогою whitepaper'а.

Хто використовує

Роботу над алгоритмом датські інженери ведуть ще з 2016 року. Тоді вони представили його першу версію, яка була в десять разів повільніше, але вже допомогла скоротити навантаження на ІТ-інфраструктуру великих фірм з мільйонами серверів і виключити ситуації, коли один сервер перевантажений, а ті, що залишилися, простоюють. Рішення на практиці випробував хостинг Vimeo. Компанія в вісім разів скоротила обсяг ресурсів для роботи стрімінгових сервісів.

Google також розгорнули алгоритм в своїх дата-центрах, до слова, співробітники корпорації брали участь в його розробці. Фахівці з Копенгагенського університету сподіваються, що їх алгоритмом скористається більше організацій, тому вони передали його в open source.

Unsplash / Alexander Mils

Автори також переконані, що їх рішення зробить ЦОДи більш екологічними. Сьогодні вони споживають близько 400 ТВт·год електрики щорічно. У підсумку на їх частку припадає 2% світових викидів вуглецю. Новий алгоритм допоможе скоротити енергоспоживання і шкоди, що завдається навколишньому середовищу.

Альтернативні рішення

Розробками алгоритмів балансування навантаження займаються і інші організації - наприклад, Twitter. Компанія використовує свою версію узгодженого хешування - вона реалізована в відкритому фреймворку Finagle. Балансувальник вибирає підмножину серверів для підключення - «апертуру». Її мінімальний розмір становить 1/N, де N - число доступних машин. Далі, всі запити розподіляються рівномірно між серверами. При додаванні або відключенні обчислювальних ресурсів апертура змінюється для досягнення кращої продуктивності.

В цілому Finagle крім балансування навантаження здатний вирішувати завдання пошуку послуг і маршрутизації, що вимагає більш глибокого вивчення функціональності і доступних інтерфейсів. Але, в будь-якому випадку, конкуренція на ринку load balancer'ов грає на руку індустрії. Компанії отримують можливість економити на інфраструктурі і спрямовувати кошти на розвиток продуктів і сервісів.

Джерело: https://habr.com/ru/company/vasexperts/blog/571086/


Про компанію Телесфера Інтеграція.

Телесфера Інтеграція заснована в 2012 році та являється інтегратором новітніх технологічних рішень для бізнесу.  Ми розробляємо рішення, що роблять Ваш бізнес успішним.

Основні напрямки роботи компанії:

  • Побудова локальних обчислювальних мереж;
  • Налаштування мережевого обладнання передових виробників (Cisco Systems, Aruba Networks та інших);
  • Продаж телекомунікаційного обладнання;
  • Аудит локальних обчислювальних мереж;

e-mail: office@telesphera.net
Телефон: (093) 198-11-82

КОММЕНТАРІ ДО СТАТТІ

Підемо іншим шляхом: як прямо зараз змінюється напрямок потоків даних

Підемо іншим шляхом: як прямо зараз змінюється напрямок потоків даних
Блог Телесфера,Налаштування,Налаштування Cisco,Налаштування Aruba,Продуктивність,ЦОД

Сучасний бізнес не може обійтися без постійного надходження свіжої інформації. Але отримати інформацію недостатньо, її необхідно опрацювати та проаналізувати. Причому зробити це потрібно у максимально короткі терміни. Як і вода, інформація не повинна застоюватись. Вона повинна постійно перетікати від джерел на периферію та локальні дата-центри, а потім у хмару і іноді повертатися назад.

Instant On AP22. Всі переваги Wi-Fi 6 для малого бізнесу

Instant On AP22. Всі переваги Wi-Fi 6 для малого бізнесу
Aruba Networks,Налаштування,Налаштування Aruba,Блог Телесфера

На початку 2021 року Aruba (торгова марка компанії HPE) представила пристрій Instant On AP22 – першу точку доступу сімейства Instant On за допомогою протоколу 802.11ax (стандарт Wi-Fi 6). Устаткування цієї серії призначене для організації бездротової мережі Інтернет за технологією Wi-Fi в компанії SMB-сегменту або окремій філії. Нова точка доступу дозволить із відносно невисокими витратами забезпечити співробітників невеликого офісу, кафе, бібліотеки та інших установ якісним бездротовим інтернет-з'єднанням з усіма перевагами нового стандарту – наприклад, вищою швидкістю передачі даних та стабільнішим сигналом.

Саміт партнерів Cisco: у каналу та замовників з'явилося безліч нових можливостей

Саміт партнерів Cisco: у каналу та замовників з'явилося безліч нових можливостей
Cisco,новини,Налаштування Cisco,Типові рішення,cisco

Розпочала роботу 26-а щорічна конференція партнерів Cisco. Цього року вона проходить у гібридному форматі: глобальна цифрова трансляція всіх ключових виступів та семінарів доповнена невеликою кількістю очних зустрічей та заходів. Незмінним залишився головний порядок денний форуму — обговорення стратегії каналів збуту, анонс нових технологій, зміцнення лідерських позицій на ринку ІТ. Незважаючи на те, що пандемія COVID-19 продовжує впливати на бізнес компанії та її партнерську екосистему, основним пріоритетом для вендора залишається відданість каналу та клієнтам. Як відзначають керівники Cisco, продовжуючи адаптуватися до мінливих умов, компанія працює, зберігаючи стійкість та оптимізм