Рассказываю, как работает крупнейший сервер в СНГ

Dymeth

Активный участник
Пользователь
Баллы
98
Ник в Minecraft
Dymeth
Всем привет.

Уже три года я работаю на FunTime, два с половиной из которых на должности технического руководителя.

FunTime - сервер с онлайном по 25-30 тысяч онлайна на вайпах. Рекорд 37 тысяч онлайна. Всё это реальные игроки - мы не используем накрутки и множители онлайна.

Большинство механик сервера завязано на взаимодействии игроков друг с другом в открытом мире - PvP, поиск и рейд баз, заработок на PvP-событиях в мире. Кастомный PvE-контент также присуствует. Приваты создаются блоками, на сервере присутствуют правила. Тем не менее, чаще всего такой игровой режим в СНГ называют анархией.

Задавайте вопросы
 
Помнится, звал меня когда-то, но я в моменте максимально выгорел от кубиков, что просто перестал кому-либо отвечать...

А по теме - наверно, любопытно, какие бывают проблемы со скейлингом при таком масштабе? Насколько обрубается ваниль, при условии, что игрокам не перестаёт быть интересно?
 
Насколько обрубается ваниль, при условии, что игрокам не перестаёт быть интересно?
Я не могу сходу вспомнить, чтобы у нас какие-то игровые механики были отключены полностью. Ну а так меры стандартные - урезание дистанции прогрузки, кол-ва мобов, тикрейта воронок и т.д. Ничего инновационного мы не изобрели. Периодически профилируем. Смотрим, что где можно оптимизировать.

А по теме - наверно, любопытно, какие бывают проблемы со скейлингом при таком масштабе?
Прежде всего, из соображений безопасности мы проксируем весь трафик до конечных игроков через NeoProtect и TCPShield. С нашими нагрузками они относительно неплохо справляются, и в целом их сеть последнее время ведёт себя довольно стабильно. Однако регулярно отваливаются отдельные ноды их сетей, что приводит к отключениям 4-6% игроков, а иногда и до 20-и процентов. То же самое происходит и при технических проблемах у региональных интернет-провайдеров. Причина нас не сильно интересует.

Важно, что 5% от условных 15 тысяч онлайна - это уже 750 игроков, которые получили негативный опыт из-за потери вещей или даже просто прерванной игры. Многие из пострадавших зачастую дружно обращаются в поддержку в надежде на компенсацию, а некоторые и вовсе расстроены настолько, что покидают сервер навсегда.

Для решения этой проблемы мы сделали механизм, позволяющий в некоторых ситуациях вернуть себе потерянные ресурсы простой игровой командой после отключения от сервера (после повторного входа). Это увеличивает количество ресурсов в экономике, а значит разгоняет инфляцию, но в масштабах всего сервера несущественно. У такой системы есть и свои минусы, но, вероятно, такой подход позволяет оставить удовлетворенными гораздо бОльшее количество людей.
К слову, этот механизм делался нами ещё тогда, когда у защит падали сети полностью - то есть отключало по 50% от онлайна, а это вплоть до 10-и тысяч игроков в один момент. Боюсь представить, что происходило в тех. поддержке в этот момент.

Когда ты крупный сервер - нужно быть к последствиям подобных массовых проблем. Например, иногда требуется провести массовую компенсацию ресурсов/валюты в результате бага. Вручную всё банально не выдать.

Следующий намаловажный момент - это количество сотрудников, занимающихся модерацией и технической поддержкой игроков. Поскольку сервер большой - сотрудников тоже нужно много. И всех этих сотрудников нужно обучать, наставлять и приглядывать за ними во избежание злоупотребления правами.
Всё это требует грамотных технических ограничений, рабочих регламнтов, а главное - чёткой вертикали управления и довольно грамотных руководителей на местах. А с такими кадрами есть сложности даже на крупных серверах майна (полагаю, в связи со спецификой сферы).

А поскольку сотрудников много - нужны и особые инструменты работы для этих сотрудников. Например, у нас может находиться по несколько сотен игроков в очереди на проверку на читы (очередь общая для всех серверов). Нужно, чтобы модераторы не просто не подрались за эти заявки, но ещё и обрабатывали их в строгом порядке, удобном нам (опираясь на мнение античита и другие факторы). Помимо этого, желательно вообще НЕ требовать нахождения сотрудников в Minecraft, чтобы повысить эффективность модерации.

Всё это требует разработки собственных технических решений, поскольку в публичном доступе подобного просто-напросто не существует. В итоге в нашей инфрастуктуре можно насчитать штук 10 разных веб-панелей и столько же ботов для ВК/ТГ. Возможно, когда-то в следующей жизни мы объединим всё это в единую систему, но не факт, поскольку каждый отдельный программный компонент пишется разными сотрудниками из разных отделов, у каждого свои компетенции и уровни доступов.

В техническом отделе тоже пришлось выстраивать много рабочих процессов, обсуждать и прописывать корпоративные стандарты при разработке, внедрять инструменты по типу мавен-репы, системы деплоя, грамотно огранизовывать тестовые сервера и сам процесс тестирования (этим занимаются отдельные люди). Мы до сих пор доводим всё это до ума опираясь на фидбек команды.

Ну, а если вновь вернуться к технической стороне - нужно тупо много серверов. Много хабов, много афк-лимбо, много серверов авторизации, а значит и много железа под это. А ситуацию с железом вы знаете сами. В итоге часть перевели на Minestom - это сэкономило действительно много ресурсов. Но нет предела совершенству, возможно следующим этапом будет перевод этих серверов на Rust, благо современные нейронки сильно понижают порог изучения и внедрения технологий.

Если говорить уже про сами игровые сервера, то с ними тоже много технических проблем. Все новые баги и уязвимости тестируются в первую очередь на крупных серверах. Периодически мы (тех. сотрудники) сами что-то ломаем. Иногда всплывает какая-то безумно редкая проблема. А иногда игроки находят какой-то специфический для ФТ игровой абуз, требующий 300 iq как для воспроизведения, так и для решения проблемы. Естественно, приставить технического администратора к каждому из 100+ игровых серверов просто нереально, но решается всё стандартно - метрики с оповещениями о внештатных ситуациях + передача информации о проблемах от тех. поддержки в руки разработчиков/сис. админов (само собой, в трекер задач).

Большая известность - это и большая ответственность, и большая ноша. Очень много желающих нажиться на популрности проекта. Продают сборки с копиями плагинов, зарабатывают с копий, при помощи них же воруют пароли от аккаунтов на самом ФТ, продают эти аккаунты за реал (игроки ставят везде одинаковые пароли). Специально под наш сервер пишут читы, продают конфиги для читов, продают прокси, аккаунты в соц. сетях и прочее. Фармят валюту, загоняют для этого ботов, автоматизируют любые игровые процессы, всё это тоже бодро сливают за реал. Не говорю уже про более банальные примерны - копии оригинальногго сайта покупки доната, копии ботов авторизации ФТ и прочий контент. Часть вопросов решается юристами, часть развитием античита, часть банальным наблюдением "вручную" (наблюдаем за появлением новых схем). Про борьбу с читерством можно и вовсе отдельную книгу написать, там ведётся всесторонняя борьба, не только техническая.
В любом случае, приходится постоянно держать руку на пульсе, потому что на ФТ крайне редко бывает затишье хотя бы на неделю.

И отдельно хочется отметить ещё один момент.
Чем больше людей играет - тем сложнее угодить всем. По этой причине абсолютно любое, даже самое проработанное обновление, всегда получает немало негативных отзывов. Очень сложно понять, действительно ли это объективная проблема, требующая решения, или же просто неудобства для мЕньшей части аудитории. Приходится ориентироваться лишь по одиночным немногочисленным содержательным коментариям, поскольку всё остальное - бесполезный мусор в духе "сервак г-но", "скатились" и т.д. К сожалению, всегда видно и слышно тех, кто громче кричит, а не тех, кто действительно прав.
Часть вопросов можно снять статистиками и метриками, но, к сожалению, далеко не все. Лучше живых людей никто не расскажет об их мнении и игровом опыте.

Если резюмировать, то ведение крупного сервера в майне - это больше похоже на деятельность полноценной игровой студии, нежели на чьё-то хобби. Несколько отделов с сотрудниками на зарплате, большой объём работы, стратегическое планирование.
Без предпринимательской жилки хобби до такого масштаба просто не довести.
 
Последнее редактирование:
Назад
Верх Низ