Фикс [CHAT] RegEx для русского мата

imDaniX · 28 июн 2020

Или, проще говоря, фильтр мата, а.к.а. антимат.

Это не плагин, а регулярное выражение для плагинов(а может и чего-то иного) с поддержкой регулярных выражений - Chatty, ChatControl, ChatGuard, UltimateChat и многие другие.

Обновляемый файл https://gist.github.com/imDaniX/8449f40655fcc1b92ae8d756cbca1264
Если вы просто хотите регулярку для плагина - скорее всего вам больше подойдёт файл Swears Java-condensed.regex, но рекомендую почитать README (первый файл).

Довольно странно создавать для этого отдельную тему, но я уверен, что я не первый и не последний, кто выискивал нормальную регулярку для отечественного мата, которая бы работал без какого-то пресловутого белого списка, или не являлась бы тупо списком различного мата.

Всегда существует обход любого антимата, ибо кто ищет - тот всегда найдет, поэтому главной задачей было не заблокировать весь мат на свете, а убрать самые популярные маты при быстром наборе от юзера. Обходчиков же обычно должен карать персонал сервера.

imDaniX · 14 июл 2020

Ап немношк.
В поисках текстов с матом. Гуглится напряжно - эта бездушная машина скрывает все намёки на текста с матом. Впрочем, на текущий момент всё работает довольно хорошо, блокировок обычных слов не выявлено.
Регулярное выражение можно проверить здесь https://www.freeformatter.com/java-regex-tester.html
Транскрипт пока не добавил, но скоро.

Sigvegutt · 14 июл 2020

А что, так можно было?

Вроде работает, спасибо.

imDaniX · 14 июл 2020

Sigvegutt сказал(а):
А что, так можно было?

Вроде работает, спасибо.

Можно, но занятие скучновато, никто на серьезных щах не брался. В конце концов, русский мат весьма гибок, проблематично найти рамки где мат, а где "мандарин" какой-нибудь.

Saharo4ek · 14 июл 2020

imDaniX сказал(а):
Можно, но занятие скучновато, никто на серьезных щах не брался. В конце концов, русский мат весьма гибок, проблематично найти рамки где мат, а где "мандарин" какой-нибудь.

Поэтому и не брались, процент ложных срабатываний всегда подбирался к 75%, что просто напросто полностью обесценивало работу.

imDaniX · 14 июл 2020

Saharo4ek сказал(а):
Поэтому и не брались, процент ложных срабатываний всегда подбирался к 75%, что просто напросто полностью обесценивало работу.

Сейчас ложных срабатываний нет, а если есть, то нужно специально выискивать. Слово "хулить" и производные, например. Исправляется буквально двумя символами, но кому-то не нравится, пускай это и не мат.

imDaniX · 18 июл 2020

За последние пару дней добавил блокировки для ещё нескольких матов(на основе найденных списоков мата), плюс улучшил уже существующие.
Если кто пользуется - сообщите мне, если увидите блокировку нормальных слов.

Доработка с транскриптом немного затягивается, но всё же будет сделана.

Sigvegutt · 19 июл 2020

А куда это можно вставить в Chatty? Да просто если использовать как anti-advertisement, то при написании юникод символов вылезает ошибка:

Код:

[ERROR]: Could not pass event AsyncPlayerChatEvent to Chatty v2.18.1
java.util.regex.PatternSyntaxException: Unclosed group near index 498
И ещё строчек 10

imDaniX · 19 июл 2020

Sigvegutt сказал(а):
А куда это можно вставить в Chatty? Да просто если использовать как anti-advertisement, то при написании юникод символов вылезает ошибка:

Код:

[ERROR]: Could not pass event AsyncPlayerChatEvent to Chatty v2.18.1 java.util.regex.PatternSyntaxException: Unclosed group near index 498 И ещё строчек 10

В swears.txt, можешь отдельной строкой если что-то уже есть.

Sigvegutt · 19 июл 2020

imDaniX сказал(а):
В swears.txt, можешь отдельной строкой если что-то уже есть.

Теперь работает, спасибо.

imDaniX сказал(а):
Транскрипт(tipa takogo) я позже добавлю сам, как до конца обкатаю регулярку на русском. Впрочем, с чем-то вроде т.а.к.о.г.о я бороться не буду - если захотите, сами добавите ".?" после каждой буквы, но как по мне - лишнее.

То есть это будет так?

Код:

(?iu)\b((у.?|[н.?з.?]а.?|(х.?и.?т.?р.?о.?|н.?е.?)...[а.?у.?е.?ы.?]?|([н.?з.?]а.?|п.?о.?)х.?|м.?л.?я.?([т.?д.?]ь.?)?)\b

Можешь дать небольшой пример?

А ещё, разве "млять" - это мат и/или оскорбление?)

imDaniX · 19 июл 2020

На самом деле для добавления через-символьности всё же придется извратиться...

Sigvegutt сказал(а):
То есть это будет так?

Во-первых, игнорируй всё, что в квадратных скобках - лучше ставить после них. Во-вторых, если видишь видишь круглые скобки, которые начинаются с ?! - тоже лучше не лезть. Далее - когда натыкаешься на ситуацию вроде з? или [ая]? - лучше взять в скобки и сделать (з.?)? или ([ая].?)?
Основная проблема же там, где есть .*? - это придется вовсе удалить и, если дорабатывать, то только вручную прописывая каждый вариант мата. Я её использовал для нахождения полных слов после "основы", ибо маты в русском слишком уж модульные. А ещё проверка (.\B)+?[оаеи] в е-б сломается(отвечает за все "приставки", что кончаются на о, а, е, и), ибо иначе она может "сожрать" вообще всё сообщение игрока. Впрочем, если у тебя режим блокировки всего сообщения разом, можно её переделать в .+?[оаеи]

Sigvegutt сказал(а):
Можешь дать небольшой пример?

Код:

(у|[нз].?а|(х.?и.?т.?р.?о|н.?е)?в.?(з.?)?[ыьъ]|с.?[ьъ]|(и|ра).?[зс].?ъ?|(о.?[тб]|п.?о.?д)[ьъ]?)?(.?[её].?б.?(?!о[рй])|.?и.?[пб].?[ае].?[тц]).*?

В идеале ещё нужно опустить некоторые варианты мата, чтобы не перенапрягать регулярку.

Sigvegutt сказал(а):
А ещё, разве "млять" - это мат и/или оскорбление?)

Это личное ;D Один игрок весь чат изпоганил этим, пришлось добавить. Но я вынес малозначительные проверки в конец, так что удаляется легко.

Но нужно заметить, что при этом всём сильно теряется точность. Как в плане детекта мата, так и чувствтельности регулярки к обычным словам. Если и собирать ультимативную регулярку - нужно набрать огромную базу мата и собирать регулярное выражение из неё, учитывая возможность использования дополнительных знаков со стороны юзера.
Впрочем, подумываю о создании ветвистого фильтра работающем на базе данных слов(т.е. без использования регулярных выражений), который бы игнорировал все не-буквенные символы... Но это совсем другая история.

Sigvegutt · 19 июл 2020

imDaniX сказал(а):
На самом деле для добавления через-символьности всё же придется извратиться...

Во-первых, игнорируй всё, что в квадратных скобках - лучше ставить после них. Во-вторых, если видишь видишь круглые скобки, которые начинаются с ?! - тоже лучше не лезть. Далее - когда натыкаешься на ситуацию вроде з? или [ая]? - лучше взять в скобки и сделать (з.?)? или ([ая].?)?
Основная проблема же там, где есть .*? - это придется вовсе удалить и, если дорабатывать, то только вручную прописывая каждый вариант мата. Я её использовал для нахождения полных слов после "основы", ибо маты в русском слишком уж модульные. А ещё проверка (.\B)+?[оаеи] в е-б сломается(отвечает за все "приставки", что кончаются на о, а, е, и), ибо иначе она может "сожрать" вообще всё сообщение игрока. Впрочем, если у тебя режим блокировки всего сообщения разом, можно её переделать в .+?[оаеи]

Код:

(у|[нз].?а|(х.?и.?т.?р.?о|н.?е)?в.?(з.?)?[ыьъ]|с.?[ьъ]|(и|ра).?[зс].?ъ?|(о.?[тб]|п.?о.?д)[ьъ]?)?(.?[её].?б.?(?!о[рй])|.?и.?[пб].?[ае].?[тц]).*?

В идеале ещё нужно опустить некоторые варианты мата, чтобы не перенапрягать регулярку.

Это личное ;D Один игрок весь чат изпоганил этим, пришлось добавить. Но я вынес малозначительные проверки в конец, так что удаляется легко.

Но нужно заметить, что при этом всём сильно теряется точность. Как в плане детекта мата, так и чувствтельности регулярки к обычным словам. Если и собирать ультимативную регулярку - нужно набрать огромную базу мата и собирать регулярное выражение из неё, учитывая возможность использования дополнительных знаков со стороны юзера.
Впрочем, подумываю о создании ветвистого фильтра работающем на базе данных слов(т.е. без использования регулярных выражений), который бы игнорировал все не-буквенные символы... Но это совсем другая история.

Короче говоря, regex = боль.

В общем, я тут накалякал, правильно ли я сделал?:

Код:

(?iu)\b((у.?|[нз].?а.?|(х.?и.?т.?р.?о|н.?е)?в.?(з.?)?[ыьъ]|с.?[ьъ]|(и|ра).?[зс].?ъ?|(о.?[тб]|п.?о.?д)[ьъ]?|(.\B)+?[оаеи])?(.?[её].?б.?(?!о[рй])|и.?[пб].?[ае].?[тц]).*?|(н.?[иеа]|[дп].?о|р.?а.?[зс]|з?а|с.?(м.?е)?|о.?(т|д.?н.?о)?)?х.?у.?([яйиеёю]|л.?и(?!ган)).*?|(в.?[зы]|(три|два|четыре)жды|(н|с.?у.?к.?)а)?б.?л.?(я(?!(х|ш.?к|м.?б)[ауеыио]).*?|[еэ].?[дт])|(р.?а.?[сз]|[зн].?а|[со]|(в.?ы)?|п(р.?[ои]|о.?д)|и.?[зс].?ъ?|[ао].?т)?п.?[иеё].?з.?д.*?|м.?а.?н.?д.?([ауеы]|о.?й|[ао].?в.?о.?ш.?ь?((е.?)?к.?[ауе])?|ю.?к.?(о.?в|[ауи])?)|м.?у.?д.?([аио].*?|(е.?)?н[ьюия])|м.?[ао].?л.?[ао].?ф.?ь.?[яию]|(з.?а)?п.?[ие].?д.?[аое]?р.?((а.?с)?(и(ли)?[нщктл]ь?)?|(о.?(ч.?[еи])?)?к|ю.?г)[ауеы]?|([нз].?а|п.?о.?)х|м.?л.?я.?([тд].?ь)?)\b

P.S. С этого я проорался: (три|два|четыре)жды|(н|сук)а)

P.P.S. Что там с '*?' ? Как его нужно заменить?
P.P.P.S. Правда вот обход через ".." или ".," и т.п. не блочит. Это никак не решить?

imDaniX · 19 июл 2020

Sigvegutt сказал(а):
P.P.S. Что там с '*?' ? Как его нужно заменить?

Коль работает - можно не трогать.

Sigvegutt сказал(а):
P.P.P.S. Правда вот обход через ".." или ".," и т.п. не блочит. Это никак не решить?

Можно сделать немного грязи, в целом. Добавить в регулярное выражение (?<ая>[^а-я]*) сразу после (?iu), а вместо .? использовать \k<ая>. Но есть вероятность, что ошибку выдаст. В таком случае можно попробовать заменить .? сразу на [^а-я]*.

Sigvegutt · 19 июл 2020

imDaniX сказал(а):
В таком случае можно попробовать заменить .? сразу на [^а-я]*.

Оно, вроде, теперь работает, но не всегда. Например теперь не блокирует "с.у.к.а"

Код:

(?iu)\b((у[^а-я]*|[нз][^а-я]*а[^а-я]*|(х[^а-я]*и[^а-я]*т[^а-я]*р[^а-я]*о|н[^а-я]*е)?в[^а-я]*(з[^а-я]*)?[ыьъ]|с[^а-я]*[ьъ]|(и|ра)[^а-я]*[зс][^а-я]*ъ?|(о[^а-я]*[тб]|п[^а-я]*о[^а-я]*д)[ьъ]?|(.\B)+?[оаеи])?([^а-я]*[её][^а-я]*б[^а-я]*(?!о[рй])|и[^а-я]*[пб][^а-я]*[ае][^а-я]*[тц]).*?|(н[^а-я]*[иеа]|[дп][^а-я]*о|р[^а-я]*а[^а-я]*[зс]|з?а|с[^а-я]*(м[^а-я]*е)?|о[^а-я]*(т|д[^а-я]*н[^а-я]*о)?)?х[^а-я]*у[^а-я]*([яйиеёю]|л[^а-я]*и(?!ган)).*?|(в[^а-я]*[зы]|(три|два|четыре)жды|(н|с.?у.?к.?)а.?)?б[^а-я]*л[^а-я]*(я(?!(х|ш[^а-я]*к|м[^а-я]*б)[ауеыио]).*?|[еэ][^а-я]*[дт])|(р[^а-я]*а[^а-я]*[сз]|[зн][^а-я]*а|[со]|(в[^а-я]*ы)?|п(р[^а-я]*[ои]|о[^а-я]*д)|и[^а-я]*[зс][^а-я]*ъ?|[ао][^а-я]*т)?п[^а-я]*[иеё][^а-я]*з[^а-я]*д.*?|м[^а-я]*а[^а-я]*н[^а-я]*д[^а-я]*([ауеы]|о[^а-я]*й|[ао][^а-я]*в[^а-я]*о[^а-я]*ш[^а-я]*ь?((е[^а-я]*)?к[^а-я]*[ауе])?|ю[^а-я]*к[^а-я]*(о[^а-я]*в|[ауи])?)|м[^а-я]*у[^а-я]*д[^а-я]*([аио].*?|(е[^а-я]*)?н[ьюия])|м[^а-я]*[ао][^а-я]*л[^а-я]*[ао][^а-я]*ф[^а-я]*ь[^а-я]*[яию]|(з[^а-я]*а)?п[^а-я]*[ие][^а-я]*д[^а-я]*[аое]?р[^а-я]*((а[^а-я]*с)?(и(ли)?[нщктл]ь?)?|(о[^а-я]*(ч[^а-я]*[еи])?)?к|ю[^а-я]*г)[ауеы]?|([нз][^а-я]*а|п[^а-я]*о[^а-я]*)х|м[^а-я]*л[^а-я]*я[^а-я]*([тд][^а-я]*ь)?)\b

Часть с "с.у.к.а":

Код:

(в[^а-я]*[зы]|(три|два|четыре)жды|(н|с[^а-я]*у[^а-я]*к[^а-я]*)а.?)

imDaniX сказал(а):
Можно сделать немного грязи, в целом. Добавить в регулярное выражение (?<ая>[^а-я]*) сразу после (?iu)

Оно выдаёт ошибку PatternSyntaxException.

imDaniX · 19 июл 2020

Sigvegutt сказал(а):
Часть с "с.у.к.а":

На самом деле здесь блокировка "бл.." с приставкой "сук.."

Само слово не блокировал, но его можно добавить - в самом конце перед )\b добавить

Код:

|сц?уч?(ар|([её]н)?(ышь?|ь?к))[ауеои]

Sigvegutt сказал(а):
Оно выдаёт ошибку PatternSyntaxException.

Жаль, но попытаться стоило.

Sigvegutt · 19 июл 2020

imDaniX сказал(а):
На самом деле здесь блокировка "бл.." с приставкой "сук.." Само слово не блокировал, но его можно добавить - в самом конце перед )\b добавить

Код:

|сц?уч?(ар|([её]н)?(ышь?|ь?к))[ауеои]

Жаль, но попытаться стоило.

¯\_(ツ)_/¯
Ладно, добавлю, спасибо.

Не работает.

Код:

с[^а-я]*(ц[^а-я]*)?у[^а-я]*(ч[^а-я]*)?(а[^а-я]*р|([её][^а-я]*н)?(ы[^а-я]*ш[^а-я]*ь?|(ь[^а-я]*)?к))[ауеои]

Сделал так:

Код:

|с[^а-я]*у[^а-я]*к[^а-я]*[ауеои]|с[^а-я]*у[^а-я]*ч[^а-я]*[ая][^а-я]*р[^а-я]*[ауыеои]

Всё остальное работает, вроде бы, идеально. То есть блочит всё и даже блокирует обходы типа "м..л**я*(;ть" и т.п.

Sigvegutt · 19 июл 2020

Ещё 1 вопрос, как вместо [^а-я]* блокировать только символы "!№;%:?*();_-=.,"?
Иначе оно блокирует слова типо "бляивать", что может повлечь блокировку не матерных слов.
Хочется, чтобы оно блокировало только обход типа "б*л..я**т""ь" и т.п.

imDaniX · 19 июл 2020

Sigvegutt сказал(а):
Ещё 1 вопрос, как вместо [^а-я]* блокировать только символы "!№;%:?*();_-=.,"?
Иначе оно блокирует слова типо "бляивать", что может повлечь блокировку не матерных слов.
Хочется, чтобы оно блокировало только обход типа "б*л..я**т""ь" и т.п.

Оно и блокирует только не-русские символы. После "-ля" за всё отвечает .*?

Dymeth · 25 июл 2020

На самом деле, подозреваю, придётся делать какой-то белый список самых популярных, потому что всё явно не учесть:
http://orfo.info/poisk.php?s=%EC%E0%ED%E4%E0
http://orfo.info/poisk.php?sm=%E5%E1%EB
http://orfo.info/poisk.php?s=%E5%E1
http://orfo.info/poisk.php?s=%E1%EB%FF

Также предлагаю опубликовать вариант регулярки в несколько строк, чтобы было проще воспринимать и редактировать. Каждый сможет самостоятельно запретить себе суку с хером.

imDaniX · 25 июл 2020

Dymeth сказал(а):
На мой взгляд, не лучшее решение с корнем "еб" - присутствует ощутимое количество ложных срабатываний, т.к. попадаются довольно популярные слова:

теб(-е,-я)
себ(-е,-я)
хлеб
небольшой
лебедь
веб
пренебречь
витеблянин (к-комбо!)
кордебалет
не(-бледный,-белый,-буквенный)

Не самые популярные из них можно отрубить запретом "р" перед "еб":
ребята
ребёнок
ребаланс
поребрик
требование
употреблять (к-комбо! x2)

Есть еще несколько ложных, которые проявляются довольно редко. Но вдруг будут мысли на их счёт:
команда
мандарин
хулить
сабля

На самом деле, подозреваю, придётся делать какой-то белый список самых популярных, потому что всё явно не учесть:
http://orfo.info/poisk.php?s=%EC%E0%ED%E4%E0
http://orfo.info/poisk.php?sm=%E5%E1%EB
http://orfo.info/poisk.php?s=%E5%E1
http://orfo.info/poisk.php?s=%E1%EB%FF

Также предлагаю опубликовать вариант регулярки в несколько строк, чтобы было проще воспринимать и редактировать. Каждый сможет самостоятельно запретить себе суку с хером.

Ни на одно из этих слов эта регулярка не срабатывает, не считая "хулить", которое я сам упоминал выше, но и это решается парой символов. Хотя, вот в ссылках есть "бляшный" - поправлю в через некоторое время.
А вот по поводу разделения регулярки на слова - идея хорошая. Скорее всего просто закину дополнительный файлик в гист, а может и в этот добавлю.

Фикс [CHAT] RegEx для русского мата

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Активный участник

Поделиться этой страницей