Merge pull request 'Bug fixes and improvements' (#8) from dev into master

Reviewed-on: profitroll/HoloCheckerBot#8

.gitignore

@@ -162,3 +162,5 @@ TASK.md
 inline_bot.py
 .vscode
 migrate.py
+validation/*
+!validation/*.json

classes/holo_user.py

@@ -1,5 +1,6 @@
 from datetime import datetime
 from asyncio import sleep
+from ftfy import fix_text
 from traceback import format_exc
 from app import app, isAnAdmin
 from typing import Any, List, Literal, Union
@@ -122,6 +123,11 @@ class HoloUser():
             * adm_context (`bool`, *optional*): Whether context sender is an admin. Defaults to False.
         """    
 
+        if text is not None:
+            text = fix_text(text)
+        elif caption is not None:
+            caption = fix_text(caption)
+
         # Check if any text available and log message sending
         if text is not None:
             logWrite(f"{context.from_user.id} sent message '{text}' to {self.id} (source message: {context.id})")
@@ -275,10 +281,9 @@ class HoloUser():
         """Reset application of a user in tmp collection and replace it with an empty one
         """        
         if col_tmp.find_one({"user": self.id, "type": "application"}) is None:
-            col_tmp.insert_one(document=DefaultApplicationTemp(self.id).dict)
-        else:
-            col_tmp.delete_one({"user": self.id, "type": "application"})
             col_tmp.insert_one(document=DefaultApplicationTemp(self.id, reapply=reapply).dict)
+        else:
+            col_tmp.find_one_and_replace({"user": self.id, "type": "application"}, DefaultApplicationTemp(self.id, reapply=reapply).dict)
 
     async def application_next(self, query: str, msg: Message) -> None:
         """Move on filling application of user
@@ -313,6 +318,9 @@ class HoloUser():
 
         if progress["state"] == "fill" and progress["sent"] is False:
 
+            if msg.text is not None:
+                msg.text = fix_text(msg.text)
+
             if stage == 2:
 
                 try:
@@ -359,6 +367,9 @@ class HoloUser():
                     return
 
             elif stage == 10:
+                if len(query) > 1024:
+                    await msg.reply_text(locale("question10_too_long", "message", locale=self.locale), reply_markup=ForceReply(placeholder=str(locale(f"question{stage}", "force_reply", locale=self.locale))))    
+                    return
                 progress["application"][str(stage)] = query
                 col_tmp.update_one({"user": {"$eq": self.id}, "type": {"$eq": "application"}}, {"$set": {"application": progress["application"], "complete": True}})
                 application_content = []
@@ -378,6 +389,9 @@ class HoloUser():
                 await msg.reply_text(locale("confirm", "message", locale=self.locale).format("\n".join(application_content)), reply_markup=ReplyKeyboardMarkup(locale("confirm", "keyboard", locale=self.locale), resize_keyboard=True))
 
             else:
+                if len(query) > 256:
+                    await msg.reply_text(locale("question_too_long", "message", locale=self.locale), reply_markup=ForceReply(placeholder=str(locale(f"question{stage}", "force_reply", locale=self.locale))))    
+                    return
                 progress["application"][str(stage)] = query
                 col_tmp.update_one({"user": {"$eq": self.id}, "type": {"$eq": "application"}}, {"$set": {"application": progress["application"], "stage": progress["stage"]+1}})
                 await msg.reply_text(locale(f"question{stage+1}", "message", locale=self.locale), reply_markup=ForceReply(placeholder=str(locale(f"question{stage+1}", "force_reply", locale=self.locale))))
@@ -430,10 +444,20 @@ class HoloUser():
 
             stage = progress["stage"]
 
+            if msg.text is not None:
+                msg.text = fix_text(msg.text)
+            elif msg.caption is not None:
+                msg.caption = fix_text(msg.caption)
+
             if progress["state"] == "fill" and progress["sent"] is False:
 
                 if stage == 1:
 
+                    if len(query) > 240:
+                        logWrite(f"User {msg.from_user.id} failed stage {stage} due to sending invalid date format")
+                        await msg.reply_text(locale(f"sponsor1_invalid", "message", locale=self.locale), reply_markup=ForceReply(placeholder=str(locale(f"sponsor{stage}", "force_reply", locale=self.locale))))
+                        return
+
                     progress["sponsorship"]["streamer"] = query
                     col_tmp.update_one({"user": {"$eq": self.id}, "type": {"$eq": "sponsorship"}}, {"$set": {"sponsorship": progress["sponsorship"], "stage": progress["stage"]+1}})
                     await msg.reply_text(locale(f"sponsor{stage+1}", "message", locale=self.locale), reply_markup=ForceReply(placeholder=str(locale(f"sponsor{stage+1}", "force_reply", locale=self.locale))))

locale/uk.json

@@ -13,6 +13,7 @@
         "question8": "Чи дивишся ти стріми дівчат Хололайву?",
         "question9": "Чиї пісні з Хололайву тобі подобаються найбільше?",
         "question10": "Ну і нарешті, розкажи трохи про себе. Про хобі, чим тобі подобається займатись. Одним повідомленням, будь ласка.",
+        "question_too_long": "Текст занадто довгий. Будь ласка, умісти відповідь у 256 символів.",
         "question2_underage": "Вибач, але треба досягти віку {0} років, щоб приєднатись до нас. Такі обмеження існують для того, щоб всім у спільноті було цікаво одне з одним.",
         "question2_invalid": "Будь ласка, введи дату формату `ДД.ММ.РРРР`",
         "question2_joke": "Шутнік, ми так і поняли. Але будь ласка, введи реальне значення.",
@@ -20,9 +21,11 @@
         "question3_found": "Використовую наступний результат:\n• {0} ({1})",
         "question3_error": "⚠️ **Сталась помилка**\nНе вдалось отримати географічну мітку. Розробника повідомлено про цю помилку. Будь ласка, спробуйте ще раз.",
         "question3_traceback": "⚠️ **Сталась помилка**\nПомилка отримання геокодингу для `{0}`\nПомилка: `{1}`\n\nTraceback:\n```\n{2}\n```",
+        "question10_too_long": "Текст занадто довгий. Будь ласка, умісти відповідь у 1024 символи.",
         "sponsorship_apply": "ℹ️ Оформіть платну підписку на когось з Холо, заповніть форму та отримайте особливу роль в якості винагороди!",
         "sponsorship_applying": "ℹ️ Розпочато заповнення форми на отримання бонусів за платну підписку на холодівчат.",
         "sponsor1": "На яку саме дівчину платна підписка?",
+        "sponsor1_invalid": "Будь ласка, введіть ім'я не довше за 240 символів",
         "sponsor2": "До якої дати (`ДД.ММ.РРРР`) підписка?",
         "sponsor2_invalid": "Будь ласка, введи дату формату `ДД.ММ.РРРР`",
         "sponsor2_past": "Вказана дата знаходиться в минулому. Будь ласка, вкажіть правильний термін дії підписки",
@@ -108,6 +111,7 @@
         "spoiler_empty": "Спойлер категорії \"{0}\" без опису",
         "spoiler_described": "Спойлер категорії \"{0}\": {1}",
         "spoiler_description_enter": "Добре, введіть бажаний опис спойлера",
+        "spoiler_description_too_long": "Текст занадто довгий. Будь ласка, умісти опис у 1024 символи.",
         "spoiler_using_description": "Встановлено опис спойлера: {0}\n\nЗалишилось додати вміст самого спойлера. Бот приймає текстове повідомлення, фото, відео, файл а також гіф зображення (1 шт.)",
         "spoiler_send_description": "Тепер треба надіслати коротенький опис спойлера, щоб люди розуміли що під ним варто очкувати. Надішли мінус (-) щоб пропустити цей крок.",
         "spoiler_ready": "Успіх! Спойлер створено. Користуйтесь кнопкою нижче щоб надіслати його.",
@@ -262,7 +266,7 @@
             "description": "Надіслати цей спойлер до чату"
         }
     },
-    "rules_msg": "📢Правила можуть доповнюватись та змінюватись, залежно від потреби. У такому разі, порушення, які були вчинені до введення (змінення) правила, порушеннями вважатися не будуть. Про всі зміни в правилах, ви будете проінформовані за допомогою закріплених повідомлень. Але вони не будуть закріплені на постійній основі, тому, час від часу, перевіряйте актуальність правил у боті.\n\n🔔Якщо ви бачите, як хтось із учасників порушив правила, тегніть одного із адмінів, у відповідь на повідомлення, яке, на вашу думку, є порушенням. У дописі до тегу, вкажіть, по якому пункту ви побачили порушення. Або перешліть повідомлення до будь кого із адміністраторів у особисті повідомлення, та коротко опишіть ситуацію.\nСписок адміністраторів: @Chirkopol @Za_NerZula @Denialvapr\nЗ питань функціонування бота звертайтесь до @Profitroll2281337\n\n❗️Будь-який заборонений контент, може бути відправлений до чату за допомогою бота - https://t.me/spoilerobot з повним описом контенту, що міститься під спойлером. За неправильний або некоректний опис, може бути видане попередження.\n\n‼️Видалені або змінені повідомлення, все ще є повідомленнями від вашого імені, які могли побачити учасники чату, і які можуть бути відстежені через адмінську панель.\n\n🔨 За порушення - ви отримаєте попередження. За наявності 3-х попереджень - мут на добу. За повторні порушення, ви одразу отримаєте покарання, без додаткових попереджень.",
+    "rules_msg": "📢Правила можуть доповнюватись та змінюватись, залежно від потреби. У такому разі, порушення, які були вчинені до введення (змінення) правила, порушеннями вважатися не будуть. Про всі зміни в правилах, ви будете проінформовані за допомогою закріплених повідомлень. Але вони не будуть закріплені на постійній основі, тому, час від часу, перевіряйте актуальність правил у боті.\n\n🔔Якщо ви бачите, як хтось із учасників порушив правила, тегніть одного із адмінів, у відповідь на повідомлення, яке, на вашу думку, є порушенням. У дописі до тегу, вкажіть, по якому пункту ви побачили порушення. Або перешліть повідомлення до будь кого із адміністраторів у особисті повідомлення, та коротко опишіть ситуацію.\nСписок адміністраторів: @Chirkopol @Za_NerZula @Denialvapr\nЗ питань функціонування бота звертайтесь до @Profitroll2281337\n\n❗️Будь-який заборонений контент, може бути відправлений допомогою команди /spoiler у бота - з повним описом контенту, що міститься під спойлером. За неправильний або некоректний опис, може бути видане попередження.\n\n‼️Видалені або змінені повідомлення, все ще є повідомленнями від вашого імені, які могли побачити учасники чату, і які можуть бути відстежені через адмінську панель.\n\n🔨 За порушення - ви отримаєте попередження. За наявності 3-х попереджень - мут на добу. За повторні порушення, ви одразу отримаєте покарання, без додаткових попереджень.",
     "rules": [
         "1️⃣) \"HoloKyiv Chat\" та \"HoloUA (Hololive Ukraine) Chat\" створені виключно для українців (13+). В них можуть знаходитись тільки люди які: \n- Народились в Україні, та проживають, на данний момент, у ній.\n- Народились за межами України, але проживають у ній.\n- Народились в Україні але, на даний момент, не проживають у ній.\n\"HoloUA (Hololive Ukraine) Chat\" відкритий для усіх українців. Щоб потрапити до нього, заповніть, будь ласка, анкету, та дочекайтесь, поки її схвалять адміни.\nУ \"HoloKyiv Chat\" можна потрапити тільки особисто, якщо ви проживаєте у Київі, або є близьким другом одного із учасників чату. Із приводу додавання до чату пишіть @Chirkopol у приватні повідомлення.\n🔨 Якщо у процесі спілкування виявиться, що ви не українець, вас буде видалено із чату, до моменту, поки ви їм не станете. Без образ. Ми створюємо виключно українське ком'юніті.",
         "2️⃣) Заборонено поширення NSFW-контенту з прямим або частково прихованим порнографічним змістом. На контенті \"еротичного характеру\" повинні бути закриті \"сумнівні\" ділянки тіл. \nЗаборонено поширення шок-контенту з великою наявністю крові та/або фізичних пошкоджень.",

modules/callbacks/reapply.py

@@ -21,7 +21,14 @@ async def callback_reapply_query_accept(app: Client, clb: CallbackQuery):
 
     await app.send_message(holo_user.id, locale("approved_joined", "message", locale=holo_user))
 
-    col_applications.delete_one({"user": holo_user.id})
+    applications = col_applications.find({"user": holo_user.id})
+
+    if len(list(applications)) > 1:
+        col_applications.delete_many({"user": holo_user.id})
+        col_applications.insert_one({"user": holo_user.id, "date": datetime.now(), "admin": clb.from_user.id, "application": col_tmp.find_one({"user": {"$eq": holo_user.id}, "type": {"$eq": "application"}})["application"]})
+    elif applications == 1:
+        col_applications.find_one_and_replace({"user": holo_user.id}, {"user": holo_user.id, "date": datetime.now(), "admin": clb.from_user.id, "application": col_tmp.find_one({"user": {"$eq": holo_user.id}, "type": {"$eq": "application"}})["application"]})
+    else:
         col_applications.insert_one({"user": holo_user.id, "date": datetime.now(), "admin": clb.from_user.id, "application": col_tmp.find_one({"user": {"$eq": holo_user.id}, "type": {"$eq": "application"}})["application"]})
     col_tmp.update_one({"user": holo_user.id, "type": "application"}, {"$set": {"state": "approved", "sent": False}})
 

modules/commands/cancel.py

@@ -9,7 +9,7 @@ from modules import custom_filters
 # Cancel command ===============================================================================================================
 @app.on_message((custom_filters.enabled_applications | custom_filters.enabled_sponsorships) & ~filters.scheduled & filters.command("cancel", prefixes=["/"]))
 async def command_cancel(app: Client, msg: Message):
-    col_tmp.delete_many( {"user": msg.from_user.id} )
+    col_tmp.delete_many( {"user": msg.from_user.id, "sent": False} )
     col_spoilers.delete_many( {"user": msg.from_user.id, "completed": False} )
     await msg.reply_text(locale("cancel", "message", locale=msg.from_user), quote=should_quote(msg), reply_markup=ReplyKeyboardRemove())
     logWrite(f"Cancelling all ongoing tmp operations for {msg.from_user.id}")

modules/commands/spoiler.py

@@ -30,6 +30,7 @@ async def cmd_spoiler(app: Client, msg: Message):
                     "description": None,
                     "photo": None,
                     "video": None,
+                    "audio": None,
                     "animation": None,
                     "document": None,
                     "caption": None,

modules/commands/start.py

@@ -36,6 +36,8 @@ async def cmd_start(app: Client, msg: Message):
                 await msg.reply_cached_media(spoiler["photo"], caption=spoiler["caption"])
             if spoiler["video"] is not None:
                 await msg.reply_cached_media(spoiler["video"], caption=spoiler["caption"])
+            if spoiler["audio"] is not None:
+                await msg.reply_cached_media(spoiler["audio"], caption=spoiler["caption"])
             if spoiler["animation"] is not None:
                 await msg.reply_cached_media(spoiler["animation"], caption=spoiler["caption"])
             if spoiler["document"] is not None:

modules/handlers/confirmation.py

@@ -9,7 +9,7 @@ from pyrogram.enums.parse_mode import ParseMode
 from classes.holo_user import HoloUser
 from modules.utils import all_locales, configGet, locale, logWrite
 from modules.handlers.welcome import welcome_pass
-from modules.database import col_tmp
+from modules.database import col_tmp, col_applications
 from modules import custom_filters
 
 # Confirmation =================================================================================================================
@@ -54,8 +54,12 @@ async def confirm_yes(app: Client, msg: Message, kind: Literal["application", "s
                 
                 i += 1
 
-            if tmp_application["reapply"]:
+            if tmp_application["reapply"] is True and col_applications.find_one({"user": holo_user.id}) is not None:
-                await app.send_message(chat_id=configGet("admin", "groups"), text=(locale("reapply_got", "message")).format(str(holo_user.id), msg.from_user.first_name, msg.from_user.username, "\n".join(application_content)), parse_mode=ParseMode.MARKDOWN, reply_markup=InlineKeyboardMarkup(
+                await app.send_message(
+                    chat_id=configGet("admin", "groups"),
+                    text=(locale("reapply_got", "message")).format(str(holo_user.id),msg.from_user.first_name, msg.from_user.username, "\n".join(application_content)),
+                    parse_mode=ParseMode.MARKDOWN,
+                    reply_markup=InlineKeyboardMarkup(
                         [
                             [
                                 InlineKeyboardButton(text=str(locale("reapply_yes", "button")), callback_data=f"reapply_yes_{holo_user.id}")
@@ -67,7 +71,11 @@ async def confirm_yes(app: Client, msg: Message, kind: Literal["application", "s
                     )
                 )
             else:
-                await app.send_message(chat_id=configGet("admin", "groups"), text=(locale("application_got", "message")).format(str(holo_user.id), msg.from_user.first_name, msg.from_user.username, "\n".join(application_content)), parse_mode=ParseMode.MARKDOWN, reply_markup=InlineKeyboardMarkup(
+                await app.send_message(
+                    chat_id=configGet("admin", "groups"),
+                    text=(locale("application_got", "message")).format(str(holo_user.id), msg.from_user.first_name, msg.from_user.username, "\n".join(application_content)),
+                    parse_mode=ParseMode.MARKDOWN,
+                    reply_markup=InlineKeyboardMarkup(
                         [
                             [
                                 InlineKeyboardButton(text=str(locale("sub_yes", "button")), callback_data=f"sub_yes_{holo_user.id}")

modules/handlers/everything.py

@@ -1,6 +1,7 @@
 from traceback import print_exc
 from app import app, isAnAdmin
 import asyncio
+from ftfy import fix_text
 from pyrogram import filters
 from pyrogram.types import Message, ForceReply, InlineKeyboardMarkup, InlineKeyboardButton
 from pyrogram.client import Client
@@ -89,14 +90,19 @@ async def any_stage(app: Client, msg: Message):
                 await msg.reply_text(locale("spoiler_send_description", "message", locale=msg.from_user), reply_markup=ForceReply(placeholder=locale("spoiler_description", "force_reply", locale=msg.from_user)))
                 return
 
-            if spoiler["description"] is None and (spoiler["photo"] is None and spoiler["video"] is None and spoiler["animation"] is None and spoiler["text"] is None):
+            if spoiler["description"] is None and (spoiler["photo"] is None and spoiler["video"] is None and spoiler["audio"] is None and spoiler["animation"] is None and spoiler["text"] is None):
 
                 # for lc in all_locales("spoiler_description", "keyboard"):
                 #     if msg.text == lc[-1][0]:
                 #         await msg.reply_text(locale("spoiler_description_enter", "message", locale=msg.from_user), reply_markup=ForceReply(placeholder=locale("spoiler_description", "force_reply", locale=msg.from_user)))
                 #         return
                 
+
                 if msg.text != "-":
+                    msg.text = fix_text(msg.text)
+                    if len(msg.text) > 1024:
+                        await msg.reply_text(locale("spoiler_description_too_long", "message", locale=msg.from_user), reply_markup=ForceReply(placeholder=locale("spoiler_description", "force_reply", locale=msg.from_user)))
+                        return
                     col_spoilers.find_one_and_update( {"user": msg.from_user.id, "completed": False}, {"$set": {"description": msg.text}} )
                 else:
                     col_spoilers.find_one_and_update( {"user": msg.from_user.id, "completed": False}, {"$set": {"description": ""}} )
@@ -115,7 +121,12 @@ async def any_stage(app: Client, msg: Message):
 
             if msg.video is not None:
                 col_spoilers.find_one_and_update( {"user": msg.from_user.id, "completed": False}, {"$set": {"video": msg.video.file_id, "caption": msg.caption, "completed": True}} )
-                logWrite(f"Adding video with id {msg.video.file_id} to {msg.from_user.id}'s spoiler")
+                logWrite(f"Adding audio with id {msg.video.file_id} to {msg.from_user.id}'s spoiler")
+                ready = True
+
+            if msg.audio is not None:
+                col_spoilers.find_one_and_update( {"user": msg.from_user.id, "completed": False}, {"$set": {"audio": msg.audio.file_id, "caption": msg.caption, "completed": True}} )
+                logWrite(f"Adding video with id {msg.audio.file_id} to {msg.from_user.id}'s spoiler")
                 ready = True
 
             if msg.animation is not None:
@@ -128,7 +139,7 @@ async def any_stage(app: Client, msg: Message):
                 logWrite(f"Adding document with id {msg.document.file_id} to {msg.from_user.id}'s spoiler")
                 ready = True
 
-            if spoiler["photo"] is None and spoiler["video"] is None and spoiler["animation"] is None and spoiler["document"] is None and spoiler["text"] is None:
+            if spoiler["photo"] is None and spoiler["video"] is None and spoiler["audio"] is None and spoiler["animation"] is None and spoiler["document"] is None and spoiler["text"] is None:
                 if msg.text is not None:
                     col_spoilers.find_one_and_update( {"user": msg.from_user.id, "completed": False}, {"$set": {"text": msg.text, "completed": True}} )
                     logWrite(f"Adding text '{msg.text}' to {msg.from_user.id}'s spoiler")

modules/handlers/welcome.py

@@ -13,7 +13,7 @@ for pattern in all_locales("welcome", "keyboard"):
 for pattern in all_locales("return", "keyboard"):
     welcome_1.append(pattern[0][0])
 @app.on_message(custom_filters.enabled_applications & ~filters.scheduled & filters.private & filters.command(welcome_1, prefixes=[""]))
-async def welcome_pass(app: Client, msg: Message, once_again: bool = True) -> None:
+async def welcome_pass(app: Client, msg: Message, once_again: bool = False) -> None:
     """Set user's stage to 1 and start a fresh application
 
     ### Args:
@@ -27,6 +27,7 @@ async def welcome_pass(app: Client, msg: Message, once_again: bool = True) -> No
 
     holo_user = HoloUser(msg.from_user)
 
+    if once_again is False:
         holo_user.application_restart()
         
     logWrite(f"User {msg.from_user.id} confirmed starting the application")

requirements.txt

@@ -2,9 +2,10 @@ APScheduler==3.9.1.post1
 fastapi~=0.88.0
 psutil==5.9.4
 pymongo==4.3.3
-Pyrogram~=2.0.95
+Pyrogram~=2.0.96
 requests==2.28.1
 tgcrypto==1.2.5
 python_dateutil==2.8.2
 starlette~=0.22.0
 ujson~=5.7.0
+ftfy~=6.1.1

validation/spoilers.json

@@ -7,6 +7,7 @@
             "description",
             "photo",
             "video",
+            "audio",
             "animation",
             "document",
             "caption",
@@ -38,6 +39,10 @@
                 "bsonType": ["string", "null"],
                 "description": "Spoilered video"
             },
+            "audio": {
+                "bsonType": ["string", "null"],
+                "description": "Spoilered audio"
+            },
             "animation": {
                 "bsonType": ["string", "null"],
                 "description": "Spoilered animation/GIF"