postprocess.py - master - TurGG/IRA

postprocess.py
68 строк3 KB
Твоё Имя
Добавлен войс и тестирование
11 дек 2025, 15:19
11 дек 2025, 15:19095e761
import re
def enhance_with_ai(text: str) -> str:
    """
    Аккуратное исправление грамматики и орфографии без изменения смысла.
    Требования к модели:
    - не добавлять новых предложений и фактов, не перефразировать;
    - сохранять порядок, число предложений и общую длину (±10%);
    - править только пунктуацию, опечатки, очевидные грамматические огрехи;
    - сохранять переносы строк, если они были важны;
    - если не уверена — оставлять как есть.
    """
    try:
        prompt = f"""
Ты — редактор, который исправляет ТОЛЬКО орфографию и пунктуацию, не меняя смысла.
Правила:
- не сокращай и не добавляй текст;
- не переставляй предложения местами;
- не добавляй пояснений и комментариев;
- сохраняй переносы строк (если были).

Текст:
{text}

Верни только исправленный текст.
"""
        giga = GigaChat(
            credentials="MDE5OWYyM2ItOWE1Ni03YjA0LTk5MmEtNWViMTI1MWIyMDE1Ojg2NTg1YmJiLTFjMmItNGQyZi1hZTliLTQ0MTk3MDk5MDI4Mg==",
            verify_ssl_certs=False,
        )
        response = giga.chat(prompt)
        enhanced_text = response.choices[0].message.content
        return enhanced_text.strip()
    except Exception as e:
        print(f"⚠️ Ошибка AI-улучшения: {e}")
        return text  # Возвращаем исходный текст если ошибка

def clean_transcript(text, use_ai_enhancement=True):
    """
    Минимальная очистка текста после транскрибации:
    - убирает неразпечатаемые символы и лишние пробелы
    - нормализует переносы строк
    Без правки смысла и структуры.
    """
    if not text:
        return text

    # Опционально: поправить орфографию/пунктуацию без изменения смысла
    if use_ai_enhancement:
        text = enhance_with_ai(text)

    # Удаляем неразпечатаемые символы, нормализуем пробелы/переносы
    text = text.replace("\r\n", "\n").replace("\r", "\n")
    text = re.sub(r"[^\S\n]+", " ", text)  # лишние пробелы, но сохраняем \n
    text = re.sub(r"\n{3,}", "\n\n", text)  # не больше двух подряд
    text = text.strip()
    return text

def format_for_analysis(text, use_ai_enhancement=True):
    """
    Подготовка текста для лучшего анализа LLM
    Сейчас — лёгкая нормализация переносов без изменения смысла.
    """
    # Опционально лёгкая корректура без изменения смысла
    if use_ai_enhancement:
        text = enhance_with_ai(text)

    text = text.replace("\r\n", "\n").replace("\r", "\n")
    return text.strip()