backend/models/pdf_processor.py - master - nd4wn/AIProjectControl

backend/models/pdf_processor.py
489 строк20 KB
nd4wn
Create: __init__.py, __init__.py, llama_client.py, !!!!ocr_processor.py, cache_manager.py, document_analyzer.py, drawing_processor.py, import_paddlex_data.py, lighton_ocr.py, local_remarks_generator.py, pdf_annotator.py, pdf_processor(old).py, pdf_processor.py, pp87_checker.py, report_generator.py, run_full_analysis.py, structure_aware_splitter.py, structure_learning.py, agent.py, batch_processor.py, cache_control.py, load_norms.py, norms_references.json, requirements.txt, run_full_analysis.py, start_normocontrol.ps1, test_agent.py, !!!!ocr_processor.py, cache_manager.py, document_analyzer.py, drawing_processor.py, import_paddlex_data.py, local_remarks_generator.py, pdf_annotator.py, pdf_processor.py, report_generator.py, run_full_analysis.py, structure_aware_splitter.py, structure_learning.py
19 июл 2026, 18:22
Верифицирован
19 июл 2026, 18:22ce9f7f3
# app/utils/pdf_processor.py - ФИНАЛЬНАЯ ВЕРСИЯ
# Полная реализация трёхуровневой архитектуры:
# 1. pdfplumber (текст + таблицы + координаты)
# 2. pypdf (базовый fallback)
# 3. Tesseract OCR (сканы и чертежи)

import os
import sys
import re
from pathlib import Path
from typing import Tuple, Optional, List, Dict, Any

# Добавляем путь для импорта
sys.path.insert(0, os.path.dirname(os.path.dirname(os.path.abspath(__file__))))

# Импорт OCR зависимостей (опционально, с проверкой)
try:
    import pytesseract
    from pdf2image import convert_from_path
    from PIL import Image, ImageEnhance, ImageFilter
    OCR_AVAILABLE = True
except ImportError as e:
    OCR_AVAILABLE = False
    print(f"⚠️ OCR не доступен: {e}. Для распознавания сканов установите: pip install pytesseract pdf2image pillow")

# ============================================================================
# ЯВНО УКАЗЫВАЕМ ПУТЬ К TESSERACT (если установлен)
# ============================================================================
if OCR_AVAILABLE:
    tesseract_paths = [
        r"C:\Program Files\Tesseract-OCR\tesseract.exe",
        r"C:\Program Files (x86)\Tesseract-OCR\tesseract.exe",
    ]
    tesseract_found = False
    for path in tesseract_paths:
        if Path(path).exists():
            pytesseract.pytesseract.tesseract_cmd = path
            tesseract_found = True
            print(f"✅ Tesseract найден: {path}")
            break
    
    if not tesseract_found:
        print("⚠️ Tesseract не найден! Установите с https://github.com/UB-Mannheim/tesseract/releases")
        print("   При установке выберите русский язык и добавьте в PATH")
        OCR_AVAILABLE = False


# ============================================================================
# УРОВЕНЬ 1: ОЧИСТКА ТЕКСТА ОТ OCR-АРТЕФАКТОВ
# ============================================================================

def clean_ocr_text(text: str) -> str:
    """
    Очищает текст от типичных OCR-артефактов и мусора.
    Удаляет: / каб. пеш.пеш.пеш., одиночные символы, повторения, артефакты штампов
    """
    if not text:
        return ""
    
    original_length = len(text)
    
    # 1. Удаляем повторяющиеся слова (пеш.пеш.пеш. → пеш.)
    text = re.sub(r'(\b\w+\.)(\1)+', r'\1', text)
    text = re.sub(r'(\b\w+\.\w+\.)(\1)+', r'\1', text)
    
    # 2. Удаляем артефакты штампов и чертёжных обозначений
    artifacts = [
        r'/?\s*каб\.?\s*пеш\.?\s*',           # / каб. пеш.
        r'пеш\.пеш\.пеш\.',                    # пеш.пеш.пеш.
        r'каб\.\s*пеш\.',                      # каб. пеш.
        r'лист\.?\s*\d*\.?',                   # лист.1.
        r'рам\.?\s*\d*\.?',                    # рам.1.
        r'поз\.?\s*\.?\s*\.?',                 # поз...
        r'обозн\.?\s*',                        # обозн.
        r'прим\.?\s*',                         # прим.
        r'см\.?\s*\.?\s*',                     # см..
        r'рис\.?\s*\.?\s*',                    # рис..
        r'табл\.?\s*\.?\s*',                   # табл..
        r'разд\.?\s*\.?\s*',                   # разд..
        r'п\.?\s*\.?\s*п\.?\s*',               # п.п.
        r'№\s*\.?\s*',                         # №.
        r'\.{2,}',                              # два и более точки подряд
        r'\s+\.\s+',                            # пробел-точка-пробел
        r'^\W+',                                # небуквенные символы в начале строки
        r'\W+$',                                # небуквенные символы в конце строки
    ]
    
    for pattern in artifacts:
        text = re.sub(pattern, ' ', text, flags=re.IGNORECASE | re.MULTILINE)
    
    # 3. Удаляем одиночные символы в начале строк (кроме цифр и букв)
    text = re.sub(r'^[^\w\s]{1,3}\s+', '', text, flags=re.MULTILINE)
    
    # 4. Удаляем странные комбинации с точками (а.б.в.г.)
    text = re.sub(r'\b\w\.\w\.\w\.\w\.\b', '', text)
    text = re.sub(r'\b\w\.\w\.\w\.\b', '', text)
    text = re.sub(r'\b\w\.\w\.\b', '', text)
    
    # 5. Удаляем отдельные точки в середине предложений
    text = re.sub(r'(\w)\s+\.\s+(\w)', r'\1 \2', text)
    
    # 6. Нормализуем пробелы и переносы строк
    text = re.sub(r'\s+', ' ', text)
    text = re.sub(r'\n\s*\n', '\n\n', text)
    
    # 7. Удаляем пустые строки
    lines = [line.strip() for line in text.split('\n') if line.strip()]
    text = '\n'.join(lines)
    
    # 8. Восстанавливаем важные обозначения, которые могли пострадать
    text = re.sub(r'рис\s+(\d+)', r'рис. \1', text, flags=re.IGNORECASE)
    text = re.sub(r'табл\s+(\d+)', r'табл. \1', text, flags=re.IGNORECASE)
    text = re.sub(r'раздел\s+(\d+)', r'Раздел \1', text, flags=re.IGNORECASE)
    text = re.sub(r'пункт\s+(\d+(?:\.\d+)*)', r'пункт \1', text, flags=re.IGNORECASE)
    
    cleaned_length = len(text)
    if original_length - cleaned_length > 100:
        print(f"   🧹 Очищено OCR-мусора: {original_length - cleaned_length} символов")
    
    return text.strip()


def remove_duplicate_lines(text: str) -> str:
    """Удаляет дублирующиеся строки в тексте"""
    if not text:
        return ""
    
    lines = text.split('\n')
    seen = set()
    unique_lines = []
    
    for line in lines:
        line_clean = line.strip().lower()
        if line_clean and line_clean not in seen:
            seen.add(line_clean)
            unique_lines.append(line)
        elif not line_clean:
            unique_lines.append(line)
    
    return '\n'.join(unique_lines)


def fix_common_ocr_errors(text: str) -> str:
    """Исправляет типичные ошибки OCR (замена символов)"""
    if not text:
        return ""
    
    # Простые замены для часто встречающихся ошибок
    text = re.sub(r'(\d+)см', r'\1 см', text)
    text = re.sub(r'(\d+)мм', r'\1 мм', text)
    text = re.sub(r'(\d+)м', r'\1 м', text)
    text = re.sub(r'(\d+)кВ', r'\1 кВ', text)
    text = re.sub(r'(\d+)А', r'\1 А', text)
    text = re.sub(r'(\d+)Вт', r'\1 Вт', text)
    
    return text


# ============================================================================
# УРОВЕНЬ 1: PDFPLUMBER (текст + таблицы + координаты)
# ============================================================================

def extract_with_pdfplumber(pdf_path: Path) -> Tuple[str, int, Optional[Dict]]:
    """
    Извлекает текст и таблицы через pdfplumber.
    Возвращает: (текст, количество страниц, метаданные с координатами)
    """
    try:
        import pdfplumber
        
        print(f"   📖 pdfplumber: извлечение текста и таблиц...")
        
        full_text = ""
        pages = 0
        metadata = {
            "has_tables": False,
            "tables": [],
            "pages_info": []
        }
        
        with pdfplumber.open(pdf_path) as pdf:
            pages = len(pdf.pages)
            
            for page_num, page in enumerate(pdf.pages, 1):
                # Извлечение текста
                page_text = page.extract_text()
                if page_text:
                    full_text += f"\n--- Страница {page_num} ---\n"
                    full_text += page_text + "\n"
                
                # Извлечение таблиц
                tables = page.extract_tables()
                if tables:
                    metadata["has_tables"] = True
                    for table in tables:
                        if table and len(table) > 1:
                            # Преобразуем таблицу в текстовый формат
                            table_text = "\n".join([
                                " | ".join([str(cell) if cell else "" for cell in row])
                                for row in table if row and any(cell for cell in row)
                            ])
                            if table_text:
                                full_text += f"\n[Таблица на странице {page_num}]\n"
                                full_text += table_text + "\n"
                                metadata["tables"].append({
                                    "page": page_num,
                                    "content": table_text,
                                    "raw": table
                                })
                
                # Сохраняем информацию о странице
                metadata["pages_info"].append({
                    "page_num": page_num,
                    "width": page.width,
                    "height": page.height,
                    "has_text": bool(page_text),
                    "has_tables": bool(tables)
                })
        
        if full_text.strip():
            print(f"   ✅ pdfplumber: извлечено {len(full_text)} символов, {pages} страниц")
            if metadata["has_tables"]:
                print(f"   📊 Обнаружено таблиц: {len(metadata['tables'])}")
            return full_text, pages, metadata
            
    except ImportError:
        print(f"   ⚠️ pdfplumber не установлен. Установите: pip install pdfplumber")
    except Exception as e:
        print(f"   ⚠️ pdfplumber ошибка: {e}")
    
    return "", 0, None


# ============================================================================
# УРОВЕНЬ 2: PYPDF (базовый fallback)
# ============================================================================

def extract_with_pypdf(pdf_path: Path) -> Tuple[str, int]:
    """
    Извлекает текст через pypdf (базовый fallback)
    """
    try:
        from pypdf import PdfReader
        
        print(f"   📖 pypdf: базовое извлечение текста...")
        
        reader = PdfReader(pdf_path)
        pages = len(reader.pages)
        text = ""
        
        for page_num, page in enumerate(reader.pages, 1):
            page_text = page.extract_text()
            if page_text:
                text += f"\n--- Страница {page_num} ---\n"
                text += page_text + "\n"
        
        if text.strip():
            print(f"   ✅ pypdf: извлечено {len(text)} символов, {pages} страниц")
            return text, pages
            
    except ImportError:
        print(f"   ⚠️ pypdf не установлен. Установите: pip install pypdf")
    except Exception as e:
        print(f"   ⚠️ pypdf ошибка: {e}")
    
    return "", 0


# ============================================================================
# УРОВЕНЬ 3: TESSERACT OCR (распознавание сканов и чертежей)
# ============================================================================

def preprocess_image_for_ocr(image: Image) -> Image:
    """
    Предобработка изображения для улучшения OCR на чертежах
    """
    # Конвертируем в черно-белый
    if image.mode != 'L':
        image = image.convert('L')
    
    # Увеличиваем контрастность
    enhancer = ImageEnhance.Contrast(image)
    image = enhancer.enhance(2.0)
    
    # Увеличиваем резкость
    image = image.filter(ImageFilter.SHARPEN)
    image = image.filter(ImageFilter.SHARPEN)
    
    # Бинаризация
    threshold = 180
    image = image.point(lambda x: 0 if x < threshold else 255, '1')
    
    # Удаляем шум
    image = image.filter(ImageFilter.MedianFilter(size=3))
    
    return image


def extract_with_tesseract(pdf_path: Path, dpi: int = 200) -> str:
    """
    Извлекает текст через Tesseract OCR (для сканов и чертежей)
    """
    if not OCR_AVAILABLE:
        print(f"   ❌ OCR не доступен. Установите pytesseract, pdf2image, pillow")
        return ""
    
    print(f"   🔍 Tesseract OCR: распознавание сканов и чертежей (DPI={dpi})...")
    
    all_text = []
    
    try:
        # Конвертируем PDF в изображения
        images = convert_from_path(pdf_path, dpi=dpi, first_page=1, last_page=50)
        print(f"   📸 Конвертировано {len(images)} страниц для OCR")
        
        for i, image in enumerate(images):
            print(f"   🔍 OCR страница {i+1}/{len(images)}...")
            
            # Предобработка
            processed_image = preprocess_image_for_ocr(image)
            
            # Оптимальные параметры для чертежей
            custom_config = r'--oem 3 --psm 6 -c tessedit_char_whitelist=АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯабвгдеёжзийклмнопрстуфхцчшщъыьэюя0123456789-.,:;()/№ '
            
            page_text = pytesseract.image_to_string(
                processed_image, 
                lang='rus',
                config=custom_config
            )
            
            page_text = clean_ocr_text(page_text)
            if page_text:
                all_text.append(f"--- Страница {i+1} ---")
                all_text.append(page_text)
            
            # Очистка памяти
            del image
            del processed_image
        
        result = '\n\n'.join(all_text)
        print(f"   ✅ Tesseract OCR: распознано {len(result)} символов")
        return result
        
    except Exception as e:
        print(f"   ❌ Ошибка Tesseract OCR: {e}")
        return ""


# ============================================================================
# ОСНОВНАЯ ФУНКЦИЯ (трёхуровневая архитектура)
# ============================================================================

def extract_text_from_pdf(pdf_path: str, use_ocr_fallback: bool = True) -> Tuple[str, int]:
    """
    Извлекает текст из PDF с трёхуровневой архитектурой:
    1. pdfplumber (текст + таблицы + координаты)
    2. pypdf (базовый fallback)
    3. Tesseract OCR (сканы и чертежи)
    
    Args:
        pdf_path: путь к PDF файлу
        use_ocr_fallback: использовать ли OCR если нет текстового слоя
    
    Returns:
        tuple: (извлеченный текст, количество страниц)
    """
    pdf_path = Path(pdf_path)
    
    if not pdf_path.exists():
        raise FileNotFoundError(f"Файл не найден: {pdf_path}")
    
    print(f"   🔍 Обработка: {pdf_path.name}")
    
    text = ""
    pages = 0
    
    # =========================================================
    # УРОВЕНЬ 1: PDFPLUMBER (лучший для структуры и таблиц)
    # =========================================================
    text, pages, metadata = extract_with_pdfplumber(pdf_path)
    
    if text.strip():
        # Финальная очистка
        text = clean_ocr_text(text)
        text = remove_duplicate_lines(text)
        text = fix_common_ocr_errors(text)
        return text, pages
    
    # =========================================================
    # УРОВЕНЬ 2: PYPDF (базовый fallback)
    # =========================================================
    print(f"   ⚠️ pdfplumber не извлёк текст, пробуем pypdf...")
    text, pages = extract_with_pypdf(pdf_path)
    
    if text.strip():
        # Финальная очистка
        text = clean_ocr_text(text)
        text = remove_duplicate_lines(text)
        text = fix_common_ocr_errors(text)
        return text, pages
    
    # =========================================================
    # УРОВЕНЬ 3: TESSERACT OCR (сканы и чертежи)
    # =========================================================
    if use_ocr_fallback:
        print(f"   ⚠️ Текстовый слой отсутствует, запускаем Tesseract OCR...")
        text = extract_with_tesseract(pdf_path)
        
        if text.strip():
            # Очистка и возврат
            text = clean_ocr_text(text)
            text = remove_duplicate_lines(text)
            text = fix_common_ocr_errors(text)
            print(f"   ✅ OCR завершён: {len(text)} символов")
            return text, 0
    
    print(f"   ❌ Не удалось извлечь текст из {pdf_path.name}")
    return "", 0


def quick_ocr_test(pdf_path: str) -> dict:
    """
    Быстрый тест PDF для определения наличия текстового слоя
    """
    pdf_path = Path(pdf_path)
    
    result = {
        "pages": 0,
        "has_text_layer": False,
        "has_pdfplumber": False,
        "has_pypdf": False,
        "sample_text": ""
    }
    
    # Проверка через pdfplumber
    try:
        import pdfplumber
        with pdfplumber.open(pdf_path) as pdf:
            result["pages"] = len(pdf.pages)
            first_page_text = pdf.pages[0].extract_text() or ""
            if first_page_text.strip():
                result["has_text_layer"] = True
                result["has_pdfplumber"] = True
                result["sample_text"] = first_page_text[:200]
                return result
    except:
        pass
    
    # Проверка через pypdf
    try:
        from pypdf import PdfReader
        reader = PdfReader(pdf_path)
        result["pages"] = len(reader.pages)
        first_page_text = reader.pages[0].extract_text() or ""
        if first_page_text.strip():
            result["has_text_layer"] = True
            result["has_pypdf"] = True
            result["sample_text"] = first_page_text[:200]
            return result
    except:
        pass
    
    result["sample_text"] = "Текстовый слой отсутствует, будет использован OCR (если установлен)"
    return result


# ============================================================================
# ТЕСТИРОВАНИЕ
# ============================================================================

if __name__ == "__main__":
    print("\n" + "=" * 60)
    print("ТЕСТИРОВАНИЕ PDF PROCESSOR")
    print("=" * 60)
    
    # Тест очистки текста
    test_text = """РАЗДЕЛ 1. ОБЩИЕ ДАННЫЕ
/ каб. пеш.пеш. пеш. пеш.пеш.
лист.1. рам.1. поз... обозн.
Проект предусматривает строительство... каб. пеш.
рис.. табл..
Раздел 1. Основные решения"""

    print("\n📝 Тест очистки OCR-артефактов:")
    print(f"   Было: {test_text[:80]}...")
    cleaned = clean_ocr_text(test_text)
    print(f"   Стало: {cleaned[:80]}...")
    
    print("\n✅ Тест завершён")