example_citations.json - master - dayekb/vibecoding_vkr_citation_parser

example_citations.json
1 270 строк160 KB
dayekb
upload files
05 окт 2025, 14:35
05 окт 2025, 14:3526797b6
{
  "citations": [
    {
      "citation": "Large Language Models Struggle to Learn Long-Tail Knowledge / N. Kandpal, H. Deng, A. Roberts [и др.]. – Текст : электронный. – arXiv, 2022. – URL: https://arxiv.org/abs/2211.08411 (дата обращения: 28.01.2025).",
      "context": "При этом недостаточно добавить дополнительные примеры, так как при их независимом отборе они, вероятно, будут повторять уже имеющуюся информацию, что не приведёт к значительному улучшению [1].",
      "citation_number": 1,
      "position": 8385
    },
    {
      "citation": "Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models. Siren’s Song in the AI Ocean / Y. Zhang, Y. Li, L. Cui,  [и др.] arXiv:2309.01219 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.01219 (дата обращения: 28.01.2025). – Текст : электронный.",
      "context": "Это явление известно как «галлюцинации» больших языковых моделей [2].",
      "citation_number": 2,
      "position": 8947
    },
    {
      "citation": "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks / P. Lewis, E. Perez, A. Piktus [и др.]. – Текст : электронный // Advances in Neural Information Processing Systems. – Curran Associates, Inc., 2020. – Т. 33. – С. 9459-9474. – URL: https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html (дата обращения: 25.01.2025).",
      "context": "Одним из решений данных проблем является подход RAG [3], который позволяет интегрировать внешние источники информации в процесс генерации текста большими языковыми моделями.",
      "citation_number": 3,
      "position": 9004
    },
    {
      "citation": "The ELI5 Guide to Retrieval Augmented Generation | Lakera – Protecting AI teams that disrupt the world. – URL: https://www.lakera.ai/blog/retrieval-augmented-generation (дата обращения: 27.01.2025). – Текст : электронный.",
      "context": "Рисунок 1 – Структурная схема подхода RAG [4]\n\nНа этапе индексации осуществляется предварительная обработка исходных документов, включающая их очистку и сегментацию на компактные смысловые фрагменты.",
      "citation_number": 4,
      "position": 9343
    },
    {
      "citation": "Retrieval-Augmented Generation for Large Language Models: A Survey. Retrieval-Augmented Generation for Large Language Models / Y. Gao, Y. Xiong, X. Gao,  [и др.] arXiv:2312.10997 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2312.10997 (дата обращения: 29.01.2025). – Текст : электронный.",
      "context": "Фрагменты преобразуются в векторные представления посредством модели векторизации (модели эмбеддингов), после чего сохраняются в специализированные векторные базы данных [5].",
      "citation_number": 5,
      "position": 9784
    },
    {
      "citation": "Retrieval-Augmented Generation for Large Language Models: A Survey. Retrieval-Augmented Generation for Large Language Models / Y. Gao, Y. Xiong, X. Gao,  [и др.] arXiv:2312.10997 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2312.10997 (дата обращения: 29.01.2025). – Текст : электронный.",
      "context": "Посредством вычисления метрик семантической близости (например, косинусного сходства) между вектором запроса и проиндексированными фрагментами осуществляется поиск наиболее релевантных фрагментов [5].",
      "citation_number": 5,
      "position": 10192
    },
    {
      "citation": "Retrieval-Augmented Generation for Large Language Models: A Survey. Retrieval-Augmented Generation for Large Language Models / Y. Gao, Y. Xiong, X. Gao,  [и др.] arXiv:2312.10997 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2312.10997 (дата обращения: 29.01.2025). – Текст : электронный.",
      "context": "На основе синтезированных данных LLM формирует итоговый ответ [5].",
      "citation_number": 5,
      "position": 10428
    },
    {
      "citation": "When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method. When Scaling Meets LLM Finetuning / B. Zhang, Z. Liu, C. Cherry, O. Firat arXiv:2402.17193 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2402.17193 (дата обращения: 28.01.2025). – Текст : электронный.",
      "context": "Однако эффективность данного метода напрямую зависит от качества и объема размеченных данных [6], а также от наличия вычислительных ресурсов, требуемых для дообучения [7].",
      "citation_number": 6,
      "position": 10949
    },
    {
      "citation": "LoRA: Low-Rank Adaptation of Large Language Models. LoRA / E. J. Hu, Y. Shen, P. Wallis,  [и др.] arXiv:2106.09685 [cs]. – arXiv, 2021. – URL: http://arxiv.org/abs/2106.09685 (дата обращения: 28.01.2025). – Текст : электронный.",
      "context": "Однако эффективность данного метода напрямую зависит от качества и объема размеченных данных [6], а также от наличия вычислительных ресурсов, требуемых для дообучения [7].",
      "citation_number": 7,
      "position": 11023
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Извлечение отдельных фрагментов ограничивает применение метода в задачах, требующих целостного понимания текста, когда релевантная информация распределена по множеству документов, а выводы требуют синтеза нескольких контекстов [8].",
      "citation_number": 8,
      "position": 12032
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Однако в практических сценариях необходимо получить глубокий анализ объемных документов, длина которых нередко превышает максимальный размер контекстного окна современных LLM [8].",
      "citation_number": 8,
      "position": 12564
    },
    {
      "citation": "In Search of Needles in a 11M Haystack: Recurrent Memory Finds What LLMs Miss. In Search of Needles in a 11M Haystack / Y. Kuratov, A. Bulatov, P. Anokhin,  [и др.] arXiv:2402.10790 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2402.10790 (дата обращения: 25.01.2025). – Текст : электронный.",
      "context": "Экспериментальные исследования демонстрируют, что доля правильных ответов модели                  GPT-4-Turbo с контекстным окном 16 тысяч токенов для фактов из среднего сегмента запроса ухудшается на 36% по сравнению с результатами, показанными моделью при анализе данных в начале запроса [9].",
      "citation_number": 9,
      "position": 13127
    },
    {
      "citation": "A Survey on Knowledge Graphs: Representation, Acquisition, and Applications / S. Ji, S. Pan, E. Cambria [и др.] // IEEE Transactions on Neural Networks and Learning Systems. – 2022. – Т. 33. – A Survey on Knowledge Graphs. – № 2. – С. 494-514.",
      "context": "Сущности могут быть как реальными объектами, так и абстрактными концепциями, отношения представляют связь между ними, а семантические описания включают типы и свойства сущностей и их отношений [10].",
      "citation_number": 10,
      "position": 13704
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Это особенно важно для задач, требующих комплексного анализа текста [8].",
      "citation_number": 8,
      "position": 14001
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "В частности, в исследовании Microsoft [8] предложен подход – GraphRAG, который использует графовую структуру для организации знаний и формирования более содержательных ответов.",
      "citation_number": 8,
      "position": 14122
    },
    {
      "citation": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "От качества индексирования графовых данных зависят скорость и точность поиска, а также обоснованность и релевантность сгенерированных ответов [11].",
      "citation_number": 11,
      "position": 16431
    },
    {
      "citation": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "В современных исследованиях рассматриваются различные стратегии поиска, включая однократное, итеративное и многоэтапное извлечение информации [11].",
      "citation_number": 11,
      "position": 16708
    },
    {
      "citation": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Различные уровни детализации обеспечивают баланс между полнотой информации и её релевантностью [11].",
      "citation_number": 11,
      "position": 16957
    },
    {
      "citation": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Такие методы минимизируют избыточность и повышают информативность ответов [11].",
      "citation_number": 11,
      "position": 17204
    },
    {
      "citation": "Vrandečić, D. Wikidata: a free collaborative knowledgebase / D. Vrandečić, M. Krötzsch // Commun. ACM. – 2014. – Т. 57. – Wikidata. – № 10. – С. 78-85.",
      "context": "К числу таких баз данных относятся: Wikidata [12], DBpedia [13] и YAGO [14].",
      "citation_number": 12,
      "position": 18529
    },
    {
      "citation": "DBpedia: A Nucleus for a Web of Open Data / S. Auer, C. Bizer, G. Kobilarov [et al.] // The Semantic Web / eds. K. Aberer [et al.]. – Berlin, Heidelberg : Springer, 2007. – DBpedia. – P. 722-735.",
      "context": "К числу таких баз данных относятся: Wikidata [12], DBpedia [13] и YAGO [14].",
      "citation_number": 13,
      "position": 18543
    },
    {
      "citation": "Suchanek, F. M. Yago: a core of semantic knowledge / F. M. Suchanek, G. Kasneci, G. Weikum. – Текст : электронный // Proceedings of the 16th international conference on World Wide Web : WWW ’07. – New York, NY, USA : Association for Computing Machinery, 2007. – Yago. – С. 697-706. – URL: https://doi.org/10.1145/1242572.1242667 (дата обращения: 05.02.2025).",
      "context": "К числу таких баз данных относятся: Wikidata [12], DBpedia [13] и YAGO [14].",
      "citation_number": 14,
      "position": 18555
    },
    {
      "citation": "Key-Value Memory Networks for Directly Reading Documents / A. Miller, A. Fisch, J. Dodge,  [и др.] arXiv:1606.03126 [cs]. – arXiv, 2016. – URL: http://arxiv.org/abs/1606.03126 (дата обращения: 03.02.2025). – Текст : электронный.",
      "context": "Для специализированных предметных областей так же существуют готовые базы знаний, например, Wiki-Movies [15] для киноиндустрии [11].",
      "citation_number": 15,
      "position": 18665
    },
    {
      "citation": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Для специализированных предметных областей так же существуют готовые базы знаний, например, Wiki-Movies [15] для киноиндустрии [11].",
      "citation_number": 11,
      "position": 18688
    },
    {
      "citation": "Trajanoska, M. Enhancing Knowledge Graph Construction Using Large Language Models / M. Trajanoska, R. Stojanov, D. Trajanov arXiv:2305.04676 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2305.04676 (дата обращения: 02.02.2025). – Текст : электронный.",
      "context": "В частности,  в исследовании [16] рассматриваются возможности использования LLM для повышения эффективности процесса извлечения элементов графов знаний из неструктурированных текстов.",
      "citation_number": 16,
      "position": 18962
    },
    {
      "citation": "Huguet Cabot, P.-L. REBEL: Relation Extraction By End-to-end Language generation / P.-L. Huguet Cabot, R. Navigli. – Текст : электронный // Findings of the Association for Computational Linguistics: EMNLP 2021 Findings 2021 / ред. M.-F. Moens [и др.]. – Punta Cana, Dominican Republic : Association for Computational Linguistics, 2021. – REBEL. – С. 2370-2381. – URL: https://aclanthology.org/2021.findings-emnlp.204/ (дата обращения: 03.02.2025).",
      "context": "Авторы проводят сравнительный анализ качества баз знаний, сформированных с использованием предварительно обученной модели для извлечения связей между сущностями REBEL (Relation Extraction By End-to-end Language generation) [17] и большой языковой модели GPT-4 [18].",
      "citation_number": 17,
      "position": 19340
    },
    {
      "citation": "GPT-4 Technical Report / OpenAI, J. Achiam, S. Adler,  [и др.] arXiv:2303.08774 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2303.08774 (дата обращения: 03.02.2025). – Текст : электронный.",
      "context": "Авторы проводят сравнительный анализ качества баз знаний, сформированных с использованием предварительно обученной модели для извлечения связей между сущностями REBEL (Relation Extraction By End-to-end Language generation) [17] и большой языковой модели GPT-4 [18].",
      "citation_number": 18,
      "position": 19377
    },
    {
      "citation": "Trajanoska, M. Enhancing Knowledge Graph Construction Using Large Language Models / M. Trajanoska, R. Stojanov, D. Trajanov arXiv:2305.04676 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2305.04676 (дата обращения: 02.02.2025). – Текст : электронный.",
      "context": "Авторы делают вывод о перспективности гибридного подхода, сочетающего преимущества рассмотренных моделей: высокая точность извлечения REBEL и гибкость в адаптации GPT-4 [16].",
      "citation_number": 16,
      "position": 20412
    },
    {
      "citation": "Exploring Large Language Models for Knowledge Graph Completion / L. Yao, J. Peng, C. Mao, Y. Luo arXiv:2308.13916 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2308.13916 (дата обращения: 03.02.2025). – Текст : электронный.",
      "context": "В другом исследовании [19] авторы используют LLM для дополнения графов знаний.",
      "citation_number": 19,
      "position": 20440
    },
    {
      "citation": "GLM: General Language Model Pretraining with Autoregressive Blank Infilling / Z. Du, Y. Qian, X. Liu [и др.]. – Текст : электронный // Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) ACL 2022 / ред. S. Muresan [и др.]. – Dublin, Ireland : Association for Computational Linguistics, 2022. – GLM. – С. 320-335. – URL: https://aclanthology.org/2022.acl-long.26/ (дата обращения: 03.02.2025).",
      "context": "Перед проведением экспериментов авторы выполнили дообучение моделей ChatGLM-6B [20] и LLaMA версий 1 и 2 [21] для вышеописанных задач.",
      "citation_number": 20,
      "position": 20992
    },
    {
      "citation": "LLaMA: Open and Efficient Foundation Language Models. LLaMA / H. Touvron, T. Lavril, G. Izacard,  [и др.] arXiv:2302.13971 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2302.13971 (дата обращения: 03.02.2025). – Текст : электронный.",
      "context": "Перед проведением экспериментов авторы выполнили дообучение моделей ChatGLM-6B [20] и LLaMA версий 1 и 2 [21] для вышеописанных задач.",
      "citation_number": 21,
      "position": 21018
    },
    {
      "citation": "GPT-4 Technical Report / OpenAI, J. Achiam, S. Adler,  [и др.] arXiv:2303.08774 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2303.08774 (дата обращения: 03.02.2025). – Текст : электронный.",
      "context": "Например, в задаче бинарной классификации триплетов модель KG-LLaMA-13B достигла доли правильных ответов 0,94, что соответствует значению метрики, полученному при использовании GPT-4 [18].",
      "citation_number": 18,
      "position": 21448
    },
    {
      "citation": "Exploring Large Language Models for Knowledge Graph Completion / L. Yao, J. Peng, C. Mao, Y. Luo arXiv:2308.13916 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2308.13916 (дата обращения: 03.02.2025). – Текст : электронный.",
      "context": "Таким образом, дообучение позволяет адаптировать модели с относительно небольшим числом параметров для задач дополнения графов знаний, что, в свою очередь, может повысить качество формирования графов при ограниченных вычислительных ресурсах [19].",
      "citation_number": 19,
      "position": 21695
    },
    {
      "citation": "Wadhwa, S. Revisiting Relation Extraction in the era of Large Language Models / S. Wadhwa, S. Amir, B. Wallace. – Текст : электронный // Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) ACL 2023 / ред. A. Rogers [и др.]. – Toronto, Canada : Association for Computational Linguistics, 2023. – С. 15566-15589. – URL: https://aclanthology.org/2023.acl-long.868/ (дата обращения: 02.02.2025).",
      "context": "В работе [22] авторы исследуют возможности LLM в задаче извлечения сущностей и отношений между ними.",
      "citation_number": 22,
      "position": 21710
    },
    {
      "citation": "Language Models are Few-Shot Learners / T. Brown, B. Mann, N. Ryder [и др.]. – Текст : электронный // Advances in Neural Information Processing Systems. – Curran Associates, Inc., 2020. – Т. 33. – С. 1877-1901. – URL: https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html (дата обращения: 03.02.2025).",
      "context": "Эксперименты проводились с использованием моделей GPT-3 [23] и Flan-T5 [24], а также с ведущими методами для данной задачи, в частности, c REBEL [17].",
      "citation_number": 23,
      "position": 21858
    },
    {
      "citation": "Scaling Instruction-Finetuned Language Models / H. W. Chung, L. Hou, S. Longpre,  [и др.] arXiv:2210.11416 [cs]. – arXiv, 2022. – URL: http://arxiv.org/abs/2210.11416 (дата обращения: 03.02.2025). – Текст : электронный.",
      "context": "Эксперименты проводились с использованием моделей GPT-3 [23] и Flan-T5 [24], а также с ведущими методами для данной задачи, в частности, c REBEL [17].",
      "citation_number": 24,
      "position": 21873
    },
    {
      "citation": "Huguet Cabot, P.-L. REBEL: Relation Extraction By End-to-end Language generation / P.-L. Huguet Cabot, R. Navigli. – Текст : электронный // Findings of the Association for Computational Linguistics: EMNLP 2021 Findings 2021 / ред. M.-F. Moens [и др.]. – Punta Cana, Dominican Republic : Association for Computational Linguistics, 2021. – REBEL. – С. 2370-2381. – URL: https://aclanthology.org/2021.findings-emnlp.204/ (дата обращения: 03.02.2025).",
      "context": "Эксперименты проводились с использованием моделей GPT-3 [23] и Flan-T5 [24], а также с ведущими методами для данной задачи, в частности, c REBEL [17].",
      "citation_number": 17,
      "position": 21947
    },
    {
      "citation": "Development of a benchmark corpus to support the automatic extraction of drug-related adverse effects from medical case reports : Text Mining and Natural Language Processing in Pharmacogenomics / H. Gurulingappa, A. M. Rajput, A. Roberts [и др.] // Journal of Biomedical Informatics. – 2012. – Т. 45. – № 5. – С. 885-892.",
      "context": "Оценка проводилась на 3 датасетах для извлечения сущностей и отношений: ADE [25], CoNLL [26] и NYT [27].",
      "citation_number": 25,
      "position": 22029
    },
    {
      "citation": "Roth, D. A Linear Programming Formulation for Global Inference in Natural Language Tasks / D. Roth, W. Yih. – Текст : электронный // Proceedings of the Eighth Conference on Computational Natural Language Learning (CoNLL-2004) at HLT-NAACL 2004 CoNLL-HLT 2004. – Boston, Massachusetts, USA : Association for Computational Linguistics, 2004. – С. 1-8. – URL: https://aclanthology.org/W04-2401/ (дата обращения: 25.02.2025).",
      "context": "Оценка проводилась на 3 датасетах для извлечения сущностей и отношений: ADE [25], CoNLL [26] и NYT [27].",
      "citation_number": 26,
      "position": 22041
    },
    {
      "citation": "Riedel, S. Modeling Relations and Their Mentions without Labeled Text / S. Riedel, L. Yao, A. McCallum // Machine Learning and Knowledge Discovery in Databases / eds. J. L. Balcázar [et al.]. – Berlin, Heidelberg : Springer, 2010. – P. 148-163.",
      "context": "Оценка проводилась на 3 датасетах для извлечения сущностей и отношений: ADE [25], CoNLL [26] и NYT [27].",
      "citation_number": 27,
      "position": 22052
    },
    {
      "citation": "Wadhwa, S. Revisiting Relation Extraction in the era of Large Language Models / S. Wadhwa, S. Amir, B. Wallace. – Текст : электронный // Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) ACL 2023 / ред. A. Rogers [и др.]. – Toronto, Canada : Association for Computational Linguistics, 2023. – С. 15566-15589. – URL: https://aclanthology.org/2023.acl-long.868/ (дата обращения: 02.02.2025).",
      "context": "В зависимости от задачи в запрос включались примеры извлечения сущностей и отношений в требуемом формате [22].",
      "citation_number": 22,
      "position": 22434
    },
    {
      "citation": "Wadhwa, S. Revisiting Relation Extraction in the era of Large Language Models / S. Wadhwa, S. Amir, B. Wallace. – Текст : электронный // Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) ACL 2023 / ред. A. Rogers [и др.]. – Toronto, Canada : Association for Computational Linguistics, 2023. – С. 15566-15589. – URL: https://aclanthology.org/2023.acl-long.868/ (дата обращения: 02.02.2025).",
      "context": "Это объясняется ограниченным числом примеров, включённых в запрос [22].",
      "citation_number": 22,
      "position": 22818
    },
    {
      "citation": "Wadhwa, S. Revisiting Relation Extraction in the era of Large Language Models / S. Wadhwa, S. Amir, B. Wallace. – Текст : электронный // Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) ACL 2023 / ред. A. Rogers [и др.]. – Toronto, Canada : Association for Computational Linguistics, 2023. – С. 15566-15589. – URL: https://aclanthology.org/2023.acl-long.868/ (дата обращения: 02.02.2025).",
      "context": "Данный результат превзошел показатели качества всех специализированных подходов, среди которых лучших результатов достиг REBEL – 0,75, 0,82 и 0,92 f1-micro [22].",
      "citation_number": 22,
      "position": 23273
    },
    {
      "citation": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "К основным методам индексации графов можно отнести:\nграфовое индексирование,\nтекстовое индексирование,\nвекторное индексирование [11].",
      "citation_number": 11,
      "position": 23851
    },
    {
      "citation": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Графовое индексирование является наиболее распространённым методом, поскольку позволяет сохранить полную структуру графа и эффективно интегрировать её в процессы генерации ответов LLM [11].",
      "citation_number": 11,
      "position": 24041
    },
    {
      "citation": "Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph. Think-on-Graph / J. Sun, C. Xu, L. Tang,  [и др.] arXiv:2307.07697 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2307.07697 (дата обращения: 05.02.2025). – Текст : электронный.",
      "context": "Например, в исследовании [28] был предложен метод Think-on-Graph (ToG), который позволяет LLM строить рассуждения на основе графов знаний.",
      "citation_number": 28,
      "position": 24153
    },
    {
      "citation": "Talmor, A. The Web as a Knowledge-Base for Answering Complex Questions / A. Talmor, J. Berant. – Текст : электронный // Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers) NAACL-HLT 2018 / ред. M. Walker [и др.]. – New Orleans, Louisiana : Association for Computational Linguistics, 2018. – С. 641-651. – URL: https://aclanthology.org/N18-1059/ (дата обращения: 05.02.2025).",
      "context": "Авторы протестировали данный метод на нескольких наборах данных, в частности на ComplexWebQuestions (CWQ) [29] и WebQSP [30].",
      "citation_number": 29,
      "position": 24373
    },
    {
      "citation": "The Value of Semantic Parse Labeling for Knowledge Base Question Answering / W. Yih, M. Richardson, C. Meek [и др.]. – Текст : электронный // Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers) ACL 2016 / ред. K. Erk, N. A. Smith. – Berlin, Germany : Association for Computational Linguistics, 2016. – С. 201-206. – URL: https://aclanthology.org/P16-2033/ (дата обращения: 05.02.2025).",
      "context": "Авторы протестировали данный метод на нескольких наборах данных, в частности на ComplexWebQuestions (CWQ) [29] и WebQSP [30].",
      "citation_number": 30,
      "position": 24387
    },
    {
      "citation": "GPT-4 Technical Report / OpenAI, J. Achiam, S. Adler,  [и др.] arXiv:2303.08774 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2303.08774 (дата обращения: 03.02.2025). – Текст : электронный.",
      "context": "Результаты экспериментов показали, что метод ToG с использованием GPT-4 [18] достиг 69,5% Hits@1 для набора CWQ и 82,6% для набора WebQSP, что сопоставимо с лучшими современными подходами.",
      "citation_number": 18,
      "position": 24948
    },
    {
      "citation": "DecAF: Joint Decoding of Answers and Logical Forms for Question Answering over Knowledge Bases. DecAF / D. Yu, S. Zhang, P. Ng,  [и др.] arXiv:2210.00063 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2210.00063 (дата обращения: 05.02.2025). – Текст : электронный.",
      "context": "Метод DeCAF [31] продемонстрировал результаты 70,4% и 82,1% для наборов CWQ и WebQSP соответственно [28].",
      "citation_number": 31,
      "position": 25077
    },
    {
      "citation": "Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph. Think-on-Graph / J. Sun, C. Xu, L. Tang,  [и др.] arXiv:2307.07697 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2307.07697 (дата обращения: 05.02.2025). – Текст : электронный.",
      "context": "Метод DeCAF [31] продемонстрировал результаты 70,4% и 82,1% для наборов CWQ и WebQSP соответственно [28].",
      "citation_number": 28,
      "position": 25165
    },
    {
      "citation": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Описания могут создаваться как для отдельных сущностей, так и для триплетов или даже подграфов [11].",
      "citation_number": 11,
      "position": 25548
    },
    {
      "citation": "Graph Reasoning for Question Answering with Triplet Retrieval / S. Li, Y. Gao, H. Jiang [и др.]. – Текст : электронный // Findings of the Association for Computational Linguistics: ACL 2023 Findings 2023 / ред. A. Rogers [и др.]. – Toronto, Canada : Association for Computational Linguistics, 2023. – С. 3366-3375. – URL: https://aclanthology.org/2023.findings-acl.208/ (дата обращения: 06.02.2025).",
      "context": "В исследовании [32] предложен подход для эффективного извлечения релевантных триплетов из графа знаний для ответа на вопросы с вариантами ответов.",
      "citation_number": 32,
      "position": 25569
    },
    {
      "citation": "Okapi at TREC-3 / S. Robertson, S. Walker, S. Jones [и др.]. – Текст : электронный // Text Retrieval Conference. – 1994. – URL: https://www.semanticscholar.org/paper/Okapi-at-TREC-3-Robertson-Walker/fa8ffa9f8d8367b987845ae88f2adcac2689f110 (дата обращения: 25.02.2025).",
      "context": "Для отбора релевантных триплетов применяется гибридный метод, включающий разреженный поиск с использованием алгоритма BM25 [33], а также плотный семантический поиск с применением Dense Passage Retriever (DPR) [34].",
      "citation_number": 33,
      "position": 26039
    },
    {
      "citation": "Dense Passage Retrieval for Open-Domain Question Answering / V. Karpukhin, B. Oguz, S. Min [и др.]. – Текст : электронный // Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) EMNLP 2020 / ред. B. Webber [и др.]. – Online : Association for Computational Linguistics, 2020. – С. 6769-6781. – URL: https://aclanthology.org/2020.emnlp-main.550/ (дата обращения: 25.02.2025).",
      "context": "Для отбора релевантных триплетов применяется гибридный метод, включающий разреженный поиск с использованием алгоритма BM25 [33], а также плотный семантический поиск с применением Dense Passage Retriever (DPR) [34].",
      "citation_number": 34,
      "position": 26125
    },
    {
      "citation": "Graph Reasoning for Question Answering with Triplet Retrieval / S. Li, Y. Gao, H. Jiang [и др.]. – Текст : электронный // Findings of the Association for Computational Linguistics: ACL 2023 Findings 2023 / ред. A. Rogers [и др.]. – Toronto, Canada : Association for Computational Linguistics, 2023. – С. 3366-3375. – URL: https://aclanthology.org/2023.findings-acl.208/ (дата обращения: 06.02.2025).",
      "context": "На этапе предсказаний модель вычисляет оценки для каждого варианта ответа и выдает ответ с наибольшей оценкой [32].",
      "citation_number": 32,
      "position": 26893
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Кроме того, в работе [8] предложен метод, при котором сначала с использованием LLM извлекаются элементы графа (сущности и отношения).",
      "citation_number": 8,
      "position": 26920
    },
    {
      "citation": "Traag, V. A. From Louvain to Leiden: guaranteeing well-connected communities / V. A. Traag, L. Waltman, N. J. van Eck // Scientific Reports. – 2019. – Vol. 9. – From Louvain to Leiden. – № 1. – P. 5233.",
      "context": "Сообщества формируются при помощи алгоритма Лейдена [35], который позволяет представить граф в виде иерархической структуры.",
      "citation_number": 35,
      "position": 27466
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "На следующем этапе каждому сообществу присваивается текстовая аннотация, поясняющая его содержание [8].",
      "citation_number": 8,
      "position": 27638
    },
    {
      "citation": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Векторная индексация предполагает преобразование графовых данных в векторные представления, что повышает скорость извлечения информации и эффективность обработки запросов [11].",
      "citation_number": 11,
      "position": 27814
    },
    {
      "citation": "G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering. G-Retriever / X. He, Y. Tian, Y. Sun,  [и др.] arXiv:2402.07630 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2402.07630 (дата обращения: 06.02.2025). – Текст : электронный.",
      "context": "Примером реализации векторной индексации является исследование [36].",
      "citation_number": 36,
      "position": 27884
    },
    {
      "citation": "Reimers, N. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Sentence-BERT / N. Reimers, I. Gurevych arXiv:1908.10084 [cs]. – arXiv, 2019. – URL: http://arxiv.org/abs/1908.10084 (дата обращения: 06.02.2025). – Текст : электронный.",
      "context": "В данной работе авторы преобразуют текстовые атрибуты каждого элемента графа в векторное представление с использованием предварительно обученной модели SentenceBert [37].",
      "citation_number": 37,
      "position": 28055
    },
    {
      "citation": "A note on the prize collecting traveling salesman problem / D. Bienstock, M. X. Goemans, D. Simchi-Levi, D. Williamson // Mathematical Programming. – 1993. – Vol. 59. – № 1-3. – P. 413-420.",
      "context": "На следующем этапе, с использованием алгоритма Prize-Collecting Steiner Tree (PCST) [38], формируется оптимальный подграф на основе извлеченных сущностей и отношений.",
      "citation_number": 38,
      "position": 28346
    },
    {
      "citation": "G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering. G-Retriever / X. He, Y. Tian, Y. Sun,  [и др.] arXiv:2402.07630 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2402.07630 (дата обращения: 06.02.2025). – Текст : электронный.",
      "context": "Целью этого этапа является исключение нерелевантной информации, которая может ухудшить качество последующей генерации LLM [36].",
      "citation_number": 36,
      "position": 28551
    },
    {
      "citation": "G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering. G-Retriever / X. He, Y. Tian, Y. Sun,  [и др.] arXiv:2402.07630 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2402.07630 (дата обращения: 06.02.2025). – Текст : электронный.",
      "context": "На выходе формируется векторное представление запроса, дополненное информацией из подграфа [36].",
      "citation_number": 36,
      "position": 28999
    },
    {
      "citation": "G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering. G-Retriever / X. He, Y. Tian, Y. Sun,  [и др.] arXiv:2402.07630 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2402.07630 (дата обращения: 06.02.2025). – Текст : электронный.",
      "context": "В процессе обучения сети оптимизируются параметры как графовой, так и полносвязной нейронных сетей, что позволяет повысить точность генерации ответов [36].",
      "citation_number": 36,
      "position": 29280
    },
    {
      "citation": "HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction / B. Sarmah, D. Mehta, B. Hall [и др.]. – Текст : электронный // Proceedings of the 5th ACM International Conference on AI in Finance : ICAIF ’24. – New York, NY, USA : Association for Computing Machinery, 2024. – HybridRAG. – С. 608-616. – URL: https://doi.org/10.1145/3677052.3698671 (дата обращения: 11.02.2025).",
      "context": "Однако современные исследования всё чаще обращаются к гибридным подходам, которые объединяют преимущества каждого из этих методов [39].",
      "citation_number": 39,
      "position": 29705
    },
    {
      "citation": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Многоступенчатый поиск также включает несколько шагов, однако на каждом из них могут применяются различные алгоритмы [11].",
      "citation_number": 11,
      "position": 30785
    },
    {
      "citation": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Кроме того, существуют методы множественного поиска, при которых исходный запрос декомпозируется на несколько подзапросов, и для каждого из них производится однократное извлечение релевантных данных [11].",
      "citation_number": 11,
      "position": 31366
    },
    {
      "citation": "HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models. HippoRAG / B. J. Gutiérrez, Y. Shu, Y. Gu,  [и др.] arXiv:2405.14831 [cs]. – arXiv, 2025. – URL: http://arxiv.org/abs/2405.14831 (дата обращения: 10.02.2025). – Текст : электронный.",
      "context": "Примером применения стратегии однократного поиска является метод HippoRAG [40].",
      "citation_number": 40,
      "position": 31446
    },
    {
      "citation": "Haveliwala, T. H. Topic-sensitive PageRank / T. H. Haveliwala. – Текст : электронный // Proceedings of the 11th international conference on World Wide Web : WWW ’02. – New York, NY, USA : Association for Computing Machinery, 2002. – С. 517-526. – URL: https://doi.org/10.1145/511446.511513 (дата обращения: 10.02.2025).",
      "context": "После этого применяется алгоритм Personalized PageRank (PPR) [41], позволяющий вычислить распределение вероятностей релевантности не только для выбранных узлов, но и для их соседей.",
      "citation_number": 41,
      "position": 32295
    },
    {
      "citation": "HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models. HippoRAG / B. J. Gutiérrez, Y. Shu, Y. Gu,  [и др.] arXiv:2405.14831 [cs]. – arXiv, 2025. – URL: http://arxiv.org/abs/2405.14831 (дата обращения: 10.02.2025). – Текст : электронный.",
      "context": "Найденное распределение умножается на сформированную ранее матрицу , что позволяет получить оценку релевантности исходных документов [40].",
      "citation_number": 40,
      "position": 32549
    },
    {
      "citation": "Constructing A Multi-hop QA Dataset for Comprehensive Evaluation of Reasoning Steps / X. Ho, A.-K. D. Nguyen, S. Sugawara, A. Aizawa arXiv:2011.01060 [cs]. – arXiv, 2020. – URL: http://arxiv.org/abs/2011.01060 (дата обращения: 11.02.2025). – Текст : электронный.",
      "context": "В частности, на датасете 2WikiMultiHopQA [42] было зафиксировано повышение метрики recall@5 до 20%.",
      "citation_number": 42,
      "position": 32723
    },
    {
      "citation": "Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions / H. Trivedi, N. Balasubramanian, T. Khot, A. Sabharwal. – Текст : электронный // Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) ACL 2023 / ред. A. Rogers [и др.]. – Toronto, Canada : Association for Computational Linguistics, 2023. – С. 10014-10037. – URL: https://aclanthology.org/2023.acl-long.557/ (дата обращения: 11.02.2025).",
      "context": "При этом HippoRAG обладает высокой вычислительной экономичностью: однократное извлечение релевантной информации оказалось в 10–30 раз дешевле и 6–13 раз быстрее по сравнению с итеративными методами (например, IRCoT [43]) при сопоставимом качестве результата [40].",
      "citation_number": 43,
      "position": 32997
    },
    {
      "citation": "HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models. HippoRAG / B. J. Gutiérrez, Y. Shu, Y. Gu,  [и др.] arXiv:2405.14831 [cs]. – arXiv, 2025. – URL: http://arxiv.org/abs/2405.14831 (дата обращения: 10.02.2025). – Текст : электронный.",
      "context": "При этом HippoRAG обладает высокой вычислительной экономичностью: однократное извлечение релевантной информации оказалось в 10–30 раз дешевле и 6–13 раз быстрее по сравнению с итеративными методами (например, IRCoT [43]) при сопоставимом качестве результата [40].",
      "citation_number": 40,
      "position": 33040
    },
    {
      "citation": "QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering. – URL: https://arxiv.org/abs/2104.06378v5 (дата обращения: 11.02.2025). – Текст : электронный.",
      "context": "Примером подхода к извлечению информации, включающим определенные правила для извлечения структурированной информации, является метод QA-GNN, представленный в работе [44].",
      "citation_number": 44,
      "position": 33212
    },
    {
      "citation": "QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering. – URL: https://arxiv.org/abs/2104.06378v5 (дата обращения: 11.02.2025). – Текст : электронный.",
      "context": "После этого из базы знаний извлекается подграф, включающий все вершины, расположенные в пределах окрестности обнаруженных сущностей [44].",
      "citation_number": 44,
      "position": 33794
    },
    {
      "citation": "QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering. – URL: https://arxiv.org/abs/2104.06378v5 (дата обращения: 11.02.2025). – Текст : электронный.",
      "context": "Этот узел соединяется с ключевыми сущностями особыми типами связей, указывающими на то, относится ли узел к части вопроса или к предполагаемому ответу [44].",
      "citation_number": 44,
      "position": 34251
    },
    {
      "citation": "QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering. – URL: https://arxiv.org/abs/2104.06378v5 (дата обращения: 11.02.2025). – Текст : электронный.",
      "context": "Обучение языковой модели и графовой нейронной сети осуществляется с использованием категориальной кросс-энтропии [44].",
      "citation_number": 44,
      "position": 34869
    },
    {
      "citation": "CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge / A. Talmor, J. Herzig, N. Lourie, J. Berant. – Текст : электронный // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) NAACL-HLT 2019 / ред. J. Burstein [и др.]. – Minneapolis, Minnesota : Association for Computational Linguistics, 2019. – CommonsenseQA. – С. 4149-4158. – URL: https://aclanthology.org/N19-1421/ (дата обращения: 11.02.2025).",
      "context": "Обучение языковой модели и графовой нейронной сети осуществляется с использованием категориальной кросс-энтропии [44]. Например, на наборе данных CommonsenseQA [45].",
      "citation_number": 45,
      "position": 34993
    },
    {
      "citation": "RoBERTa: A Robustly Optimized BERT Pretraining Approach. RoBERTa / Y. Liu, M. Ott, N. Goyal,  [и др.] arXiv:1907.11692 [cs]. – arXiv, 2019. – URL: http://arxiv.org/abs/1907.11692 (дата обращения: 11.02.2025). – Текст : электронный.",
      "context": "Авторы достигли увеличения доли правильных ответов на 4,7% относительно модели RoBERTa [46] и на 2,3% относительно подхода MHGRN [47].",
      "citation_number": 46,
      "position": 35086
    },
    {
      "citation": "Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering / Y. Feng, X. Chen, B. Y. Lin [и др.]. – Текст : электронный // Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) EMNLP 2020 / ред. B. Webber [и др.]. – Online : Association for Computational Linguistics, 2020. – С. 1295-1309. – URL: https://aclanthology.org/2020.emnlp-main.99/ (дата обращения: 11.02.2025).",
      "context": "Авторы достигли увеличения доли правильных ответов на 4,7% относительно модели RoBERTa [46] и на 2,3% относительно подхода MHGRN [47].",
      "citation_number": 47,
      "position": 35128
    },
    {
      "citation": "KG-GPT: A General Framework for Reasoning on Knowledge Graphs Using Large Language Models. KG-GPT / J. Kim, Y. Kwon, Y. Jo, E. Choi arXiv:2310.11220 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2310.11220 (дата обращения: 11.02.2025). – Текст : электронный.",
      "context": "Примером использования нескольких подзапросов является исследование [48].",
      "citation_number": 48,
      "position": 35203
    },
    {
      "citation": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Адаптивные методы характеризуются способностью моделей динамически определять момент завершения процесса извлечения, а неадаптивные методы выполняются строгое количество итераций [11].",
      "citation_number": 11,
      "position": 36222
    },
    {
      "citation": "Knowledge graph prompting for multi-document question answering / Y. Wang, N. Lipka, R. A. Rossi [и др.]. – Текст : электронный // Proceedings of the Thirty-Eighth AAAI Conference on Artificial Intelligence and Thirty-Sixth Conference on Innovative Applications of Artificial Intelligence and Fourteenth Symposium on Educational Advances in Artificial Intelligence : AAAI’24/IAAI’24/EAAI’24. – AAAI Press, 2024. – Т. 38. – С. 19206-19214. – URL: https://doi.org/10.1609/aaai.v38i17.29889 (дата обращения: 11.02.2025).",
      "context": "Метод Knowledge Graph Prompting (KGP) [49] является примером неадаптивного подхода к поиску релевантной информации в графах знаний.",
      "citation_number": 49,
      "position": 36266
    },
    {
      "citation": "Knowledge graph prompting for multi-document question answering / Y. Wang, N. Lipka, R. A. Rossi [и др.]. – Текст : электронный // Proceedings of the Thirty-Eighth AAAI Conference on Artificial Intelligence and Thirty-Sixth Conference on Innovative Applications of Artificial Intelligence and Fourteenth Symposium on Educational Advances in Artificial Intelligence : AAAI’24/IAAI’24/EAAI’24. – AAAI Press, 2024. – Т. 38. – С. 19206-19214. – URL: https://doi.org/10.1609/aaai.v38i17.29889 (дата обращения: 11.02.2025).",
      "context": "На завершающем этапе все извлеченные текстовые фрагменты и исходный запрос подаются на вход LLM для формирования окончательного ответа [49].",
      "citation_number": 49,
      "position": 37453
    },
    {
      "citation": "Knowledge graph prompting for multi-document question answering / Y. Wang, N. Lipka, R. A. Rossi [и др.]. – Текст : электронный // Proceedings of the Thirty-Eighth AAAI Conference on Artificial Intelligence and Thirty-Sixth Conference on Innovative Applications of Artificial Intelligence and Fourteenth Symposium on Educational Advances in Artificial Intelligence : AAAI’24/IAAI’24/EAAI’24. – AAAI Press, 2024. – Т. 38. – С. 19206-19214. – URL: https://doi.org/10.1609/aaai.v38i17.29889 (дата обращения: 11.02.2025).",
      "context": "Если запрос относится к конкретной странице, в модель передаются все текстовые фрагменты, расположенные на ней [49].",
      "citation_number": 49,
      "position": 37655
    },
    {
      "citation": "MuSiQue: Multihop Questions via Single-hop Question Composition / H. Trivedi, N. Balasubramanian, T. Khot, A. Sabharwal // Transactions of the Association for Computational Linguistics. – 2022. – Т. 10. – ♫ MuSiQue. – С. 539-554.",
      "context": "На наборе данных MuSiQue [50] предложенный подход продемонстрировал значение метрики f1-score – 41,19%, что превышает показатели следующего по качеству метода multi-hop dense retriever (MDR) [51], достигшего значения 37,03% [49].",
      "citation_number": 50,
      "position": 37755
    },
    {
      "citation": "Answering Complex Open-Domain Questions with Multi-Hop Dense Retrieval / W. Xiong, X. L. Li, S. Iyer,  [и др.] arXiv:2009.12756 [cs]. – arXiv, 2021. – URL: http://arxiv.org/abs/2009.12756 (дата обращения: 12.02.2025). – Текст : электронный.",
      "context": "На наборе данных MuSiQue [50] предложенный подход продемонстрировал значение метрики f1-score – 41,19%, что превышает показатели следующего по качеству метода multi-hop dense retriever (MDR) [51], достигшего значения 37,03% [49].",
      "citation_number": 51,
      "position": 37921
    },
    {
      "citation": "Knowledge graph prompting for multi-document question answering / Y. Wang, N. Lipka, R. A. Rossi [и др.]. – Текст : электронный // Proceedings of the Thirty-Eighth AAAI Conference on Artificial Intelligence and Thirty-Sixth Conference on Innovative Applications of Artificial Intelligence and Fourteenth Symposium on Educational Advances in Artificial Intelligence : AAAI’24/IAAI’24/EAAI’24. – AAAI Press, 2024. – Т. 38. – С. 19206-19214. – URL: https://doi.org/10.1609/aaai.v38i17.29889 (дата обращения: 11.02.2025).",
      "context": "На наборе данных MuSiQue [50] предложенный подход продемонстрировал значение метрики f1-score – 41,19%, что превышает показатели следующего по качеству метода multi-hop dense retriever (MDR) [51], достигшего значения 37,03% [49].",
      "citation_number": 49,
      "position": 37954
    },
    {
      "citation": "Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs. Graph Chain-of-Thought / B. Jin, C. Xie, J. Zhang,  [и др.] arXiv:2404.07103 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.07103 (дата обращения: 12.02.2025). – Текст : электронный.",
      "context": "Примером адаптивного подхода итеративного поиска является Graph Chain-of-Thought (Graph-COT) [52], разработанный для выполнения рассуждений на основе графов знаний.",
      "citation_number": 52,
      "position": 38580
    },
    {
      "citation": "Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs. Graph Chain-of-Thought / B. Jin, C. Xie, J. Zhang,  [и др.] arXiv:2404.07103 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.07103 (дата обращения: 12.02.2025). – Текст : электронный.",
      "context": "Для работы с графами авторы метода используют четыре функции:\nопределение необходимых узлов в графе знаний посредством поиска по семантической близости,\nизвлечение текстовой информации для конкретного узла,\nполучение сведений о соседних узлах,\nвозврат количества связей с определённым типом соседей для указанного узла [52].",
      "citation_number": 52,
      "position": 39447
    },
    {
      "citation": "Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs. Graph Chain-of-Thought / B. Jin, C. Xie, J. Zhang,  [и др.] arXiv:2404.07103 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.07103 (дата обращения: 12.02.2025). – Текст : электронный.",
      "context": "Реализация метода Graph-COT обеспечивается за счёт использования контекстного обучения, при котором в контекст LLM дополнительно передаётся информация, описывающая структуру графа знаний [52].",
      "citation_number": 52,
      "position": 39976
    },
    {
      "citation": "Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs. Graph Chain-of-Thought / B. Jin, C. Xie, J. Zhang,  [и др.] arXiv:2404.07103 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.07103 (дата обращения: 12.02.2025). – Текст : электронный.",
      "context": "Взаимодействие с графом осуществляется посредством вышеописанных функций (инструментов) [52].",
      "citation_number": 52,
      "position": 40217
    },
    {
      "citation": "Language is All a Graph Needs / R. Ye, C. Zhang, R. Wang [и др.]. – Текст : электронный // Findings of the Association for Computational Linguistics: EACL 2024 Findings 2024 / ред. Y. Graham, M. Purver. – St. Julian’s, Malta : Association for Computational Linguistics, 2024. – С. 1955-1973. – URL: https://aclanthology.org/2024.findings-eacl.132/ (дата обращения: 12.02.2025).",
      "context": "Авторы сравнивают эффективность Graph-COT с классическим подходом RAG и методом с интеграцией графов знаний InstructGLM [53].",
      "citation_number": 53,
      "position": 40659
    },
    {
      "citation": "Lin, C.-Y. ROUGE: A Package for Automatic Evaluation of Summaries / C.-Y. Lin. – Текст : электронный // Text Summarization Branches Out. – Barcelona, Spain : Association for Computational Linguistics, 2004. – ROUGE. – С. 74-81. – URL: https://aclanthology.org/W04-1013/ (дата обращения: 22.02.2025).",
      "context": "Для оценки качества ответов авторы используют метрику, основанную на последовательностях слов – Rouge-L [54] и метрику, основанную на оценке LLM – GPT4score.",
      "citation_number": 54,
      "position": 40769
    },
    {
      "citation": "Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs. Graph Chain-of-Thought / B. Jin, C. Xie, J. Zhang,  [и др.] arXiv:2404.07103 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.07103 (дата обращения: 12.02.2025). – Текст : электронный.",
      "context": "5turbo16k позволило достичь значений метрик RougeL и GPT4score, равных 42,4 % и 44,5 % соответственно, в то время как метод InstructGLM с моделью Mixtral8x7b продемонстрировал результаты 32,87 % и 37 % [52].",
      "citation_number": 52,
      "position": 41281
    },
    {
      "citation": "Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering. Reasoning on Efficient Knowledge Paths / Y. Wang, B. Jiang, Y. Luo,  [и др.] arXiv:2404.10384 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.10384 (дата обращения: 12.02.2025). – Текст : электронный.",
      "context": "Пример данного подхода реализован в Reasoning on Efficient Knowledge Paths (RoK) [55].",
      "citation_number": 55,
      "position": 41866
    },
    {
      "citation": "Knowledge graph prompting for multi-document question answering / Y. Wang, N. Lipka, R. A. Rossi [и др.]. – Текст : электронный // Proceedings of the Thirty-Eighth AAAI Conference on Artificial Intelligence and Thirty-Sixth Conference on Innovative Applications of Artificial Intelligence and Fourteenth Symposium on Educational Advances in Artificial Intelligence : AAAI’24/IAAI’24/EAAI’24. – AAAI Press, 2024. – Т. 38. – С. 19206-19214. – URL: https://doi.org/10.1609/aaai.v38i17.29889 (дата обращения: 11.02.2025).",
      "context": "Примером подхода с извлечением узлов графа, содержащих текстовые фрагменты является ранее описанный метод Knowledge Graph Prompting, в котором итеративно осуществляется поиск и извлечение релевантных текстовых фрагментов [49].",
      "citation_number": 49,
      "position": 44481
    },
    {
      "citation": "HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models. HippoRAG / B. J. Gutiérrez, Y. Shu, Y. Gu,  [и др.] arXiv:2405.14831 [cs]. – arXiv, 2025. – URL: http://arxiv.org/abs/2405.14831 (дата обращения: 10.02.2025). – Текст : электронный.",
      "context": "В подходе HippoRAG производится извлечение отдельных сущностей, что позволяет оценить релевантность текстовых фрагментов, которые необходимо включить в контекст совместно с исходным запросом [40].",
      "citation_number": 40,
      "position": 44678
    },
    {
      "citation": "KG-Rank: Enhancing Large Language Models for Medical QA with Knowledge Graphs and Ranking Techniques / R. Yang, H. Liu, E. Marrese-Taylor [и др.]. – Текст : электронный // Proceedings of the 23rd Workshop on Biomedical Natural Language Processing / ред. D. Demner-Fushman [и др.]. – Bangkok, Thailand : Association for Computational Linguistics, 2024. – KG-Rank. – С. 155-166. – URL: https://aclanthology.org/2024.bionlp-1.13/ (дата обращения: 13.02.2025).",
      "context": "Данный подход к извлечению информации используется в методе KG-Rank, в котором с использованием ранжирования выделяются наиболее релевантные запросу триплеты из графа знаний медицинской тематики [56].",
      "citation_number": 56,
      "position": 45011
    },
    {
      "citation": "Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph. Think-on-Graph / J. Sun, C. Xu, L. Tang,  [и др.] arXiv:2307.07697 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2307.07697 (дата обращения: 05.02.2025). – Текст : электронный.",
      "context": "Извлечение путей из графа знаний используется в методах TOG [28] и TOG-2 [57].",
      "citation_number": 28,
      "position": 45411
    },
    {
      "citation": "Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation / S. Ma, C. Xu, X. Jiang [et al.]. – Текст : электронный // The Thirteenth International Conference on Learning Representations. – 2024. – Think-on-Graph 2.0. – URL: https://openreview.net/forum?id=oFBu7qaZpS (дата обращения: 13.02.2025).",
      "context": "Извлечение путей из графа знаний используется в методах TOG [28] и TOG-2 [57].",
      "citation_number": 57,
      "position": 45424
    },
    {
      "citation": "G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering. G-Retriever / X. He, Y. Tian, Y. Sun,  [и др.] arXiv:2402.07630 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2402.07630 (дата обращения: 06.02.2025). – Текст : электронный.",
      "context": "Примером, использующим данный подход к извлечению информации является G-Retriever [36].",
      "citation_number": 36,
      "position": 45843
    },
    {
      "citation": "A note on the prize collecting traveling salesman problem / D. Bienstock, M. X. Goemans, D. Simchi-Levi, D. Williamson // Mathematical Programming. – 1993. – Vol. 59. – № 1-3. – P. 413-420.",
      "context": "В данном методе элементы оптимального подграфа извлекаются с использованием косинусной близости с текстом запроса и дополнительно фильтруются с использованием алгоритма PCST [38].",
      "citation_number": 38,
      "position": 46023
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "В данном разделе будет рассмотрен наиболее популярный фреймворк Microsoft GraphRAG [8], а в качестве альтернативы будет рассмотрен LightRAG [58].",
      "citation_number": 8,
      "position": 46906
    },
    {
      "citation": "LightRAG: Simple and Fast Retrieval-Augmented Generation. LightRAG / Z. Guo, L. Xia, Y. Yu,  [и др.] arXiv:2410.05779 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2410.05779 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "В данном разделе будет рассмотрен наиболее популярный фреймворк Microsoft GraphRAG [8], а в качестве альтернативы будет рассмотрен LightRAG [58].",
      "citation_number": 58,
      "position": 46963
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "В результате получается граф, где сущности представлены узлами, а отношения – ребрами с весами, отражающими частоту упоминаний в исходных документах [8].",
      "citation_number": 8,
      "position": 47615
    },
    {
      "citation": "Traag, V. A. From Louvain to Leiden: guaranteeing well-connected communities / V. A. Traag, L. Waltman, N. J. van Eck // Scientific Reports. – 2019. – Vol. 9. – From Louvain to Leiden. – № 1. – P. 5233.",
      "context": "Затем сущности объединяются в сообщества с применением алгоритма Лейдена [35], что способствует формированию иерархической структуры графа знаний.",
      "citation_number": 35,
      "position": 47693
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Верхнеуровневые сообщества позволяют анализировать глобальную структуру графа, в то время как низкоуровневые обеспечивают детализированное представление его компонентов [8].",
      "citation_number": 8,
      "position": 48055
    },
    {
      "citation": "Welcome - GraphRAG. – URL: https://microsoft.github.io/graphrag/ (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Этап индексации завершается созданием векторных представлений для фрагментов документов, описаний сущностей, а также отчетов сообществ [59].",
      "citation_number": 59,
      "position": 48195
    },
    {
      "citation": "Welcome - GraphRAG. – URL: https://microsoft.github.io/graphrag/ (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Комбинированный поиск совмещает оба подхода, обеспечивая как глубокий анализ отдельных объектов, так и целостное восприятие данных [59].",
      "citation_number": 59,
      "position": 48596
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "В качестве экспериментальных данных использовались транскрибированные записи подкастов и тексты новостных статей [8].",
      "citation_number": 8,
      "position": 48919
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Оценка производилась с помощью запросов к LLM по следующим критериям: полнота, разнообразие, полезность в принятии решений, прямота ответа [8].",
      "citation_number": 8,
      "position": 49155
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "По метрике разнообразия ответов Microsoft GraphRAG показал лучшие результаты в 78% случаев на текстах подкастов и в 67% случаев на текстах новостных статей [8].",
      "citation_number": 8,
      "position": 49630
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Однако данный метод требует значительно больших вычислительных ресурсов для извлечения и расширения контекста исходных запросов [8].",
      "citation_number": 8,
      "position": 49908
    },
    {
      "citation": "LightRAG: Simple and Fast Retrieval-Augmented Generation. LightRAG / Z. Guo, L. Xia, Y. Yu,  [и др.] arXiv:2410.05779 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2410.05779 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "В отношениях ключи отражают глобальные темы, а значением служит поясняющий фрагмент текста [58].",
      "citation_number": 58,
      "position": 50595
    },
    {
      "citation": "Lab@HKU, D. I. HKUDS/LightRAG / D. I. Lab@HKU. – 2025. – URL: https://github.com/HKUDS/LightRAG (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "На завершающем этапе индексации LightRAG осуществляется векторизация исходных документов, а также описательных данных для сущностей и отношений [60].",
      "citation_number": 60,
      "position": 50745
    },
    {
      "citation": "LightRAG: Simple and Fast Retrieval-Augmented Generation. LightRAG / Z. Guo, L. Xia, Y. Yu,  [и др.] arXiv:2410.05779 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2410.05779 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "LightRAG, подобно Microsoft GraphRAG, поддерживает различные механизмы поиска информации в графе знаний, предназначенные для запросов, требующих разный уровень детализации [58].",
      "citation_number": 58,
      "position": 50923
    },
    {
      "citation": "LightRAG: Simple and Fast Retrieval-Augmented Generation. LightRAG / Z. Guo, L. Xia, Y. Yu,  [и др.] arXiv:2410.05779 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2410.05779 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Оценка качества ответов проводилась с использованием LLM [58].",
      "citation_number": 58,
      "position": 51290
    },
    {
      "citation": "MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery. MemoRAG / H. Qian, P. Zhang, Z. Liu,  [и др.] arXiv:2409.05591 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2409.05591 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Эксперименты проводились на нескольких наборах данных из UltraDomain [61].",
      "citation_number": 61,
      "position": 51365
    },
    {
      "citation": "LightRAG: Simple and Fast Retrieval-Augmented Generation. LightRAG / Z. Guo, L. Xia, Y. Yu,  [и др.] arXiv:2410.05779 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2410.05779 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "В частности, на наборе данных по сельскому хозяйству LightRAG превзошел Microsoft GraphRAG в 54,4% случаев по полноте, в 77,2% по разнообразию, в 58,8% по полезности в принятии решений и в 54,8% по совокупной метрике [58].",
      "citation_number": 58,
      "position": 51699
    },
    {
      "citation": "LightRAG: Simple and Fast Retrieval-Augmented Generation. LightRAG / Z. Guo, L. Xia, Y. Yu,  [и др.] arXiv:2410.05779 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2410.05779 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Например, на наборе данных по сельскому хозяйству LightRAG превзошел классический RAG по совокупной метрике в среднем в 68% случаев [58].",
      "citation_number": 58,
      "position": 52235
    },
    {
      "citation": "MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery. MemoRAG / H. Qian, P. Zhang, Z. Liu,  [и др.] arXiv:2409.05591 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2409.05591 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Дополнительно авторы отмечают экономичность LightRAG при выполнении глобального поиска относительно Microsoft GraphRAG на юридическом наборе данных из UltraDomain [61].",
      "citation_number": 61,
      "position": 52404
    },
    {
      "citation": "LightRAG: Simple and Fast Retrieval-Augmented Generation. LightRAG / Z. Guo, L. Xia, Y. Yu,  [и др.] arXiv:2410.05779 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2410.05779 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Для извлечения ключевых тем из запроса LightRAG использует менее 100 токенов, тогда как Microsoft GraphRAG формирует промежуточные ответы для каждого сообщества, что приводит к расходу около 610000 токенов [58].",
      "citation_number": 58,
      "position": 52616
    },
    {
      "citation": "Bleu: a Method for Automatic Evaluation of Machine Translation / K. Papineni, S. Roukos, T. Ward, W.-J. Zhu. – Текст : электронный // Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics ACL 2002 / ред. P. Isabelle [и др.]. – Philadelphia, Pennsylvania, USA : Association for Computational Linguistics, 2002. – Bleu. – С. 311-318. – URL: https://aclanthology.org/P02-1040/ (дата обращения: 22.02.2025).",
      "context": "Для оценки качества генерации применяются метрики, основанные на совпадении последовательностей слов, такие как BLEU [62], ROUGE [54], METEOR [63].",
      "citation_number": 62,
      "position": 53615
    },
    {
      "citation": "Lin, C.-Y. ROUGE: A Package for Automatic Evaluation of Summaries / C.-Y. Lin. – Текст : электронный // Text Summarization Branches Out. – Barcelona, Spain : Association for Computational Linguistics, 2004. – ROUGE. – С. 74-81. – URL: https://aclanthology.org/W04-1013/ (дата обращения: 22.02.2025).",
      "context": "Для оценки качества генерации применяются метрики, основанные на совпадении последовательностей слов, такие как BLEU [62], ROUGE [54], METEOR [63].",
      "citation_number": 54,
      "position": 53627
    },
    {
      "citation": "Banerjee, S. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments / S. Banerjee, A. Lavie. – Текст : электронный // Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization / ред. J. Goldstein [и др.]. – Ann Arbor, Michigan : Association for Computational Linguistics, 2005. – METEOR. – С. 65-72. – URL: https://aclanthology.org/W05-0909/ (дата обращения: 22.02.2025).",
      "context": "Для оценки качества генерации применяются метрики, основанные на совпадении последовательностей слов, такие как BLEU [62], ROUGE [54], METEOR [63].",
      "citation_number": 63,
      "position": 53640
    },
    {
      "citation": "Perplexity—a measure of the difficulty of speech recognition tasks / F. Jelinek, R. L. Mercer, L. R. Bahl, J. K. Baker // The Journal of the Acoustical Society of America. – 2005. – Т. 62. – № S1. – С. S63.",
      "context": "Другой метрикой для оценки качества генерации является Perplexity [64], которая измеряет уверенность модели при предсказании последовательностей слов.",
      "citation_number": 64,
      "position": 54103
    },
    {
      "citation": "BERTScore: Evaluating Text Generation with BERT. BERTScore / T. Zhang, V. Kishore, F. Wu,  [и др.] arXiv:1904.09675 [cs]. – arXiv, 2020. – URL: http://arxiv.org/abs/1904.09675 (дата обращения: 22.02.2025). – Текст : электронный.",
      "context": "Например, метрика BERTScore [65] анализирует семантическую близость эталонного и сгенерированного ответов.",
      "citation_number": 65,
      "position": 54437
    },
    {
      "citation": "Yuan, W. BARTSCORE: evaluating generated text as text generation / W. Yuan, G. Neubig, P. Liu. – Текст : электронный // Proceedings of the 35th International Conference on Neural Information Processing Systems : NIPS ’21. – Red Hook, NY, USA : Curran Associates Inc., 2021. – BARTSCORE. – С. 27263-27277. – URL: (дата обращения: 22.02.2025).",
      "context": "BARTScore [66] оценивает качество ответа, используя предобученную модель BART [67], рассчитывая вероятность генерации сгенерированного текста на основе эталонного.",
      "citation_number": 66,
      "position": 54526
    },
    {
      "citation": "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension / M. Lewis, Y. Liu, N. Goyal [и др.]. – Текст : электронный // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics ACL 2020 / ред. D. Jurafsky [и др.]. – Online : Association for Computational Linguistics, 2020. – BART. – С. 7871-7880. – URL: https://aclanthology.org/2020.acl-main.703/ (дата обращения: 22.02.2025).",
      "context": "BARTScore [66] оценивает качество ответа, используя предобученную модель BART [67], рассчитывая вероятность генерации сгенерированного текста на основе эталонного.",
      "citation_number": 67,
      "position": 54594
    },
    {
      "citation": "Is ChatGPT a Good NLG Evaluator? A Preliminary Study / J. Wang, Y. Liang, F. Meng [и др.]. – Текст : электронный // Proceedings of the 4th New Frontiers in Summarization Workshop NewSum 2023 / ред. Y. Dong [и др.]. – Singapore : Association for Computational Linguistics, 2023. – Is ChatGPT a Good NLG Evaluator? – С. 1-11. – URL: https://aclanthology.org/2023.newsum-1.1/ (дата обращения: 22.02.2025).",
      "context": "В работе [68] был проведён анализ возможности применения LLM в качестве метрики для оценки сгенерированных текстов.",
      "citation_number": 68,
      "position": 55075
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Таким подходом является RAGAS (Retrieval Augmented Generation Assessment) [69].",
      "citation_number": 69,
      "position": 56044
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "В частности, в рамках RAGAS отдельно анализируется несколько метрик:\nверность ответа (faithfulness),\nрелевантность ответа (answer relevance),\nрелевантность контекста (context relevance) [69].",
      "citation_number": 69,
      "position": 56668
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Релевантность контекста измеряет качество извлеченного контекста, оценивая долю нерелевантных фрагментов, которые могут снизить качество ответа LLM [69].",
      "citation_number": 69,
      "position": 57152
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "В первом случае модель оценивала ответы по шкале от 0 до 10, а во втором – выбирала наиболее предпочтительный вариант ответа или контекста [69].",
      "citation_number": 69,
      "position": 57770
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Таким образом, подход RAGAS является полезным инструментом для оценки систем RAG, так как он позволяет проводить оценку без использования эталонных ответов и его результаты оценок близки к экспертным оценкам [69].",
      "citation_number": 69,
      "position": 58349
    },
    {
      "citation": "ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems. ARES / J. Saad-Falcon, O. Khattab, C. Potts, M. Zaharia arXiv:2311.09476 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2311.09476 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Альтернативным методом оценки RAG-систем является ARES [70].",
      "citation_number": 70,
      "position": 58410
    },
    {
      "citation": "Prediction-powered inference / A. N. Angelopoulos, S. Bates, C. Fannjiang [и др.] // Science. – 2023. – Т. 382. – № 6671. – С. 669-674.",
      "context": "Для повышения надежности полученных оценок применяется метод prediction-powered inference (PPI) [71], который использует небольшую выборку аннотированных примеров (не менее 150) для коррекции предсказаний модели-оценщика и формирования доверительных интервалов.",
      "citation_number": 71,
      "position": 59442
    },
    {
      "citation": "KILT: a Benchmark for Knowledge Intensive Language Tasks / F. Petroni, A. Piktus, A. Fan [и др.]. – Текст : электронный // Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies NAACL-HLT 2021 / ред. K. Toutanova [и др.]. – Online : Association for Computational Linguistics, 2021. – KILT. – С. 2523-2544. – URL: https://aclanthology.org/2021.naacl-main.200/ (дата обращения: 04.03.2025).",
      "context": "Для оценки эффективности предлагаемого подхода авторы провели эксперименты на бенчмарках KILT [72] и SuperGLUE [73].",
      "citation_number": 72,
      "position": 59797
    },
    {
      "citation": "SuperGLUE: a stickier benchmark for general-purpose language understanding systems / A. Wang, Y. Pruksachatkun, N. Nangia [и др.]. – Текст : электронный // Proceedings of the 33rd International Conference on Neural Information Processing Systems. – Red Hook, NY, USA : Curran Associates Inc., 2019. – Вып. 294. – SuperGLUE. – С. 3266-3280. – URL: (дата обращения: 04.03.2025).",
      "context": "Для оценки эффективности предлагаемого подхода авторы провели эксперименты на бенчмарках KILT [72] и SuperGLUE [73].",
      "citation_number": 73,
      "position": 59814
    },
    {
      "citation": "ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems. ARES / J. Saad-Falcon, O. Khattab, C. Potts, M. Zaharia arXiv:2311.09476 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2311.09476 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Полученные результаты показали, что ARES значительно превосходит RAGAS: процент верной классификации релевантности контекста оказался на 59,9% выше, а процент верной классификации релевантности ответа – на 14,4% выше [70].",
      "citation_number": 70,
      "position": 60037
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "В исследовании Microsoft [8] авторы оценивают представленный подход GraphRAG с использованием следующих метрик:\nполнота (сomprehensiveness),\nразнообразие (diversity),\nполезность в принятии решений (empowerment),\nпрямота (directness).",
      "citation_number": 8,
      "position": 60785
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Прямота определяет, насколько прямолинейно ответ отвечает на поставленный вопрос [8].",
      "citation_number": 8,
      "position": 61378
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Поскольку LLM являются стохастическими, сравнение выполнялось 5 раз, а итоговый результат усреднялся [8].",
      "citation_number": 8,
      "position": 61989
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Особое внимание к интеграции графов знаний в RAG привлекло исследование Microsoft [8], в котором было представлено готовое решение, основанное на GraphRAG.",
      "citation_number": 8,
      "position": 63342
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Несмотря на преимущества подхода Microsoft [8], данный метод требует значительного числа обращений к LLM, что влечёт за собой повышение затрат на индексирование графов знаний при разработке специализированных приложений.",
      "citation_number": 8,
      "position": 63718
    },
    {
      "citation": "LightRAG: Simple and Fast Retrieval-Augmented Generation. LightRAG / Z. Guo, L. Xia, Y. Yu,  [и др.] arXiv:2410.05779 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2410.05779 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "В качестве альтернативы были предложены другие методы, например LightRAG [58], которые позволяют формировать графовую базу знаний, используя меньшее количество вызовов к LLM.",
      "citation_number": 58,
      "position": 63969
    },
    {
      "citation": "scikit-learn: machine learning in Python — scikit-learn 1.6.1 documentation. – URL: https://scikit-learn.org/stable/ (дата обращения: 11.03.2025). – Текст : электронный.",
      "context": "Материалы и методы исследования\n\nСоздание набора данных для формирования базы знаний\n\nНабор данных для исследования по применению графов знаний в RAG сформирован на основе официальной документации библиотеки машинного обучения scikit-learn (sklearn) [74].",
      "citation_number": 74,
      "position": 65167
    },
    {
      "citation": "Requests: HTTP for HumansTM — Requests 2.32.3 documentation. – URL: https://requests.readthedocs.io/en/latest/ (дата обращения: 11.03.2025).",
      "context": "Для сбора текстового содержимого документации sklearn используются библиотеки Requests [75] и Beautiful Soup [76].",
      "citation_number": 75,
      "position": 67644
    },
    {
      "citation": "Beautiful Soup: We called him Tortoise because he taught us. – URL: https://www.crummy.com/software/BeautifulSoup/ (дата обращения: 11.03.2025).",
      "context": "Для сбора текстового содержимого документации sklearn используются библиотеки Requests [75] и Beautiful Soup [76].",
      "citation_number": 76,
      "position": 67666
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Формирование набора данных для оценки качества\n\nПроцесс разработки набора данных для оценки различных подходов основан на методологии, применяемой в исследованиях Microsoft GraphRAG [8] и LightRAG [58].",
      "citation_number": 8,
      "position": 68674
    },
    {
      "citation": "LightRAG: Simple and Fast Retrieval-Augmented Generation. LightRAG / Z. Guo, L. Xia, Y. Yu,  [и др.] arXiv:2410.05779 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2410.05779 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Формирование набора данных для оценки качества\n\nПроцесс разработки набора данных для оценки различных подходов основан на методологии, применяемой в исследованиях Microsoft GraphRAG [8] и LightRAG [58].",
      "citation_number": 58,
      "position": 68689
    },
    {
      "citation": "microsoft/graphrag. – Microsoft, 2025. – URL: https://github.com/microsoft/graphrag (дата обращения: 10.03.2025).",
      "context": "В частности, исследуются четыре подхода:\nиспользование LLM без дополнительных источников данных,\nклассический RAG,\nинтеграция графов знаний в RAG с использованием фреймворка Microsoft GraphRAG [77],\nинтеграция графов знаний в RAG с использованием фреймворка LightRAG [60].",
      "citation_number": 77,
      "position": 71069
    },
    {
      "citation": "Lab@HKU, D. I. HKUDS/LightRAG / D. I. Lab@HKU. – 2025. – URL: https://github.com/HKUDS/LightRAG (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "В частности, исследуются четыре подхода:\nиспользование LLM без дополнительных источников данных,\nклассический RAG,\nинтеграция графов знаний в RAG с использованием фреймворка Microsoft GraphRAG [77],\nинтеграция графов знаний в RAG с использованием фреймворка LightRAG [60].",
      "citation_number": 60,
      "position": 71143
    },
    {
      "citation": "DeepSeek-V3 Technical Report / DeepSeek-AI, A. Liu, B. Feng,  [и др.] arXiv:2412.19437 [cs]. – arXiv, 2025. – URL: http://arxiv.org/abs/2412.19437 (дата обращения: 10.03.2025). – Текст : электронный.",
      "context": "Во всех подходах в качестве LLM используется модель Deepseek V3 [78].",
      "citation_number": 78,
      "position": 71213
    },
    {
      "citation": "MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark / Y. Wang, X. Ma, G. Zhang [et al.]. – Текст : электронный // The Thirty-eight Conference on Neural Information Processing Systems Datasets and Benchmarks Track. – 2024. – MMLU-Pro. – URL: https://openreview.net/forum?id=y10DM6R2r3&referrer=%5Bthe%20profile%20of%20Ge%20Zhang%5D(%2Fprofile%3Fid%3D~Ge_Zhang5) (дата обращения: 10.03.2025).",
      "context": "В частности, на наборе данных MMLU-Pro [79] Deepseek V3 достигла доли правильных ответов 75,9%, в то время как модель Claude-3.",
      "citation_number": 79,
      "position": 71422
    },
    {
      "citation": "Introducing Claude 3.5 Sonnet. – URL: https://www.anthropic.com/news/claude-3-5-sonnet (дата обращения: 10.03.2025).",
      "context": "5-Sonnet [80] продемонстрировала значение метрики – 78,0% [78].",
      "citation_number": 80,
      "position": 71519
    },
    {
      "citation": "DeepSeek-V3 Technical Report / DeepSeek-AI, A. Liu, B. Feng,  [и др.] arXiv:2412.19437 [cs]. – arXiv, 2025. – URL: http://arxiv.org/abs/2412.19437 (дата обращения: 10.03.2025). – Текст : электронный.",
      "context": "5-Sonnet [80] продемонстрировала значение метрики – 78,0% [78].",
      "citation_number": 78,
      "position": 71568
    },
    {
      "citation": "New embedding models and API updates. – URL: https://openai.com/index/new-embedding-models-and-api-updates/ (дата обращения: 10.03.2025).",
      "context": "В качестве модели эмбеддингов для подходов с применением RAG используется text-embedding-3-small [81].",
      "citation_number": 81,
      "position": 71671
    },
    {
      "citation": "MTEB: Massive Text Embedding Benchmark / N. Muennighoff, N. Tazi, L. Magne, N. Reimers. – Текст : электронный // Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics EACL 2023 / ред. A. Vlachos, I. Augenstein. – Dubrovnik, Croatia : Association for Computational Linguistics, 2023. – MTEB. – С. 2014-2037. – URL: https://aclanthology.org/2023.eacl-main.148/ (дата обращения: 10.03.2025).",
      "context": "Выбор данной модели обусловлен её высокой эффективностью в задачах поиска релевантных документов, что подтверждается результатами на бенчмарке MTEB [82].",
      "citation_number": 82,
      "position": 71825
    },
    {
      "citation": "MTEB Leaderboard - a Hugging Face Space by mteb. – URL: https://huggingface.co/spaces/mteb/leaderboard (дата обращения: 10.03.2025).",
      "context": "В частности, на мультиязычном MTEB она демонстрирует результат 52,24 баллов и находится в числе 30 лучших моделей [83].",
      "citation_number": 83,
      "position": 71945
    },
    {
      "citation": "microsoft/graphrag. – Microsoft, 2025. – URL: https://github.com/microsoft/graphrag (дата обращения: 10.03.2025).",
      "context": "Microsoft GraphRAG\n\nДля проведения экспериментов с подходом Microsoft GraphRAG используется одноименный фреймворк [77], который представляет собой комплексное решение для интеграции графов знаний в RAG.",
      "citation_number": 77,
      "position": 72140
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "В результате данных операций формируется граф, в котором узлы сущностей связаны ребрами отношений, при этом ребрам присваиваются веса, в соответствии с количеством упоминаний данных отношений в исходных документах [8].",
      "citation_number": 8,
      "position": 73392
    },
    {
      "citation": "Traag, V. A. From Louvain to Leiden: guaranteeing well-connected communities / V. A. Traag, L. Waltman, N. J. van Eck // Scientific Reports. – 2019. – Vol. 9. – From Louvain to Leiden. – № 1. – P. 5233.",
      "context": "Далее сущности объединяются в сообщества с использованием алгоритма Лейдена [35].",
      "citation_number": 35,
      "position": 73473
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Благодаря иерархической структуре отчеты сообществ верхнего уровня позволяют проводить анализ глобальной структуры графа, а описания сообществ нижнего уровня используются для извлечения более детализированной информации [8].",
      "citation_number": 8,
      "position": 73945
    },
    {
      "citation": "LanceDB - LanceDB. – URL: https://lancedb.github.io/lancedb/ (дата обращения: 11.03.2025).",
      "context": "После завершения процесса построения графа знаний векторные представления фрагментов исходных документов, а также сформированных описаний сохраняются в векторную базу данных LanceDB [84].",
      "citation_number": 84,
      "position": 74906
    },
    {
      "citation": "Welcome - GraphRAG. – URL: https://microsoft.github.io/graphrag/ (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Далее все извлечённые источники ранжируются, и наиболее релевантные добавляются в контекстное окно LLM [59].",
      "citation_number": 59,
      "position": 76030
    },
    {
      "citation": "Welcome - GraphRAG. – URL: https://microsoft.github.io/graphrag/ (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "После этого промежуточные ответы сортируются по назначенным оценкам, и в контекст LLM передаются наиболее полезные из них [59].",
      "citation_number": 59,
      "position": 76628
    },
    {
      "citation": "Lab@HKU, D. I. HKUDS/LightRAG / D. I. Lab@HKU. – 2025. – URL: https://github.com/HKUDS/LightRAG (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "LightRAG\n\nФреймворк LightRAG [60] является альтернативным решением для интеграции графов знаний в RAG.",
      "citation_number": 60,
      "position": 76950
    },
    {
      "citation": "microsoft/graphrag. – Microsoft, 2025. – URL: https://github.com/microsoft/graphrag (дата обращения: 10.03.2025).",
      "context": "LightRAG, аналогично Microsoft GraphRAG [77], включает инструменты для автоматизированного построения графов знаний, а также различные механизмы поиска релевантного контекста.",
      "citation_number": 77,
      "position": 77064
    },
    {
      "citation": "LightRAG: Simple and Fast Retrieval-Augmented Generation. LightRAG / Z. Guo, L. Xia, Y. Yu,  [и др.] arXiv:2410.05779 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2410.05779 (дата обращения: 20.01.2025). – Текст : электронный.",
      "context": "Для отношений ключи создаются с учётом глобальных тем, объединяющих связанные сущности, а значением выступает описательный фрагмент, поясняющий смысл данной связи [58].",
      "citation_number": 58,
      "position": 77601
    },
    {
      "citation": "facebookresearch/faiss. – Research, 2025. –                                        URL: https://github.com/facebookresearch/faiss (дата обращения: 11.03.2025).",
      "context": "В данном исследовании используется библиотека Faiss [85], поскольку она оптимизирована для работы с большими объемами векторных данных и обеспечивает высокую скорость поиска релевантных текстовых фрагментов.",
      "citation_number": 85,
      "position": 78601
    },
    {
      "citation": "Neo4j Graph Database & Analytics – The Leader in Graph Databases. – URL: https://neo4j.com/ (дата обращения: 11.03.2025).",
      "context": "В данном исследовании используется графовая СУБД Neo4j [86], так как она обеспечивает эффективную обработку больших объемов информации.",
      "citation_number": 86,
      "position": 78891
    },
    {
      "citation": "Lab@HKU, D. I. HKUDS/LightRAG / D. I. Lab@HKU. – 2025. – URL: https://github.com/HKUDS/LightRAG (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Затем для найденных сущностей извлекаются их описания, описания их отношений, а также связанные с ними фрагменты исходных документов [60].",
      "citation_number": 60,
      "position": 79557
    },
    {
      "citation": "Lab@HKU, D. I. HKUDS/LightRAG / D. I. Lab@HKU. – 2025. – URL: https://github.com/HKUDS/LightRAG (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Далее для найденных отношений извлекаются их описания, описания сущностей, которые связаны данными отношениями, а также исходные текстовые фрагменты, в которых упоминаются данные сущности [60].",
      "citation_number": 60,
      "position": 80122
    },
    {
      "citation": "LangChain. – URL: https://www.langchain.com/ (дата обращения: 11.03.2025).",
      "context": "Эксперименты проводятся с использованием библиотеки LangChain [87] для упрощения взаимодействия с LLM.",
      "citation_number": 87,
      "position": 80684
    },
    {
      "citation": "Lab@HKU, D. I. HKUDS/LightRAG / D. I. Lab@HKU. – 2025. – URL: https://github.com/HKUDS/LightRAG (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Для классического RAG используется фреймворк LightRAG [60], так как он поддерживает алгоритм поиска, соответствующий данному подходу.",
      "citation_number": 60,
      "position": 80779
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Первый набор включает метрики, предложенные в фреймворке RAGAS [69], и позволяет оценивать как итоговый ответ, так и извлекаемый из базы знаний контекст.",
      "citation_number": 69,
      "position": 81274
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Эта метрика позволяет выявлять галлюцинации LLM и обеспечивает, что найденный контекст может служить обоснованием для сформулированного ответа [69].",
      "citation_number": 69,
      "position": 81717
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Она помогает определить, отвечает ли модель на поставленный вопрос или отклоняется от запрашиваемой темы [69].",
      "citation_number": 69,
      "position": 81925
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Релевантность контекста оценивает качество извлеченного контекста, измеряя долю нерелевантных фрагментов, которые могут снизить точность ответа LLM [69].",
      "citation_number": 69,
      "position": 82079
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Расчет данных метрик осуществляется с использованием специализированных запросов к LLM [69].",
      "citation_number": 69,
      "position": 82172
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Верность ответа рассчитывается по формуле [69]:\n\n\nгде  – количество утверждений, извлеченных из ответа и найденных в контексте запроса;\n – общее количество утверждений в ответе.",
      "citation_number": 69,
      "position": 82223
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Рисунок 8 – Текст запроса для извлечения утверждений из ответа [69]\n\nДополнительно на вход модели подаются исходный вопрос и сгенерированный ответ.",
      "citation_number": 69,
      "position": 82539
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Рисунок 9 – Текст запроса для определения утверждений в ответе, \nсоответствующих контексту [69]\nДополнительно на вход модели подаются найденные в ответе утверждения и контекст.",
      "citation_number": 69,
      "position": 82825
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Рисунок 10 – Текст запроса для формирования вопроса на основе ответа [69]\n\nДалее сформированные вопросы и исходный запрос преобразуются в векторное представление при помощи модели векторизации.",
      "citation_number": 69,
      "position": 83162
    },
    {
      "citation": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
      "context": "Общая формула расчета релевантности ответа выглядит следующим образом [69]:\n\n\nгде  – количество сгенерированных на основании ответа вопросов;\n – векторное представление исходного запроса;\n – векторное представление сформированного на основании ответа вопроса.",
      "citation_number": 69,
      "position": 83542
    },
    {
      "citation": "Ragas. – URL: https://docs.ragas.io/en/stable/ (дата обращения: 01.05.2025).",
      "context": "Рисунок 11 – Тексты запросов для оценки релевантности контекста [88]\n\nВторой набор метрик основан на подходе, предложенном в исследовании Microsoft GraphRAG [8], и оценивает только качество итогового ответа.",
      "citation_number": 88,
      "position": 84404
    },
    {
      "citation": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
      "context": "Рисунок 11 – Тексты запросов для оценки релевантности контекста [88]\n\nВторой набор метрик основан на подходе, предложенном в исследовании Microsoft GraphRAG [8], и оценивает только качество итогового ответа.",
      "citation_number": 8,
      "position": 84497
    },
    {
      "citation": "Telegram Web. – URL: https://web.telegram.org/k/ (дата обращения: 11.03.2025).",
      "context": "Система разрабатывается в виде чат-бота для мессенджера Telegram [89] с использование библиотеки python-telegram-bot [90].",
      "citation_number": 89,
      "position": 85889
    },
    {
      "citation": "python-telegram-bot. – URL: https://python-telegram-bot.org/ (дата обращения: 11.03.2025).",
      "context": "Система разрабатывается в виде чат-бота для мессенджера Telegram [89] с использование библиотеки python-telegram-bot [90].",
      "citation_number": 90,
      "position": 85941
    },
    {
      "citation": "LangGraph. – URL: https://www.langchain.com/langgraph (дата обращения: 11.03.2025).",
      "context": "В качестве фреймворка для построения агентной системы применяется LangGraph [91], обеспечивающий гибкую архитектуру для взаимодействия между агентами, а также удобную масштабируемость системы.",
      "citation_number": 91,
      "position": 87202
    },
    {
      "citation": "LangSmith. – URL: https://smith.langchain.com (дата обращения: 11.05.2025).",
      "context": "Для контроля функционирования вопросно-ответной системы используется фреймворк LangSmith [92], полностью совместимый с библиотеками LangChain и LangGraph.",
      "citation_number": 92,
      "position": 105600
    }
  ],
  "references": {
    "94": "Docker: Accelerated Container Application Development. Docker. – 2025. – URL: https://www.docker.com/ (дата обращения: 11.05.2025).",
    "93": "Хостинг-провайдер nuxt.cloud - Услуги хостинг-провайдера - Хостинговая компания nuxt.cloud – URL: https://nuxt.cloud/ (дата обращения: 11.05.2025).",
    "92": "LangSmith. – URL: https://smith.langchain.com (дата обращения: 11.05.2025).",
    "91": "LangGraph. – URL: https://www.langchain.com/langgraph (дата обращения: 11.03.2025).",
    "90": "python-telegram-bot. – URL: https://python-telegram-bot.org/ (дата обращения: 11.03.2025).",
    "89": "Telegram Web. – URL: https://web.telegram.org/k/ (дата обращения: 11.03.2025).",
    "88": "Ragas. – URL: https://docs.ragas.io/en/stable/ (дата обращения: 01.05.2025).",
    "87": "LangChain. – URL: https://www.langchain.com/ (дата обращения: 11.03.2025).",
    "86": "Neo4j Graph Database & Analytics – The Leader in Graph Databases. – URL: https://neo4j.com/ (дата обращения: 11.03.2025).",
    "85": "facebookresearch/faiss. – Research, 2025. –                                        URL: https://github.com/facebookresearch/faiss (дата обращения: 11.03.2025).",
    "84": "LanceDB - LanceDB. – URL: https://lancedb.github.io/lancedb/ (дата обращения: 11.03.2025).",
    "83": "MTEB Leaderboard - a Hugging Face Space by mteb. – URL: https://huggingface.co/spaces/mteb/leaderboard (дата обращения: 10.03.2025).",
    "82": "MTEB: Massive Text Embedding Benchmark / N. Muennighoff, N. Tazi, L. Magne, N. Reimers. – Текст : электронный // Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics EACL 2023 / ред. A. Vlachos, I. Augenstein. – Dubrovnik, Croatia : Association for Computational Linguistics, 2023. – MTEB. – С. 2014-2037. – URL: https://aclanthology.org/2023.eacl-main.148/ (дата обращения: 10.03.2025).",
    "81": "New embedding models and API updates. – URL: https://openai.com/index/new-embedding-models-and-api-updates/ (дата обращения: 10.03.2025).",
    "80": "Introducing Claude 3.5 Sonnet. – URL: https://www.anthropic.com/news/claude-3-5-sonnet (дата обращения: 10.03.2025).",
    "79": "MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark / Y. Wang, X. Ma, G. Zhang [et al.]. – Текст : электронный // The Thirty-eight Conference on Neural Information Processing Systems Datasets and Benchmarks Track. – 2024. – MMLU-Pro. – URL: https://openreview.net/forum?id=y10DM6R2r3&referrer=%5Bthe%20profile%20of%20Ge%20Zhang%5D(%2Fprofile%3Fid%3D~Ge_Zhang5) (дата обращения: 10.03.2025).",
    "78": "DeepSeek-V3 Technical Report / DeepSeek-AI, A. Liu, B. Feng,  [и др.] arXiv:2412.19437 [cs]. – arXiv, 2025. – URL: http://arxiv.org/abs/2412.19437 (дата обращения: 10.03.2025). – Текст : электронный.",
    "77": "microsoft/graphrag. – Microsoft, 2025. – URL: https://github.com/microsoft/graphrag (дата обращения: 10.03.2025).",
    "76": "Beautiful Soup: We called him Tortoise because he taught us. – URL: https://www.crummy.com/software/BeautifulSoup/ (дата обращения: 11.03.2025).",
    "75": "Requests: HTTP for HumansTM — Requests 2.32.3 documentation. – URL: https://requests.readthedocs.io/en/latest/ (дата обращения: 11.03.2025).",
    "74": "scikit-learn: machine learning in Python — scikit-learn 1.6.1 documentation. – URL: https://scikit-learn.org/stable/ (дата обращения: 11.03.2025). – Текст : электронный.",
    "73": "SuperGLUE: a stickier benchmark for general-purpose language understanding systems / A. Wang, Y. Pruksachatkun, N. Nangia [и др.]. – Текст : электронный // Proceedings of the 33rd International Conference on Neural Information Processing Systems. – Red Hook, NY, USA : Curran Associates Inc., 2019. – Вып. 294. – SuperGLUE. – С. 3266-3280. – URL: (дата обращения: 04.03.2025).",
    "72": "KILT: a Benchmark for Knowledge Intensive Language Tasks / F. Petroni, A. Piktus, A. Fan [и др.]. – Текст : электронный // Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies NAACL-HLT 2021 / ред. K. Toutanova [и др.]. – Online : Association for Computational Linguistics, 2021. – KILT. – С. 2523-2544. – URL: https://aclanthology.org/2021.naacl-main.200/ (дата обращения: 04.03.2025).",
    "71": "Prediction-powered inference / A. N. Angelopoulos, S. Bates, C. Fannjiang [и др.] // Science. – 2023. – Т. 382. – № 6671. – С. 669-674.",
    "70": "ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems. ARES / J. Saad-Falcon, O. Khattab, C. Potts, M. Zaharia arXiv:2311.09476 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2311.09476 (дата обращения: 04.03.2025). – Текст : электронный.",
    "69": "RAGAS: Automated Evaluation of Retrieval Augmented Generation. RAGAS / S. Es, J. James, L. Espinosa-Anke, S. Schockaert arXiv:2309.15217 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.15217 (дата обращения: 04.03.2025). – Текст : электронный.",
    "68": "Is ChatGPT a Good NLG Evaluator? A Preliminary Study / J. Wang, Y. Liang, F. Meng [и др.]. – Текст : электронный // Proceedings of the 4th New Frontiers in Summarization Workshop NewSum 2023 / ред. Y. Dong [и др.]. – Singapore : Association for Computational Linguistics, 2023. – Is ChatGPT a Good NLG Evaluator? – С. 1-11. – URL: https://aclanthology.org/2023.newsum-1.1/ (дата обращения: 22.02.2025).",
    "67": "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension / M. Lewis, Y. Liu, N. Goyal [и др.]. – Текст : электронный // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics ACL 2020 / ред. D. Jurafsky [и др.]. – Online : Association for Computational Linguistics, 2020. – BART. – С. 7871-7880. – URL: https://aclanthology.org/2020.acl-main.703/ (дата обращения: 22.02.2025).",
    "66": "Yuan, W. BARTSCORE: evaluating generated text as text generation / W. Yuan, G. Neubig, P. Liu. – Текст : электронный // Proceedings of the 35th International Conference on Neural Information Processing Systems : NIPS ’21. – Red Hook, NY, USA : Curran Associates Inc., 2021. – BARTSCORE. – С. 27263-27277. – URL: (дата обращения: 22.02.2025).",
    "65": "BERTScore: Evaluating Text Generation with BERT. BERTScore / T. Zhang, V. Kishore, F. Wu,  [и др.] arXiv:1904.09675 [cs]. – arXiv, 2020. – URL: http://arxiv.org/abs/1904.09675 (дата обращения: 22.02.2025). – Текст : электронный.",
    "64": "Perplexity—a measure of the difficulty of speech recognition tasks / F. Jelinek, R. L. Mercer, L. R. Bahl, J. K. Baker // The Journal of the Acoustical Society of America. – 2005. – Т. 62. – № S1. – С. S63.",
    "63": "Banerjee, S. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments / S. Banerjee, A. Lavie. – Текст : электронный // Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization / ред. J. Goldstein [и др.]. – Ann Arbor, Michigan : Association for Computational Linguistics, 2005. – METEOR. – С. 65-72. – URL: https://aclanthology.org/W05-0909/ (дата обращения: 22.02.2025).",
    "62": "Bleu: a Method for Automatic Evaluation of Machine Translation / K. Papineni, S. Roukos, T. Ward, W.-J. Zhu. – Текст : электронный // Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics ACL 2002 / ред. P. Isabelle [и др.]. – Philadelphia, Pennsylvania, USA : Association for Computational Linguistics, 2002. – Bleu. – С. 311-318. – URL: https://aclanthology.org/P02-1040/ (дата обращения: 22.02.2025).",
    "61": "MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery. MemoRAG / H. Qian, P. Zhang, Z. Liu,  [и др.] arXiv:2409.05591 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2409.05591 (дата обращения: 04.03.2025). – Текст : электронный.",
    "60": "Lab@HKU, D. I. HKUDS/LightRAG / D. I. Lab@HKU. – 2025. – URL: https://github.com/HKUDS/LightRAG (дата обращения: 04.03.2025). – Текст : электронный.",
    "59": "Welcome - GraphRAG. – URL: https://microsoft.github.io/graphrag/ (дата обращения: 04.03.2025). – Текст : электронный.",
    "58": "LightRAG: Simple and Fast Retrieval-Augmented Generation. LightRAG / Z. Guo, L. Xia, Y. Yu,  [и др.] arXiv:2410.05779 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2410.05779 (дата обращения: 20.01.2025). – Текст : электронный.",
    "57": "Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation / S. Ma, C. Xu, X. Jiang [et al.]. – Текст : электронный // The Thirteenth International Conference on Learning Representations. – 2024. – Think-on-Graph 2.0. – URL: https://openreview.net/forum?id=oFBu7qaZpS (дата обращения: 13.02.2025).",
    "56": "KG-Rank: Enhancing Large Language Models for Medical QA with Knowledge Graphs and Ranking Techniques / R. Yang, H. Liu, E. Marrese-Taylor [и др.]. – Текст : электронный // Proceedings of the 23rd Workshop on Biomedical Natural Language Processing / ред. D. Demner-Fushman [и др.]. – Bangkok, Thailand : Association for Computational Linguistics, 2024. – KG-Rank. – С. 155-166. – URL: https://aclanthology.org/2024.bionlp-1.13/ (дата обращения: 13.02.2025).",
    "55": "Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering. Reasoning on Efficient Knowledge Paths / Y. Wang, B. Jiang, Y. Luo,  [и др.] arXiv:2404.10384 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.10384 (дата обращения: 12.02.2025). – Текст : электронный.",
    "54": "Lin, C.-Y. ROUGE: A Package for Automatic Evaluation of Summaries / C.-Y. Lin. – Текст : электронный // Text Summarization Branches Out. – Barcelona, Spain : Association for Computational Linguistics, 2004. – ROUGE. – С. 74-81. – URL: https://aclanthology.org/W04-1013/ (дата обращения: 22.02.2025).",
    "53": "Language is All a Graph Needs / R. Ye, C. Zhang, R. Wang [и др.]. – Текст : электронный // Findings of the Association for Computational Linguistics: EACL 2024 Findings 2024 / ред. Y. Graham, M. Purver. – St. Julian’s, Malta : Association for Computational Linguistics, 2024. – С. 1955-1973. – URL: https://aclanthology.org/2024.findings-eacl.132/ (дата обращения: 12.02.2025).",
    "52": "Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs. Graph Chain-of-Thought / B. Jin, C. Xie, J. Zhang,  [и др.] arXiv:2404.07103 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.07103 (дата обращения: 12.02.2025). – Текст : электронный.",
    "51": "Answering Complex Open-Domain Questions with Multi-Hop Dense Retrieval / W. Xiong, X. L. Li, S. Iyer,  [и др.] arXiv:2009.12756 [cs]. – arXiv, 2021. – URL: http://arxiv.org/abs/2009.12756 (дата обращения: 12.02.2025). – Текст : электронный.",
    "50": "MuSiQue: Multihop Questions via Single-hop Question Composition / H. Trivedi, N. Balasubramanian, T. Khot, A. Sabharwal // Transactions of the Association for Computational Linguistics. – 2022. – Т. 10. – ♫ MuSiQue. – С. 539-554.",
    "49": "Knowledge graph prompting for multi-document question answering / Y. Wang, N. Lipka, R. A. Rossi [и др.]. – Текст : электронный // Proceedings of the Thirty-Eighth AAAI Conference on Artificial Intelligence and Thirty-Sixth Conference on Innovative Applications of Artificial Intelligence and Fourteenth Symposium on Educational Advances in Artificial Intelligence : AAAI’24/IAAI’24/EAAI’24. – AAAI Press, 2024. – Т. 38. – С. 19206-19214. – URL: https://doi.org/10.1609/aaai.v38i17.29889 (дата обращения: 11.02.2025).",
    "48": "KG-GPT: A General Framework for Reasoning on Knowledge Graphs Using Large Language Models. KG-GPT / J. Kim, Y. Kwon, Y. Jo, E. Choi arXiv:2310.11220 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2310.11220 (дата обращения: 11.02.2025). – Текст : электронный.",
    "47": "Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering / Y. Feng, X. Chen, B. Y. Lin [и др.]. – Текст : электронный // Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) EMNLP 2020 / ред. B. Webber [и др.]. – Online : Association for Computational Linguistics, 2020. – С. 1295-1309. – URL: https://aclanthology.org/2020.emnlp-main.99/ (дата обращения: 11.02.2025).",
    "46": "RoBERTa: A Robustly Optimized BERT Pretraining Approach. RoBERTa / Y. Liu, M. Ott, N. Goyal,  [и др.] arXiv:1907.11692 [cs]. – arXiv, 2019. – URL: http://arxiv.org/abs/1907.11692 (дата обращения: 11.02.2025). – Текст : электронный.",
    "45": "CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge / A. Talmor, J. Herzig, N. Lourie, J. Berant. – Текст : электронный // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) NAACL-HLT 2019 / ред. J. Burstein [и др.]. – Minneapolis, Minnesota : Association for Computational Linguistics, 2019. – CommonsenseQA. – С. 4149-4158. – URL: https://aclanthology.org/N19-1421/ (дата обращения: 11.02.2025).",
    "44": "QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering. – URL: https://arxiv.org/abs/2104.06378v5 (дата обращения: 11.02.2025). – Текст : электронный.",
    "43": "Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions / H. Trivedi, N. Balasubramanian, T. Khot, A. Sabharwal. – Текст : электронный // Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) ACL 2023 / ред. A. Rogers [и др.]. – Toronto, Canada : Association for Computational Linguistics, 2023. – С. 10014-10037. – URL: https://aclanthology.org/2023.acl-long.557/ (дата обращения: 11.02.2025).",
    "42": "Constructing A Multi-hop QA Dataset for Comprehensive Evaluation of Reasoning Steps / X. Ho, A.-K. D. Nguyen, S. Sugawara, A. Aizawa arXiv:2011.01060 [cs]. – arXiv, 2020. – URL: http://arxiv.org/abs/2011.01060 (дата обращения: 11.02.2025). – Текст : электронный.",
    "41": "Haveliwala, T. H. Topic-sensitive PageRank / T. H. Haveliwala. – Текст : электронный // Proceedings of the 11th international conference on World Wide Web : WWW ’02. – New York, NY, USA : Association for Computing Machinery, 2002. – С. 517-526. – URL: https://doi.org/10.1145/511446.511513 (дата обращения: 10.02.2025).",
    "40": "HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models. HippoRAG / B. J. Gutiérrez, Y. Shu, Y. Gu,  [и др.] arXiv:2405.14831 [cs]. – arXiv, 2025. – URL: http://arxiv.org/abs/2405.14831 (дата обращения: 10.02.2025). – Текст : электронный.",
    "39": "HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction / B. Sarmah, D. Mehta, B. Hall [и др.]. – Текст : электронный // Proceedings of the 5th ACM International Conference on AI in Finance : ICAIF ’24. – New York, NY, USA : Association for Computing Machinery, 2024. – HybridRAG. – С. 608-616. – URL: https://doi.org/10.1145/3677052.3698671 (дата обращения: 11.02.2025).",
    "38": "A note on the prize collecting traveling salesman problem / D. Bienstock, M. X. Goemans, D. Simchi-Levi, D. Williamson // Mathematical Programming. – 1993. – Vol. 59. – № 1-3. – P. 413-420.",
    "37": "Reimers, N. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Sentence-BERT / N. Reimers, I. Gurevych arXiv:1908.10084 [cs]. – arXiv, 2019. – URL: http://arxiv.org/abs/1908.10084 (дата обращения: 06.02.2025). – Текст : электронный.",
    "36": "G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering. G-Retriever / X. He, Y. Tian, Y. Sun,  [и др.] arXiv:2402.07630 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2402.07630 (дата обращения: 06.02.2025). – Текст : электронный.",
    "35": "Traag, V. A. From Louvain to Leiden: guaranteeing well-connected communities / V. A. Traag, L. Waltman, N. J. van Eck // Scientific Reports. – 2019. – Vol. 9. – From Louvain to Leiden. – № 1. – P. 5233.",
    "34": "Dense Passage Retrieval for Open-Domain Question Answering / V. Karpukhin, B. Oguz, S. Min [и др.]. – Текст : электронный // Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) EMNLP 2020 / ред. B. Webber [и др.]. – Online : Association for Computational Linguistics, 2020. – С. 6769-6781. – URL: https://aclanthology.org/2020.emnlp-main.550/ (дата обращения: 25.02.2025).",
    "33": "Okapi at TREC-3 / S. Robertson, S. Walker, S. Jones [и др.]. – Текст : электронный // Text Retrieval Conference. – 1994. – URL: https://www.semanticscholar.org/paper/Okapi-at-TREC-3-Robertson-Walker/fa8ffa9f8d8367b987845ae88f2adcac2689f110 (дата обращения: 25.02.2025).",
    "32": "Graph Reasoning for Question Answering with Triplet Retrieval / S. Li, Y. Gao, H. Jiang [и др.]. – Текст : электронный // Findings of the Association for Computational Linguistics: ACL 2023 Findings 2023 / ред. A. Rogers [и др.]. – Toronto, Canada : Association for Computational Linguistics, 2023. – С. 3366-3375. – URL: https://aclanthology.org/2023.findings-acl.208/ (дата обращения: 06.02.2025).",
    "31": "DecAF: Joint Decoding of Answers and Logical Forms for Question Answering over Knowledge Bases. DecAF / D. Yu, S. Zhang, P. Ng,  [и др.] arXiv:2210.00063 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2210.00063 (дата обращения: 05.02.2025). – Текст : электронный.",
    "30": "The Value of Semantic Parse Labeling for Knowledge Base Question Answering / W. Yih, M. Richardson, C. Meek [и др.]. – Текст : электронный // Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers) ACL 2016 / ред. K. Erk, N. A. Smith. – Berlin, Germany : Association for Computational Linguistics, 2016. – С. 201-206. – URL: https://aclanthology.org/P16-2033/ (дата обращения: 05.02.2025).",
    "29": "Talmor, A. The Web as a Knowledge-Base for Answering Complex Questions / A. Talmor, J. Berant. – Текст : электронный // Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers) NAACL-HLT 2018 / ред. M. Walker [и др.]. – New Orleans, Louisiana : Association for Computational Linguistics, 2018. – С. 641-651. – URL: https://aclanthology.org/N18-1059/ (дата обращения: 05.02.2025).",
    "28": "Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph. Think-on-Graph / J. Sun, C. Xu, L. Tang,  [и др.] arXiv:2307.07697 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2307.07697 (дата обращения: 05.02.2025). – Текст : электронный.",
    "27": "Riedel, S. Modeling Relations and Their Mentions without Labeled Text / S. Riedel, L. Yao, A. McCallum // Machine Learning and Knowledge Discovery in Databases / eds. J. L. Balcázar [et al.]. – Berlin, Heidelberg : Springer, 2010. – P. 148-163.",
    "26": "Roth, D. A Linear Programming Formulation for Global Inference in Natural Language Tasks / D. Roth, W. Yih. – Текст : электронный // Proceedings of the Eighth Conference on Computational Natural Language Learning (CoNLL-2004) at HLT-NAACL 2004 CoNLL-HLT 2004. – Boston, Massachusetts, USA : Association for Computational Linguistics, 2004. – С. 1-8. – URL: https://aclanthology.org/W04-2401/ (дата обращения: 25.02.2025).",
    "25": "Development of a benchmark corpus to support the automatic extraction of drug-related adverse effects from medical case reports : Text Mining and Natural Language Processing in Pharmacogenomics / H. Gurulingappa, A. M. Rajput, A. Roberts [и др.] // Journal of Biomedical Informatics. – 2012. – Т. 45. – № 5. – С. 885-892.",
    "24": "Scaling Instruction-Finetuned Language Models / H. W. Chung, L. Hou, S. Longpre,  [и др.] arXiv:2210.11416 [cs]. – arXiv, 2022. – URL: http://arxiv.org/abs/2210.11416 (дата обращения: 03.02.2025). – Текст : электронный.",
    "23": "Language Models are Few-Shot Learners / T. Brown, B. Mann, N. Ryder [и др.]. – Текст : электронный // Advances in Neural Information Processing Systems. – Curran Associates, Inc., 2020. – Т. 33. – С. 1877-1901. – URL: https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html (дата обращения: 03.02.2025).",
    "22": "Wadhwa, S. Revisiting Relation Extraction in the era of Large Language Models / S. Wadhwa, S. Amir, B. Wallace. – Текст : электронный // Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) ACL 2023 / ред. A. Rogers [и др.]. – Toronto, Canada : Association for Computational Linguistics, 2023. – С. 15566-15589. – URL: https://aclanthology.org/2023.acl-long.868/ (дата обращения: 02.02.2025).",
    "21": "LLaMA: Open and Efficient Foundation Language Models. LLaMA / H. Touvron, T. Lavril, G. Izacard,  [и др.] arXiv:2302.13971 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2302.13971 (дата обращения: 03.02.2025). – Текст : электронный.",
    "20": "GLM: General Language Model Pretraining with Autoregressive Blank Infilling / Z. Du, Y. Qian, X. Liu [и др.]. – Текст : электронный // Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) ACL 2022 / ред. S. Muresan [и др.]. – Dublin, Ireland : Association for Computational Linguistics, 2022. – GLM. – С. 320-335. – URL: https://aclanthology.org/2022.acl-long.26/ (дата обращения: 03.02.2025).",
    "19": "Exploring Large Language Models for Knowledge Graph Completion / L. Yao, J. Peng, C. Mao, Y. Luo arXiv:2308.13916 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2308.13916 (дата обращения: 03.02.2025). – Текст : электронный.",
    "18": "GPT-4 Technical Report / OpenAI, J. Achiam, S. Adler,  [и др.] arXiv:2303.08774 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2303.08774 (дата обращения: 03.02.2025). – Текст : электронный.",
    "17": "Huguet Cabot, P.-L. REBEL: Relation Extraction By End-to-end Language generation / P.-L. Huguet Cabot, R. Navigli. – Текст : электронный // Findings of the Association for Computational Linguistics: EMNLP 2021 Findings 2021 / ред. M.-F. Moens [и др.]. – Punta Cana, Dominican Republic : Association for Computational Linguistics, 2021. – REBEL. – С. 2370-2381. – URL: https://aclanthology.org/2021.findings-emnlp.204/ (дата обращения: 03.02.2025).",
    "16": "Trajanoska, M. Enhancing Knowledge Graph Construction Using Large Language Models / M. Trajanoska, R. Stojanov, D. Trajanov arXiv:2305.04676 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2305.04676 (дата обращения: 02.02.2025). – Текст : электронный.",
    "15": "Key-Value Memory Networks for Directly Reading Documents / A. Miller, A. Fisch, J. Dodge,  [и др.] arXiv:1606.03126 [cs]. – arXiv, 2016. – URL: http://arxiv.org/abs/1606.03126 (дата обращения: 03.02.2025). – Текст : электронный.",
    "14": "Suchanek, F. M. Yago: a core of semantic knowledge / F. M. Suchanek, G. Kasneci, G. Weikum. – Текст : электронный // Proceedings of the 16th international conference on World Wide Web : WWW ’07. – New York, NY, USA : Association for Computing Machinery, 2007. – Yago. – С. 697-706. – URL: https://doi.org/10.1145/1242572.1242667 (дата обращения: 05.02.2025).",
    "13": "DBpedia: A Nucleus for a Web of Open Data / S. Auer, C. Bizer, G. Kobilarov [et al.] // The Semantic Web / eds. K. Aberer [et al.]. – Berlin, Heidelberg : Springer, 2007. – DBpedia. – P. 722-735.",
    "12": "Vrandečić, D. Wikidata: a free collaborative knowledgebase / D. Vrandečić, M. Krötzsch // Commun. ACM. – 2014. – Т. 57. – Wikidata. – № 10. – С. 78-85.",
    "11": "Graph Retrieval-Augmented Generation: A Survey. Graph Retrieval-Augmented Generation / B. Peng, Y. Zhu, Y. Liu,  [и др.] arXiv:2408.08921 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2408.08921 (дата обращения: 20.01.2025). – Текст : электронный.",
    "10": "A Survey on Knowledge Graphs: Representation, Acquisition, and Applications / S. Ji, S. Pan, E. Cambria [и др.] // IEEE Transactions on Neural Networks and Learning Systems. – 2022. – Т. 33. – A Survey on Knowledge Graphs. – № 2. – С. 494-514.",
    "9": "In Search of Needles in a 11M Haystack: Recurrent Memory Finds What LLMs Miss. In Search of Needles in a 11M Haystack / Y. Kuratov, A. Bulatov, P. Anokhin,  [и др.] arXiv:2402.10790 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2402.10790 (дата обращения: 25.01.2025). – Текст : электронный.",
    "8": "From Local to Global: A Graph RAG Approach to Query-Focused Summarization. From Local to Global / D. Edge, H. Trinh, N. Cheng,  [и др.] arXiv:2404.16130 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2404.16130 (дата обращения: 21.01.2025). – Текст : электронный.",
    "7": "LoRA: Low-Rank Adaptation of Large Language Models. LoRA / E. J. Hu, Y. Shen, P. Wallis,  [и др.] arXiv:2106.09685 [cs]. – arXiv, 2021. – URL: http://arxiv.org/abs/2106.09685 (дата обращения: 28.01.2025). – Текст : электронный.",
    "6": "When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method. When Scaling Meets LLM Finetuning / B. Zhang, Z. Liu, C. Cherry, O. Firat arXiv:2402.17193 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2402.17193 (дата обращения: 28.01.2025). – Текст : электронный.",
    "5": "Retrieval-Augmented Generation for Large Language Models: A Survey. Retrieval-Augmented Generation for Large Language Models / Y. Gao, Y. Xiong, X. Gao,  [и др.] arXiv:2312.10997 [cs]. – arXiv, 2024. – URL: http://arxiv.org/abs/2312.10997 (дата обращения: 29.01.2025). – Текст : электронный.",
    "4": "The ELI5 Guide to Retrieval Augmented Generation | Lakera – Protecting AI teams that disrupt the world. – URL: https://www.lakera.ai/blog/retrieval-augmented-generation (дата обращения: 27.01.2025). – Текст : электронный.",
    "3": "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks / P. Lewis, E. Perez, A. Piktus [и др.]. – Текст : электронный // Advances in Neural Information Processing Systems. – Curran Associates, Inc., 2020. – Т. 33. – С. 9459-9474. – URL: https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html (дата обращения: 25.01.2025).",
    "2": "Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models. Siren’s Song in the AI Ocean / Y. Zhang, Y. Li, L. Cui,  [и др.] arXiv:2309.01219 [cs]. – arXiv, 2023. – URL: http://arxiv.org/abs/2309.01219 (дата обращения: 28.01.2025). – Текст : электронный.",
    "1": "Large Language Models Struggle to Learn Long-Tail Knowledge / N. Kandpal, H. Deng, A. Roberts [и др.]. – Текст : электронный. – arXiv, 2022. – URL: https://arxiv.org/abs/2211.08411 (дата обращения: 28.01.2025)."
  }
}