/
githubmirror
/
Prompt-Engineering-Guide
Обзор
Документация
Войти
/
githubmirror
/
Prompt-Engineering-Guide
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
pages/techniques/multimodalcot.ru.mdx
15 строк
1 KB
Ilya Gusev
added multimodalcot.ru.mdx
05 июн 2023, 00:04
05 июн 2023, 00:04
db07c46
Код
Авторство
О чём код?
# Multimodal CoT Prompting import { Callout, FileTree } from 'nextra-theme-docs' import {Screenshot} from 'components/screenshot' import MCOT from '../../img/multimodal-cot.png' [Zhang и др. (2023)](https://arxiv.org/abs/2302.00923) недавно предложили подход мультимодальной формулировки цепочки мыслей (Multimodal CoT). Традиционная цепочка мыслей сосредоточена на языковой модальности. В отличие от этого, мультимодальная цепочка мыслей объединяет текст и визуальную информацию в двухэтапной структуре. Первый шаг включает генерацию обоснований на основе мультимодальной информации. Затем следует второй этап – вывод ответа, в котором используются информативные созданные обоснования. Модель мультимодальной цепочки мыслей (1B) превосходит GPT-3.5 на бенчмарке ScienceQA. <Screenshot src={MCOT} alt="MCOT" /> Источник изображения: [Zhang и др. (2023)](https://arxiv.org/abs/2302.00923) Дополнительная литература: - [Language Is Not All You Need: Aligning Perception with Language Models](https://arxiv.org/abs/2302.14045) (Feb 2023)