2.1. A Construção Multimodal de Significados na Pedagogia das Multiliteracias

A definição do novo conhecimento e conjunto de competências propostos pela pedagogia das multiliteracias apoia-se fortemente na teoria da semiótica social (^{Kress, 2010}), que considera que a comunicação humana é essencialmente multimodal. Segundo a semiótica social, a representação de significados implica a utilização de modos, entendidos como recursos semióticos “socialmente moldados e culturalmente disponibilizados” (^{Kress, 2010}, p. 79). De acordo com este entendimento, os recursos materiais (modos) incluem não só a linguagem escrita, mas também a linguagem oral, imagem fixa e em movimento, cor, som, música, e layout/espaço, intencionalmente utilizados para representar significados. A semiótica social assume ainda que cada modo tem a sua própria gramática específica, compreendendo unidades e regras de representação de significados (^{Kress, 2010}). Estas gramáticas “levaram a uma estabilidade e previsibilidade na construção do significado”, dado tratar-se do “produto da história do trabalho semiótico anterior dos membros de uma comunidade” (^{Bezemer & Kress, 2016}, p. 22).

Decorrendo da linguística sistémico-funcional (^{Halliday & Matthiessen, 2004}), a semiótica social assume que a gramática de qualquer modo serve a representação de três tipos de significado, nomeadamente o experiencial, o interpessoal e o textual. Assume, também, que a realização de cada tipo de significado é definida pelas possibilidades de cada modo, isto é, pelos seus potenciais materiais e limitações para a construção de significado, levando assim à existência de gramáticas diferentes em cada modo (^{Bezemer & Kress, 2016}). Em última instância, isto explica por que razão diferentes modos representam significados diferentes, porque é que significados representados num modo diferem sempre dos representados noutros modos, e por que é importante compreender e aprender a utilizar todos os modos. Embora este modelo teórico de comunicação humana não tenha emergido com referência à comunicação digital, as possibilidades multimodais das novas tecnologias transformaram a multimodalidade numa característica proeminente da representação do significado digital (^{Kress, 2010}; ^{Mills, 2016}; ^{Mills et al., 2023}; ^{Stein, 2008}; ^{Rowsell et al., 2013}).

Uma das repercussões mais importantes da centralidade atribuída à multimodalidade, tanto na comunicação em geral, como na comunicação digital em particular, é a da revisão da noção de texto (^{Pereira, 2019}). Embora um modo possa ser dominante na realização material de um texto, a situação mais frequente é a de que os textos disponibilizados nos média digitais são conjuntos multimodais, nos quais os significados construídos por cada modo são integrados uns nos outros, formando laminações de significados (^{Bezemer & Kress, 2016}; ^{Kress, 2010}). Nestes “complexos multimodais”, os modos não se duplicam nem se ornamentam uns aos outros; pelo contrário, cada modo desempenha diferentes funções, cada qual apresentando “contribuições distintas, específicas e poderosas para o complexo multimodal” (^{Kress, 2010}, p. 23), de acordo com as suas possibilidades e gramáticas, ao mesmo tempo que com muita frequência mantêm diferentes relações intermodais de significação (^{Unsworth, 2006}). Os significados resultantes - os textos - são «mais do que a soma das suas partes constituintes” (^{Kress, 2010}, p. 23), emergindo como uma orquestração coerente de significados em que se identifica “uma ênfase na adequação da seleção, na interdependência mútua e na ‘harmonia semiótica’ de tais elementos” (^{Kress, 2010}, p. 157).

Neste entendimento da comunicação, qualquer representação multimodal de significado (recetiva ou produtiva) é um processo intencional de design de significado:

design no sentido da construção é algo que fazemos no processo de representação de significados, para nós próprios em processos de produção de significados, tais como ler, ouvir ou ver, ou para o mundo em processos comunicativos, tais como escrever, falar ou fotografar. (^{Cope & Kalantzis, 2009}, p. 175)

Assim sendo, este processo de design é identificado com o processo de aprendizagem, e, ao aceitar esta conceção, a teoria das multiliteracias assume que qualquer processo de design pode ser entendido como um processo de aprendizagem transformadora:

na vida do criador de sentido, este processo de transformação é a essência da aprendizagem. O ato de representar para si próprio o mundo e as representações dos outros transforma o próprio aprendente. O ato de desenhar deixa o desenhador redesenhado. (^{Cope & Kalantzis, 2009}, p. 177)

De acordo com a teoria da semiótica social, o design de textos fornece uma base poderosa para a aprendizagem, dada a multiplicidade de significados potencialmente aí representados (^{Bezemer & Kress, 2016}). É, pois, também importante reconhecer a materialidade dos modos face às suas repercussões na conceção da aprendizagem (^{Kress, 2010}; ^{Stein, 2008}). De facto, diferentes modos têm diferentes materializações físicas (sons, marcas, texturas, formas, gestos), e tal materialidade está relacionada com as possibilidades sensoriais do corpo humano (as materializações físicas podem ser vistas, ouvidas, tocadas, cheiradas, provadas). Como ^{Stein (2008}) afirma,

o conceito de multimodalidade é inseparável do conceito de corpos. Os corpos produzem a multimodalidade através da forma como são constituídos sensorialmente e como os sentidos atuam no mundo e são o alvo das ações dos outros. Os sentidos são altamente sofisticados na informação que nos fornecem: não atuam isoladamente na maioria dos casos e este facto “garante” a multimodalidade do nosso mundo semiótico. (p. 26)

Uma consequência do uso das formas de representação multimodais, assumida pela pedagogia das multiliteracias, é a da redefinição da teoria sociocultural da aprendizagem como um processo semiótico complexo, na medida em que é o conjunto de recursos semióticos com os quais estes significados são concebidos (e não apenas a linguagem verbal) que constitui o conjunto de ferramentas essenciais para a produção de significados e aprendizagem em qualquer área do conhecimento. ^{Kress (1997}) enfatiza-o quando argumenta que “é essencial insistir em desfazer a ligação, existente no senso comum, entre cognição e linguagem, segundo a qual a primeira é assumida como dependente da segunda, não sendo possível sem ela” (p. 43).

Estas razões sustentam a defesa, pela teoria das multiliteracias, de que os recursos multimodais de representação de significados, cada um com a sua própria gramática, potencialidades, e limitações, devem definir o conteúdo das aprendizagens essenciais de literacia nas escolas. O objetivo é o de que os alunos ampliem e dominem os conhecimentos e competências que lhes permitam orquestrar adequadamente os significados multimodais dos textos que leem e produzem, incluindo aqueles mediados por um ecrã (^{Cope & Kalantzis, 2009}).

2.2. A Diversidade Linguístico-Cultural na Pedagogia das Multiliteracias

Outra preocupação central da pedagogia das multiliteracias é a da necessidade de incluir a diversidade linguístico-cultural no âmbito da educação para a literacia. Assumese que a diversidade cultural e linguística que caracteriza as sociedades no século XXI, sobretudo devido à migração, se constitui como fator de complexificação das práticas comunicativas, trazendo consigo a necessidade de sustentar e promover os direitos humanos e a justiça social nos contextos educativos. Esta preocupação do NLG faz claramente eco do apelo do Conselho da Europa (^{Council of Europe, 2008}) para a promoção de uma pedagogia para a diversidade cultural, centrada no reconhecimento de identidades individuais e na pluralidade linguística e cultural e no estabelecimento de um diálogo baseado na igualdade e na partilha de valores. Numa edição da Comunicação e Sociedade dedicada à análise e desconstrução dos discursos sobre migrantes, refugiados e minorias na esfera pública (^{Martins et al., 2020}), diferentes autores chamam a atenção para a importância da comunicação intercultural e do diálogo colaborativo na promoção da compreensão e do respeito mútuo (^{Silva et al., 2019}). No entanto, ir além da mera retórica intercultural e conseguir uma transformação da comunicação exige a adoção de uma perspetiva crítica na compreensão da interculturalidade, não simplesmente o reconhecimento e a tolerância do “outro”, mas o escutar ativamente e o dialogar (^{Brasil & Cabecinhas, 2019}). Esta exigência está alinhada com a Agenda 2030 das Nações Unidas, que se compromete a promover “a compreensão intercultural, a tolerância, o respeito mútuo e uma ética de cidadania global e responsabilidade partilhada” (^{United Nations General Assembly, 2015}, p. 10).

2.3. Story Apps na Construção da Pedagogia das Multiliteracias

A construção da pedagogia das multiliteracias traz consigo a necessidade de conceber metodologias que fomentem o diálogo intercultural, incluindo estratégias de ensino e aprendizagem de competências interculturais e de produção de significados multimodais. Em particular, torna-se necessário conceber experiências de aprendizagem que tirem partido de vários recursos digitais, criando oportunidades para os alunos construírem ideias e identidades através da utilização de recursos multimodais (^{Lim et al., 2021}).

As story apps, que se têm tornado populares em contextos escolares, são um exemplo de textos digitais com potencial para essa função, como sugerem estudos realizados nos últimos anos. ^{Zhao e Unsworth (2016}) apresentam uma análise semiótica social do design tátil em story apps discutindo como áreas interativas, hotspots, podem contribuir para a produção de significados. Os autores diferenciam entre hotspots interativos extra-texto e hotspots interativos intra-texto. Os hotspots interativos extra-texto são representações visuais de certas funcionalidades (e.g., um microfone indica a função de gravação áudio), que não criam qualquer significado dentro da história (^{Zhao & Unsworth, 2016}, p. 92). Pelo contrário, a interação com um hotspot intra-texto contribui para a criação de sentido dentro da narrativa. ^{Hagen e Mills (2022}) exploram o funcionamento do ritmo nas aplicações literárias, com base na compreensão de que o ritmo constitui uma parte importante da produção de significado do leitor na utilização de aplicações literárias. Os autores argumentam que “o ritmo não só contribui para a construção de coesão multimodal das aplicações literárias, mas também é fundamental para o potencial significado” (^{Hagen & Mills, 2022}, p. 19). Isto mostra que as relações multimodais entre imagem, música, som e outros elementos interativos no design de tais aplicações diferem das dos formatos de livros impressos e promovem uma interatividade e dinâmica novas durante a experiência de leitura. Por fim, ^{Frederico (2021}, p. 21) aborda a leitura digital na primeira infância a partir da análise empírica de eventos de leitura com story apps em que participam crianças e os seus pais. A autora argumenta que a leitura literária digital na primeira infância é uma prática com três características-chave: corporizada, afetiva e agentiva. O seu estudo mostra que as story apps apontam para um novo paradigma de leitura participativa e agentiva para os jovens leitores.

A pesquisa que aqui apresentamos traz a este corpo de estudos, centrado na discussão de dimensões particulares das story apps, uma análise abrangente e aprofundada do design dos significados multimodais de uma story app. Embora aparentemente pouco reconhecido na literatura, o design de média digitais desempenha um papel central na produção de novos recursos materiais (como story apps), oferecendo textos multimodais e interculturais que promovem a construção da pedagogia das multiliteracias. Neste artigo, apresentamos um estudo centrado num desses casos: a story app que incorpora um conjunto de média digitais que conceitualizámos, concebemos e desenvolvemos para apoiar a produção de significados interculturais e multimodais na escola.

3.1. O Estudo

Como referido na introdução, temos desenvolvido estudos do Mobeybou no Brasil com o objetivo de compreender o design multimodal de significados interculturais (^{Pereira et al., 2022}). Em linha com o tema da presente edição, neste artigo examinamos a aplicação partindo da seguinte questão de investigação: o que é possível aprender sobre o design de textos multimodais destinados a promover a aprendizagem intercultural a partir do design desta story app? Ao responder a esta questão, pretendemos contribuir para a compreensão dos desafios colocados pela conceção de textos digitais destinados a promover a pedagogia das multiliteracias. Para responder a esta questão de investigação, dividimo-la em duas sub-questões, uma centrada na representação multimodal dos significados de “diversidade”, e a outra, no posicionamento pessoal do leitor em relação a essa diversidade:

Para responder a estas sub-questões, realizámos uma análise do discurso multimodal dos Episódios 2 a 10 (que, como referido antes, constituem a segunda camada de significado da narrativa), durante os quais a personagem descobre a diversidade do Brasil. A análise envolveu um conjunto de categorias que combina contributos da linguística sistémico-funcional (^{Halliday & Matthiessen, 2004}; ^{Martin & Rose, 2007}), do design visual (^{Kress & van Leeuwen, 2006}), da análise da narrativa visual (^{Painter et al., 2012}), da modelização das relações intermodais de significado (^{Unsworth, 2006}), tendo também tido em consideração contribuições importantes da narratologia, especificamente ao nível da concetualização da focalização narrativa (^{Bal, 2017}). As categorias assim criadas foram úteis para (a) identificar e distinguir os significados representados nos diferentes modos; e (b) classificar as relações de significado intermodal estabelecidas dentro da sua representação, como se descreve de seguida.

Significados e Modos. A linguística sistémico-funcional ajudou-nos a compreender que os conjuntos de significados que queríamos analisar constituem significados ideacionais, que são os significados sobre a diversidade cultural e histórica do Brasil e a sua biodiversidade, e significados interpessoais, sobretudo significados avaliativos (^{Halliday & Matthiessen, 2004}), referentes ao posicionamento pessoal do leitor em relação à diversidade ideacional que é representada. Na story app, os modos envolvidos na representação destes significados são o verbal (oral e escrito), o visual (imagens estáticas e em movimento), o aural e o gestual.

Significados Ideacionais e Interpessoais. Utilizámos “processos”, “participantes” e “circunstâncias” como categorias-chave para identificar significados ideacionais (^{Halliday & Matthiessen, 2004}; ^{Kress & van Leeuwen, 2006}) representados nos quatro modos. Os vetores, que são linhas imaginárias envolvendo movimentos dos olhos e do corpo, foram especialmente importantes para identificar a representação visual dos processos em que a personagem está envolvida ao longo da sua viagem imaginária.

Utilizámos “atitudes” e “fontes de atitudes” como categorias orientadoras para identificar a representação de significados interpessoais. A análise da representação das “atitudes” expressas no modo verbal foi orientada pelas categorias “afeto” (a expressão dos sentimentos em linguagem verbal) e “apreciação” (a apreciação das qualidades e da composição do cenário; ^{Martin & Rose, 2007}).

Para analisar a representação das atitudes no modo visual, utilizamos categorias derivadas da gramática das narrativas visuais (^{Painter et al., 2012}), nomeadamente “pathos” (em particular, expressões faciais), “afeto” (significados apreciativos, empáticos ou personalizados inferidos a partir da representação facial), “distância social” (enquadre amplo, médio ou primeiro plano), “envolvimento” (ângulo horizontal oblíquo, ou frontal), “poder” (ângulo vertical inferior, neutro ou superior) e “contacto visual” com o leitor/visualizador. Na análise da representação das atitudes em relação ao contexto/ ambiente, guiamo-nos pela “variação”, “temperatura” e “saturação” de cores.

Os significados representados por estes recursos são importantes no posicionamento pessoal do leitor/visualizador, como, por exemplo, o estar próximo de personagens com as quais se identifica pessoalmente ou distante daqueles com os quais não se identifica. Contudo, a fonte das atitudes representadas também desempenha um papel na construção desse posicionamento. Analisámos as fontes das atitudes representadas de acordo com a teoria da focalização narrativa (^{Bal, 2017}; ^{O’Brien, 2014}). Na narratologia, a focalização capta quem vê/experiencia/sente e as suas avaliações (como avalia o que vê/experiencia), que é diferente de quem conta/expõe uma história, papel sempre desempenhado pelo narrador. No nosso estudo, esta distinção tornou-se especialmente significativa porque as crianças, o público alvo da story app, tendem a identificar-se com as avaliações do focalizador, recebendo a sua atenção e simpatia (^{Bal, 2017}). Classificámos o focalizador de acordo com as seguintes categorias: “focalizador externo”, existente por omissão e realizado pelo narrador (no modo verbal) ou pelo visualizador (no modo visual); “focalizador interno”, quando é a personagem quem vê, sendo neste caso a personagem (e não o narrador) que sente, decide, vê, ouve, observa, ou experimenta, estando o leitor/visualizador alinhado com a personagem; e “focalizador duplo”, quando o narrador pode “ver com a personagem” (^{Bal, 2017}, p. 144), “como se estivesse a espreitar por cima do seu ombro” (p. 146), caso em que a própria personagem é responsável pela avaliação apresentada.

Relações de Significado Intermodais. Para analisar a representação multimodal de significados, aplicámos uma tipologia de relações de significado intermodais derivada de ^{Unsworth (2006}) e ^{Painter et al. (2012}). Utilizámos três categorias principais: “convergência”, “complementaridade” e “conexão”. “Convergência” designa os casos em que dois ou mais modos representam informação equivalente ou relacionada. Usámos dois subtipos de convergência: “exposição” (quando os significados representados nos modos têm o mesmo nível de generalidade) e “instanciação” (quando um modo indica uma instância/exemplo de um elemento representado por outro). A relação de “complementaridade” estabelece-se nos casos em que cada modo contribui com diferentes significados para a construção da coerência global. Na análise, emergiram dois tipos de convergência: “ressonância” (na representação de atitudes) e “alinhamento” (na representação de fontes de atitudes/focalização). A relação de “conexão” estabelece-se quando a informação apresentada por um modo está relacionada, quer por “projeção” (quando a informação oferecida num modo é projetada pela informação representada no outro), quer por “conjunção” (quando essa informação tem um significado causal, temporal ou espacial).

Por fim, quantificámos as instâncias intermodais em cada categoria analítica para obter uma visão mais refinada da natureza multimodal do texto.

A análise foi realizada por dois autores de forma independente. Os resultados preliminares foram discutidos por todos os autores, sendo o nosso instrumento analítico final apresentado abaixo (Tabela 1).

Tabela 1 Instrumento de análise 

4.1. Episódio 4: Descobrindo e Apreciando a Avenida Paulista

Os quatro modos combinam-se no design deste episódio, que se segue a uma visita às Cataratas do Iguaçu, apresentada no episódio anterior. O modo verbal contribui com a seguinte informação: “da natureza exuberante para um centro urbano agitado. Na Avenida Paulista, havia museus, prédios, carros e ruídos. Entre a beleza da natureza e o movimento da avenida, Iara começou a perceber o Brasil e a sua diversidade”. A avenida e vários elementos são exibidos visualmente, mas não a personagem que vê a avenida. O gesto/toque está envolvido quando o leitor ativa o ambiente de 360°, proporcionando a oportunidade de simular uma “vista de rua”, movendo o dispositivo digital em todas as direções, tal como capturado nas sequências de imagens da Figura 14. Por fim, o modo aural reproduz sons reais de grandes centros urbanos, incluindo buzinas de automóveis, sons de movimento e vozes de pessoas.

Retirado de Mobeybou in Brazil, por ^{Mobeybou, 2020}

Figura 14 Uma vista de rua de 360° da Avenida Paulista 

Os quatro modos estão estreitamente interligados na construção deste episódio, criando diferentes relações intermodais na representação de significados ideacionais e interpessoais.

Significados Ideacionais Intermodais. Um exemplo claro de convergência por instanciação identifica-se no momento em que os museus e edifícios são genericamente mencionados no modo verbal (“na Avenida Paulista, havia museus, prédios, carros e ruídos”) e simultaneamente representados visualmente por exemplos concretos, como o Museu de Arte de São Paulo, um famoso museu localizado na Avenida Paulista. Um exemplo claro de complementaridade por expansão encontra-se na extrapolação que as imagens oferecem dos elementos mencionados no texto verbal, por exemplo, através da representação de autocarros e de um parque. Além disso, um exemplo de conexão por causalidade configura-se quando o que a personagem vê e ouve (modos visual e aural) a leva a compreender melhor a diversidade no Brasil, como expresso no modo verbal: “entre a beleza da natureza e o movimento da avenida, Iara começou a perceber o Brasil e a sua diversidade”.

Significados Interpessoais Intermodais. Um exemplo de ressonância entre os modos pode ser encontrado na construção de uma apreciação positiva em relação à avenida: o modo verbal contribui com “um centro urbano agitado” e “a agitação da cidade”; o modo visual mostra a variação de cores, gerando uma sensação de familiaridade, e cores quentes dominantes, criando um ambiente positivo; e os sons, no modo aural, intensificam o estímulo para o leitor imergir no ambiente 360°.

Um exemplo de alinhamento encontra-se na construção do posicionamento do leitor através do processo de focalização. Neste episódio, há uma focalização interna tripla, alinhando o narrador, a personagem e o visualizador nas atitudes expressas: o visualizador vê através dos olhos da personagem no modo visual enquanto ouve (ou lê) a voz do narrador, que assume claramente a apreciação da personagem expressa no modo verbal. Esta focalização tripla reforça o posicionamento do leitor em relação à atitude de valorização positiva para com a diversidade apresentada.

4.2. Episódio 5: Surpresa no Pantanal

Depois de descobrir a Avenida Paulista, ao leitor é apresentado o Pantanal. O texto verbal é o seguinte: “mais uma página virada. Iara viu tuiuiús, araras e jacarés: era o Pantanal! No meio da vegetação, Iara ouviu um barulho estranho. O que estaria a mover-se atrás do arbusto?”. No modo visual, mostram-se as terras pantanosas do Pantanal. A protagonista é representada em primeiro plano ao lado de (e olhando para) um arbusto na imagem fixa; na imagem em movimento, é apresentado outro participante, o papa-formigas, que é revelado através do gesto/toque, tal como capturado nas sequências de imagens da Figura 15. Por fim, o modo aural oferece o som da realidade concreta: o som do papa-formigas em movimento, o som das folhas do arbusto, o riso da personagem, a água em movimento e o canto dos pássaros.

Retirado de Mobeybou in Brazil, por ^{Mobeybou, 2020}

Figure 15 Sequências de imagens no Episódio 5, que culminam com a descoberta do papa-formigas 

Neste episódio, os quatro modos também se combinam para construir significados ideacionais e interpessoais, através de diferentes relações intermodais.

Significados Ideacionais Intermodais. Neste episódio, os significados ideacionais sobre os participantes e as suas circunstâncias são construídos através de uma série de relações de convergência entre os modos. Um exemplo perfeito de convergência por relação de exposição é a referência verbal ao movimento por trás do arbusto (“no meio da vegetação, Iara ouviu um barulho estranho. O que estaria a mover-se atrás do arbusto?”), a representação visual do movimento das folhas, e o seu som ouvido no modo aural. A mesma instância ilustra uma relação intermodal de complementaridade, uma vez que o modo visual mostra a personagem a olhar atentamente para o arbusto, como revelado pelos vetores nos seus olhos. Um exemplo de complementaridade no significado intermodal é a representação das terras pantanosas do Pantanal, em que o modo visual amplifica a informação apresentada nos modos verbal e aural, sobretudo através da representação da água, que não é mencionada verbalmente. Há igualmente uma relação muito significativa de conexão por projeção entre modos, uma vez que os modos tátil e visual fornecem informação que responde à pergunta colocada no modo verbal: o papa-formigas é apresentado, acrescentando à representação da diversidade.

Significados Interpessoais Intermodais. Um exemplo de ressonância entre os modos pode ser encontrado na construção da atitude de apreciação da personagem: o modo verbal contribui com “Iara viu tuiuiús, araras e jacarés: era o Pantanal!”; e o modo visual mostra a sua expressão facial atenta enquanto observa o cenário no início do episódio. Um exemplo claro de relação de complementaridade encontra-se na construção da proximidade da personagem com o leitor, dado que o modo visual complementa o modo verbal através do posicionamento da personagem na cena: embora apresentados num ângulo horizontal, oblíquo, num enquadramento de tamanho médio, que posiciona o visualizador/leitor como observador, as personagens estão centradas no ecrã e apresentadas num ângulo neutro, sugerindo a sua proximidade e identificação com o leitor/visualizador. Além disso, as diferentes expressões faciais de ambas personagens mostram as suas reações positivas, o que potencia a empatia do leitor/visualizador.

4.3. Episódio 6: Saborear Diversas Frutas Brasileiras

O Episódio 6 representa uma pausa na viagem imaginária da personagem pelo seu país e propõe a preparação de um sumo natural com frutas indígenas brasileiras. O texto verbal deste episódio diz: “depois de tanto viajar, Iara decidiu fazer um sumo natural: ciriguela, cupuaçu, jabuticaba, caju, goiaba, abacaxi, maracujá, araçá, guabiroba, grumixama, cambuci e pitanga! Muitas frutas para experimentar!”. Um conjunto de frutas é visualmente apresentado juntamente com um liquidificador, como se ilustra na Figura 16. O visualizador/leitor é convidado a arrastar cada fruta para o liquidificador utilizando o toque. Quando essa ação termina, a personagem entra no ecrã e prova o sumo, ao mesmo tempo que se vira para o leitor/visualizador e lhe pisca o olho, como capturado nas Figuras 17 e 18. O modo aural contribui com os sons da liquidificação e o som de satisfação e o piscar do olho da personagem.

Retirado de Mobeybou in Brazil, por ^{Mobeybou, 2020}

Figura 16 Representação das frutas 

Retirado de Mobeybou in Brazil, por ^{Mobeybou, 2020}

Figura 17 Quando o sumo está pronto, a Iara aparece 

Retirado de Mobeybou in Brazil, por Mobeybou, 2020

Figura 18 Iara pisca o olho ao leitor/visualizador 

Significados Ideacionais Intermodais. Na construção de significados ideacionais, encontramos um exemplo de convergência por instanciação entre os modos verbal e visual quando cada fruta é visualmente exibida e verbalmente referida. Um exemplo de complementaridade encontra-se na exibição visual do liquidificador, que não é mencionado verbalmente (Figura 18). Encontra-se um exemplo de conexão por conjunção causal entre o conteúdo do modo verbal e a imagem visual em movimento quando a personagem prova o sumo.

Significados Interpessoais Intermodais. Há um exemplo de ressonância entre os modos na origem da apreciação sobre os frutos prestes a serem utilizados para fazer o sumo, tanto no modo verbal como no visual: em ambos, a personagem é a origem da avaliação. Outra apreciação, explícita na imagem em movimento, identifica-se quando a personagem olha diretamente para o leitor/visualizador e pisca o olho, mostrando a sua satisfação facial e construindo um exemplo de complementaridade intermodal (Figura 18). Juntamente com as suas expressões faciais, este contacto visual é uma estratégia poderosa para construir envolvimento e proximidade com o leitor/visualizador.

4.4. Episódio 10: Conhecer e Desfrutar do Frevo

Três modos estão envolvidos na representação do Episódio 10. O texto verbal deste episódio diz: “de sombrinha colorida na mão, Iara sentiu a energia que vibrava no ar. Ela pulou, saltou e dançou: o ritmo do frevo completou o mosaico de tradições brasileiras”; as imagens em movimento mostram em primeiro plano a personagem a dançar com uma sombrinha na mão juntamente com duas personagens que conheceu anteriormente na sua viagem imaginária pelo Brasil: o papa-formigas e o boi-bumbá (uma personagem dum festival brasileiro), numa atmosfera animada (Figura 19); o modo aural contribui com o som tradicional do frevo. Não há intervenção do modo gestual.

Retirado de Mobeybou in Brazil, por ^{Mobeybou, 2020}

Figura 19 A dançar o frevo 

Mais uma vez, os diferentes modos estão entrelaçados na construção deste episódio, evidenciando várias relações intermodais na representação de significados ideacionais e interpessoais.

Significados Ideacionais Intermodais. Exemplos claros de convergência por instanciação são a menção do ritmo do frevo no modo verbal e a sua representação tanto pelo modo aural como pela imagem em movimento. Um exemplo de convergência por exposição é a referência à sombrinha colorida, à dança e aos saltos no modo verbal e a sua exibição no modo visual. A complementaridade por expansão de significados ocorre, por exemplo, quando o modo visual mostra outras personagens a dançar além de Iara, o único participante mencionado no texto verbal.

Significados Interpessoais Intermodais. Um exemplo de ressonância entre os modos verbal e visual encontra-se na representação da atitude de afeto da personagem: o modo verbal contribui com a informação de que Iara “sentiu a energia que vibrava no ar”; o modo visual mostra uma linguagem facial e corporal alegre. Outro caso de ressonância intermodal está na representação da apreciação positiva que a personagem faz do ambiente no modo verbal e na seleção de cores no modo visual. Ao apresentar o ritmo do frevo, o modo aural contribui ativamente neste episódio para imergir o leitor/visualizador no universo narrativo, intensificando a sua experiência da intensidade e alegria do ritmo musical.

Uma relação de complementaridade por amplificação identifica-se quando o modo verbal complementa os significados apresentados pelo visual com focalização interna e dupla: enquanto o texto verbal inclui o ponto de vista do narrador (“de sombrinha colorida na mão”) bem como a focalização e avaliações internas da personagem (“Iara sentiu a energia que vibrava no ar”), aqui assumida pelo narrador, a cena é visualmente representada a partir de uma focalização externa, com as três personagens num enquadramento médio, apresentadas num ângulo frontal, horizontal e neutro, posicionando o leitor/visualizador numa relação de poder neutra em relação à personagem, estimulando definitivamente a sua identificação com a personagem.