Forskningsgruppa for multimodalitet (FoMu) har en overordnet sosialsemiotisk tilnærming til studier av tekster og tredimensjonale objekter.

Denne forskningsgruppa har tre forskningsområder: 

1) Sosialsemiotikk

Forskningsgruppa har en overordnet sosialsemiotisk tilnærming til tekststudier. Sosialsemiotikken er en overordnet teori for den lingvistiske teorien systemisk funksjonell lingvistikk (SFL) og for multimodale perspektiver

I sosialsemiotikken står mennesket som sosialt vesen i søkelyset, og forskningsfeltet handler om hvordan vi både forstår og bruker ulike semiotiske systemer når mening skapes i ulike samhandlingssituasjoner.

Sosialsemiotikere er opptatt av å beskrive de ulike semiotiske systemene vi har til rådighet (bilder, verbaltekst, gester, lyd og så videre), og av hvordan systemene og de tilhørende ressursene kan brukes for å skape mening om sosiale relasjoner og verden rundt oss. Det er også viktig å studere hvordan meningsskapingen kan tolkes og forstås i ulike kontekster.

Flere av forskerne i forskningsgruppa har publisert studier av multimodale tekster, både internasjonalt og nasjonalt, samt bidratt som redaktører og forfattere i antologier og lærebøker innenfor dette området. 

2) Systemisk funksjonell lingvistikk

Systemisk funksjonell lingvistikk (SFL) er en helhetlig teori som handler mest om språket i bruk, men også om språket som system, og om hvordan språkvalg samspiller med konteksten.

Innenfor denne sosialsemiotiske rammen har forskningsgruppa publisert flere språkvitenskapelige studier med utgangspunkt i SFL.

3) Multimodalitet

Innenfor dette feltet undersøker vi hvordan flere meningsskapende ressurser kan samvirke og motsi hverandre, og ser på hvilke konsekvenser multimodal meningsskaping kan få i forskjellige sammenhenger. Det dreier seg om samspill mellom ulike uttrykksformer som bilder, musikk, lyd, materialitet, bevegelse med mer.

Multimodale studier kan for eksempel gjennomføres innenfor det pedagogiske handlingsfeltet, for å få innsikt i hvordan ulike semiotiske modaliteter og ressurser kan bidra til læring.

Multimodale tilnærminger er svært anvendelige i analyser av mange typer tekster som læreboktekster, bildebøker, avistekster, tekster som medieres digitalt som for eksempel undervisningsvideoer eller tekster som publiseres i sosiale medier med mer. I tillegg undersøker noen av forskerne multimodal meningsskaping i ulike kunstobjekter, blant annet monumenter.

Nettverk

Forskergruppen har et godt utbygd nettverk nasjonalt og internasjonalt.

Medlemmene av gruppen er aktive i Nordisk forening for SFL og sosialsemiotikk og møtes til workshop/konferanse hvert år. Denne foreningen har gitt ut flere publikasjoner der medlemmene av gruppen har bidratt. I tillegg arbeides det i foreningen med nordisk terminologi for SFL og sosialsemiotikk.

Forskergruppen har også nær kontakt med Foreningen for SFL i professionerne i København og Center for multimodal communication, CMC, Syddansk Universitet:  Research Profile CMC - SDU

I tillegg har forskergruppen kontakt med Australian Systemic Functional Association (ASFLA). Flere medlemmer har deltatt på ASFLAs konferanser med bidrag, og dette har ført til konkrete kontakter med forskere i Australia både på feltene SFL og multimodalitet.

Også nasjonalt har forskergruppen forbindelser til andre miljøer som arbeider med SFL og sosialsemiotikk.

Her vil vi særlig nevne multimodalitetsmiljøet ved Universitetet i Agder og SFL-miljøet ved Institutt for litteratur, områdestudier og europeiske språk og Institutt for lingvistiske og nordiske studier ved Universitetet i Oslo.

I tillegg har forskergruppen kontakt til Nasjonalt senter for skriveopplæring og skriveforskning ved NTNU og Nationalt Videncenter for Læsning ved University College Syd, København når det gjelder SFL og multimodal tekstforskning i skole og barnehage. 

Hva forsker vi på?

Prosjekter og nyere publikasjoner
Ph.d.-prosjekter:
  • Moskvil, M. E.: Andrespråkskommunikasjon i akademia. Ein interaksjonell og mikroetnografisk studie av doktorgradsstudentars andrespråksdeltaking i lunsjsamtalar. Eit pågåande prosjekt i doktorgradsprogrammet PEDRES ved Universitetet i Sørøst-Norge. (2022 – 2028 deltid)
  • Linda V.M. Undrum. Pågående prosjekt PEDRES: «Kritisk literacy i det digitale tekstsamfunnet. En analyse av hvordan tekstpraksiser i sosiale medier kan inngå i og bidra til å styrke elevenes kritiske tekstkompetanse»
  • Hagen, A. 2022: Estetisk potensial i narrative apper. Doktoravhandling (artikkelbasert) nr. 138. Universitetet i Sørøst-Norge. Online: USN Open Archive: Estetisk potensial i multimodale narrative apper

  • Eirik Granly Foss (2021): Å fargelegge krisen – Grafisk og auditivt design i læremidlers fremstilling av klimaendringene. Doktoravhandling (artikkelbasert) nr. 102. Universitetet i Sørøst-Norge ISBN: 978-82-7206-616-0 (trykt). ISBN 978-82-7206-617-7 (online): https://hdl.handle.net/11250/2764112 (Ferdigstilt)
  • Rustand, Kari Anne (2019): Taste og tenke, mene og mestre. En tekstanalytisk studie av konstruksjoner av norsklæreridentiteter i multimodale bloggutsnitt. Doktoravhandling (monografi) nr. 39. Universitetet i Sørøst-Norge. ISBN: 978-82-7860-382-6 (trykt) ISBN: 978-82-7860-383-3: https://openarchive.usn.no/usn-xmlui/handle/11250/2611313 (Ferdigstilt)
  • Kruse. K. L. (2018). Bildebøker i multimodale og digitale lese- og skriveprosesser. Elevers skapende arbeid med skriving, bilde, lyd og stemme. (nr. 202). Doktoravhandlinger ved Universitetet i Agder. Kristiansand: Fakultet for humanistiske fag. Fulltekstversjon: https://uia.brage.unit.no/uia-xmlui/handle/11250/2562145 (ferdigstilt).
  • Burgess, Marthe, Ø. (2016): Fra novelle til film. Elevproduserte multimodale tekster på 9. trinn, PhD-avhandling, ILN, Universitetet i Oslo
Medietekster (fra massemedia, sosiale medier ol.)
  • Hagen, A. & Tønnessen, E. S. (2022). Worlds and readers: Augmented reality in Modern Polaxis. Digital Humanities Quarterly 16 (2). http://digitalhumanities.org/dhq/vol/16/2/000619/000619.html

  • Linda V.M. Undrum (2022): Kritisk tilnærming til tekster i sosiale medier: En studie av influenseres tekster på Instagram og unges utfordringer i møte med dem. Acta Didactica Norden. Vol 16 Nr. 2, Art. 9 s. 1-24. https://doi.org/10.5617/adno.8990
  • Veum, Aslaug & Undrum, Linda V.M (2017): “The Selfie as a Global Discourse”. I: Discourse and Society 2018, Vol.29 (1), pp.86-103.
  • Veum, Aslaug: (2016): «Rom-tiggerne – De utskjelte» Ein multimodal analyse av korleis tilreisande rom blir framstilt i norske aviser: I: Askeland, N. og Aamotsbakken. B. (red.): Folk uten land? Å gi stemme og status til urfolk og nasjonale minoriteter. Portal Akademisk Forlag. s.  225-245.
  • Maagerø, Eva (2014): Harry’s Gameboy. A Study in Gaze. I: Mariavita Cambria, Cristina Arizzi and Giulia Magazzù (red.): Web Genres and Web Tools. With Contribution from The Living Knowledge Project. Multimodal Text Studies in English. Serie editor: Anthony Baldry. Italia: Ibi
Multimodalitet i kunst og tredimensjonale objekter
  • Thorsnes, Tollef (2021). ArtClimateRoad and Revelations: Wood textures and experiential metaphors. Volume 1(4) s. 482-496. Multimodality & Society. Academic article, DOI: https://doi.org/10.1177/26349795211059108
  • Thorsnes, Tollef (2019). No mercy no dignity. Refleksjoner over et kunstnerisk utviklingsarbeid i Ål kyrkje. In Christensen, Ingrid R. & Valen-Sendstad, Ådne (ed.) Menneskeverd - en utfordring for skole og samfunn . Cappelen Damm AS. Academic chapter/article/Conference paper,DOI: https://doi.org/10.23865/noasp.90.ch7
  • Thorsnes, Tollef & Veum, Aslaug (2018): Multimodalitet i skapende arbeid. Arkitektur/ kunst/design. Galleberg forlag.
  • Maagerø, Eva & Veum, Aslaug (2018, in press): “Memoria of a National Trauma”. I: Tønnesson, Elise Seip & Forsgren, Frida:  Multimodality and Aesthetics, Routledge.
  • Maagerø, Eva og Aslaug Veum (2015): Moving a king. A social semiotic analysis of Knut Steen’s sculpture of the Norwegian King Olav V, and its relocation. I: Multimodal Communication. 4 (2). Berlin: de Gruyter Mouton https://www.degruyter.com/view/j/mc
Bildebøker (analoge og digitale) samt barn og unges tekster
  • Anette Hagen Disputas 2022: Estetisk potensial i multimodale narrative apper. Universitetet i Sørøst-Norge (Ferdigstilt) https://www.usn.no/forskning/doktorgradsutdanning/disputaser/disputas-anette-hagen
  • Kirsten Linnea Kruse (2022): «Å sette følelser og sanser i spill – elevers skapende arbeid med bildebøker på en digital læringsarena»  Red. Svein Slettan m.fl.:  Eleven og skjønnlitteraturen. Estetisk lesing på barnetrinnet. Cappelen Damm Akademisk. pp 154-177. https://www.cappelendammundervisning.no/_elevene-og-litteraturen-9788202718848

  • Kruse, Kirsten Linnea & Roksvåg, Karete (2021): Møter mellom tekst og digital collage – en didaktisk, estetisk og multimodal tilnærming. Temanummer av Sakprosa. Vol 13, 1. https://doi.org/10.5617/sakprosa.8109 (Fra konferansen i Vestfold i 2019).

  • Burgess, Marthe, Ø. (2016): Fra novelle til film. Elevproduserte multimodale tekster på 9. trinn, PhD-avhandling, ILN, Universitetet i Oslo

  • Maagerø, Eva og Tone Sunde (2016): What makes me happy, and what makes me scared? An analysis of drawings made by Norwegian and Palestinian children. I: European Early Childhood Education Research Journal. Vol. 24 (2).

  • Maagerø, Eva og Guri Lorentzen Østbye (2016): What a girl! Fighting gentleness in the picture book world. An analysis of the Norwegian picture book What a Girl! by Gro Dahle and Svein Nyhus. I: Children’s Literature in Education. Heidelberg og New York: Springer Press

  • Maagerø, Eva og Nahúm Torrez (2015): The Invisible Hunters. En multimodal analyse av en bildebok fra miskito-folket i Nicaragua. I: Stein Laugerud, Maria Elisabeth Moskvil og Eva Maagerø (red.): Flerkulturelle muligheter. Kristiansand: Portal forlag

  • Maagerø, Eva og Anne Øines (2015): Bildebøker og multimodal literacy i flerspråklige barnehager. I: Langerud, Stein m. fl. (red.) Flerkulturelt verksted – ulike tilnærminger til kompetanse for mangfold. Portal Akademiske forlag.

Lærebøker og læringsressurser
  • Kruse og Roksvåg nov 2021: Produksjon av en digital læringsressurs i Canvas Fra dikt til digital collage som vi deler med studenter og faglærere v/ USN: https://www.ludo.usn.no/post/lansering-av-den-tverrfaglige-l%C3%A6ringsressursen-fra-dikt-til-digital-collage
  • Veum, Aslaug (2015): «Skriveoppgåver i utvikling? Skrivediskursar i norskbøker for ungdomsskulen gjennom 30 år». I: Otnes, Hildegunn (red.): Å invitere til skriving. Fagbokforlaget. s. 83-101.
  • Moskvil, M. E. (2015). Reflekterande tekstar av fleirspråklege elevar. I S. Laugerud, M. E. Moskvil & E. Maagerø (Red.), Flerkulturelt verksted. Ulike tilnærminger til kompetanse for mangfold. Kristiansand: Portal Akademisk.
  • Kruse, Kirsten L. (2014). Multimodale og litterære tekstmøter. En undersøkelse av didaktiske muligheter og dannelsespotensial. I: S. Nordstoga & K. L. Kruse (red.), Den moglege sjølvoverskridinga - Norskfaget som danningsfag (s. 179-219): Abstrakt forlag.
  • Johansson Svensson, A., Rustand, K. A., Sofkova Hashemi, S. & Steffensen, T. (2013): Students’ Use of Semiotic Structures in Synchronous Computer-Mediated Communication – An Inter-Scandinavian Study. ECTC-2013, The European Conference on Technology in the Classroom: \"The Impact of Innovation: Technology and You\", July 11-14 2013, Brighton, UK, 150-163: https://www.academia.edu/12633647/Students_Use_of_Semiotic_Structures_in_Synchronous_Computer-Mediated_Communication
Sosialsemiotikk
  • Eva Maagerø, Ruth Mulvad & Elise Seip Tønnessen (2021): Women in Social Semiotics and SFL. Making a Difference. 1st Edition. Routledge ISBN 978-036-7356-026
  • Kruse, K. L. og Rustand, K. A.  (red.) (2021): Sosialsemiotikk, sakprosa og multimodalitet. Tilegnet Eva Maagerø. Temanummer av Sakprosa. Vol 13, 1. Åpen tilgang fra https://journals.uio.no/sakprosa/issue/view/764. (Fra konferansen i Vestfold i 2019).
  • Rustand, Kari Anne (2021): En nivådelt modell for multimodal komposisjonsanalyse av digitalt medierte sakprosatekster. Temanummer av Sakprosa. Vol 13, 1: https://doi.org/10.5617/sakprosa.8122 (Fra konferansen i Vestfold 2019)
  • Moskvil, Jan Øyvind (2021): Multimodal meningsskaping i NRK-produksjonen Sangfoni. Temanummer av Sakprosa. Vol 13, 1: https://doi.org/10.5617/sakprosa.8126 (Fra konferansen i Vestfold 2019)
  • Kvåle, Gunhild, Maagerø, Eva og Veum, Aslaug (red.), 2015. Kontekst, språk og multimodalitet: Nyere sosialsemiotiske perspektiver. Bergen: Fagbokforlaget. (Fra konferansen i Kristiansand i 2013).
  • Andersen, Thomas Hestbæk, Morten Boeriis, Eva Maagerø og Elise Seip Tønnessen (2015): Social Semiotics. Key Figures, New Directions. London: Routledge
  • Maagerø, Eva og Elise Seip Tønnessen (2014): Multimodal tekstkompetanse. Kristiansand: Portal Akademisk Forlag​​​​