Re-evaluating Governing Principles: Navigating the Integration of Generative AI in Everyday Communication Systems

• Laufzeit: 2024 – 2027
• Projektleitung: Dr. Rebecca Scharlach

Gefördert durch: Zentrale Forschungsförderung (ZF), Universität Bremen

Kurzbeschreibung

Dieses postdoktorale Forschungsprojekt untersucht die sozio-technischen Auswirkungen der Integration generativer KI in Kommunikationssysteme. Durch Policy-Analysen, Expert:innen-Interviews und Nutzer:innen-Befragungen werde ich untersuchen, wie sich Werte im Kontext fortlaufender technologischer und regulatorischer Veränderungen entwickeln.

Projektübersicht

Dieses Forschungsprojekt analysiert die Prinzipien, die die Regulierung generativer KI prägen, sowie die Anpassungsstrategien von KI-Unternehmen an technologische und regulatorische Veränderungen. Durch Policy Analysen, Expert:innen-Interviews und Fokusgruppen soll das Projekt auch Nutzer:innen Perspektiven auf die Entwicklung von Werten in digitalen Räumen sowie deren Verständnis von generativer KI beleuchten. Ziel ist es, zur wissenschaftlichen und öffentlichen Debatte über das Zusammenspiel zwischen neuen Technologien, Plattform-Governance und gesellschaftlichen Wertverschiebungen beizutragen.

Die rasche Verbreitung generativer KI-Tools – darunter Chatbots und Bildgenerierungssoftware – hat große Technologieunternehmen zu zentralen Akteuren der algorithmischen Gesellschaft gemacht. Angesichts kontroverser Debatten und regulatorischer Umbrüche, insbesondere in der Europäischen Union, spielen KI-Unternehmen eine entscheidende Rolle bei der Gestaltung der digitalen Kommunikationslandschaft. Während KI-basierte Empfehlungssysteme die Nutzer:innen-Bindung und Inhaltsmoderation verbessern können (Gillespie, 2018), bestehen weiterhin Bedenken hinsichtlich Diskriminierung (Sandvig et al., 2014), Desinformation (Carlson, 2020; Mourão et al., 2019), Risiken für vulnerable Gruppen (DeCook et al., 2022; Gillett et al., 2022) und suchtähnlichem Nutzungsverhalten (Bhargava & Velasquez, 2021). Obwohl die Forschung zu generativer KI noch in den Anfängen steckt, werfen ihre Auswirkungen auf Kommunikation und Kultur bereits drängende Fragen auf (z. B. Hepp et al., 2023). Sogenannte Large Language Models (LLMs) wie GPT-4 (OpenAI, 2023) sowie audiovisuelle Generatoren wie Midjourney und DALL-E (Ramesh et al., 2021) haben generative KI einer breiten Öffentlichkeit zugänglich gemacht, doch ihre langfristigen Auswirkungen auf die Inhaltsproduktion und Tech Governance sind noch unklar.

Empirische Studien zeigen, dass große Technologieplattformen Werte strategisch einsetzen, um Inhalte zu steuern (Hallinan, 2023), Moderationsentscheidungen zu legitimieren (Gillespie, 2018), gesellschaftliche Konzepte wie Hate Speech neu zu definieren (Siapera & Viejo-Otero, 2021) und regulatorische Verantwortung zu verschieben (Scharlach et al., 2023; Scharlach & Hallinan, 2023). Plattformwerte, die ich als grundlegende Prinzipien definiere, die sich in der Governance sozialer Medien ausdrücken (Scharlach, 2024), werden gezielt genutzt, um Konflikte zu entschärfen und regulatorischer Kontrolle zu entgehen. Doch angesichts rasanter technologischer Entwicklungen und neuer regulatorischer Maßnahmen (z. B. Katzenbach, 2021) steht die Plattform-Governance Forschung an einem Wendepunkt. Die Integration generativer KI bringt Herausforderungen mit sich, darunter Fragen der Regulierung, ethische Implikationen und die Auswirkungen KI-gesteuerter Inhaltsmoderation (Floridi, 2023; Helberger, 2023; Katzenbach, 2021; Hendrix, 2024).

Jüngste Entwicklungen verdeutlichen den Wandel der regulatorischen Landschaft. Plattformen wie TikTok, YouTube und Meta haben Anforderungen eingeführt, wonach KI-generierte Inhalte als „synthetische Inhalte“ kennzeichnen müssen (Whitney, 2024). Gleichzeitig arbeiten Industrieakteure an Standards und technischen Verfahren zur Erkennung von KI-generierten Medien (Clegg, 2024; TikTok, 2019). Diese Maßnahmen befinden sich jedoch noch in einem frühen Stadium und werfen Fragen zu möglichen Mängeln und unbeabsichtigten Folgen auf. Angesichts dieser Entwicklungen ist eine kritische Untersuchung der Rolle von Werten in der Regulierung und Entwicklung generativer KI unerlässlich.

Forschungsfragen

Dieses Projekt geht den folgenden zentralen Fragen nach:

• Wie passen Technologieunternehmen ihre Wertsysteme an technologische und regulatorische Veränderungen an?
• Welche Prinzipien leiten – und sollten leiten – die Integration und Regulierung generativer KI in Kommunikationssystemen?
• Welche Rolle können Plattformwerte bei der Formulierung gegenwärtiger und zukünftiger KI-Governance-Praktiken spielen?

Die Analyse dieser Bereiche wird ein tiefgehendes Verständnis der unterschiedlichen Stakeholder:innen-Ansichten ermöglichen und zentrale Prioritäten für die zukünftige Regulierung von (neuen) Technologien identifizieren.

Forschungsergebnisse

Erste Ergebnisse werden auf der AlgoSoc-Konferenz in Amsterdam (Niederlande) sowie auf der ICA-Konferenz in Denver (USA) präsentiert.

Literatur:

Bhargava, V. R., & Velasquez, M. (2021). Ethics of the Attention Economy: The Problem of Social Media Addiction. Business Ethics Quarterly, 31(3), 321–359. https://doi.org/10.1017/beq.2020.32

Burgess, J. (2021). Platform Studies. In S. Cunningham & D. Craig (Eds.), Creator Culture: An Introduction to Global Social Media (pp. 21–38). New York University Press. https://doi.org/10.18574/nyu/9781479890118.003.0005

Carlson, M. (2020). Fake news as an informational moral panic: The symbolic deviancy of social media during the 2016 US presidential election. Information, Communication & Society, 23(3), 374–388. https://doi.org/10.1080/1369118X.2018.1505934

Clegg, N. (2024, February 6). Labeling AI-Generated Images on Facebook, Instagram and Threads. Meta. https://about.fb.com/news/2024/02/labeling-ai-generated-images-on-facebook-instagram-and-threads/

DeCook, J. R., Cotter, K., Kanthawala, S., & Foyle, K. (2022). Safe from “harm”: The governance of violence by platforms. Policy & Internet, 14(1), 63–78. https://doi.org/10.1002/poi3.290

Floridi, L. (2023). The Ethics of Artificial Intelligence: Principles, Challenges, and Opportunities. Oxford University Press.

Gillespie, T. (2018). Custodians of the Internet: Platforms, Content Moderation, and the Hidden Decisions that Shape Social Media. Yale University Press.

Gillespie, T., Aufderheide, P., Carmi, E., Gerrard, Y., Gorwa, R., Matamoros-Fernández, A., Roberts, S. T., Sinnreich, A., & Myers West, S. (2020). Expanding the debate about content moderation: Scholarly research agendas for the coming policy debates. Internet Policy Review, 9(4). https://doi.org/10.14763/2020.4.1512

Gillett, R., Stardust, Z., & Burgess, J. (2022). Safety for Whom? Investigating How Platforms Frame and Perform Safety and Harm Interventions. Social Media + Society, 8(4), 20563051221144315. https://doi.org/10.1177/20563051221144315

Gorwa, R. (2019). What is platform governance? Information, Communication & Society, 22(6), 854–871. https://doi.org/10.1080/1369118X.2019.1573914

Hallinan, B. (2023). No judgment: Value optimization and the reinvention of reviewing on YouTube. Journal of Computer-Mediated Communication, 28(5), zmad034. https://doi.org/10.1093/jcmc/zmad034

Hallinan, B., & Brubaker, J. R. (2021). Living With Everyday Evaluations on Social Media Platforms. International Journal of Communication, 15(0).

Hallinan, B., Scharlach, R., & Shifman, L. (2021). Beyond Neutrality: Conceptualizing Platform Values. Communication Theory.

Helberger, N. (2023, July 18). Generative AI in media & journalism: Think big, but read the small print first. Medium. https://generative-ai-newsroom.com/generative-ai-in-media-journalism-think-big-but-read-the-small-print-first-375f2ecb1256

Hendrix, J. (2024, January 28). How To Assess AI Governance Tools | TechPolicy.Press. Tech Policy Press. https://techpolicy.press/how-to-assess-ai-governance-tools

Hepp, A., Loosen, W., Dreyer, S., Jarke, J., Kannengießer, S., Katzenbach, C., Malaka, R., Pfadenhauer, M., Puschmann, C., & Schulz, W. (2023). ChatGPT, LaMDA, and the Hype Around Communicative AI: The Automation of Communication as a Field of Research in Media and Communication Studies. Human-Machine Communication, 6(1). https://doi.org/10.30658/hmc.6.4

Katzenbach, C. (2021). “AI will fix this” – The Technical, Discursive, and Political Turn to AI in Governing Communication. Big Data & Society, 8(2), 205395172110461. https://doi.org/10.1177/20539517211046182

Mourão, R. R., Robertson, C. T., & Robertson, C. T. (2019). Fake News as Discursive Integration: An Analysis of Sites That Publish False , Misleading , Hyperpartisan and Sensational Information Fake News as Discursive Integration: An Analysis of Sites That Publish False , Misleading , Hyperpartisan and Sensation. Journalism Studies, 0(0), 1–19. https://doi.org/10.1080/1461670X.2019.1566871

Sandvig, C., Hamilton, K., Karahalios, K., & Langbort, C. (2014). Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms. Data and Discrimination: Converting Critical Concerns into Productive Inquiry. International Communication Association, Seattle, WA.

Scharlach, R., & Hallinan, B. (2023). The value affordances of social media engagement features. Journal of Computer-Mediated Communication, 28(6). https://doi.org/10.1093/jcmc/zmad040

Scharlach, R., Hallinan, B., & Shifman, L. (2023). Governing principles: Articulating values in social media platform policies. New Media & Society. https://doi.org/10.1177/14614448231156580

Scharlach, R. (2024). How to Spark Joy: Strategies of Depoliticization in Platform’s Corporate Social Initiatives. Social Media + Society, 10(3). https://doi.org/10.1177/20563051241277601

Siapera, E., & Viejo-Otero, P. (2021). Governing Hate: Facebook and Digital Racism. Television & New Media, 22(2), 112–130. https://doi.org/10.1177/1527476420982232

TikTok. (2019, August 16). New labels for disclosing AI-generated content. Newsroom | TikTok. https://newsroom.tiktok.com/en-us/new-labels-for-disclosing-ai-generated-content

Whitney, L. (2024). YouTube creators will now have to label certain AI-generated videos upon upload | ZDNET. https://www.zdnet.com/article/youtube-creators-will-now-have-to-label-certain-ai-generated-videos-upon-upload/