Rita Gsenger, Author at The Sustainable Computing Lab

The 2021 German Federal Election on Social Media: An Analysis of Systemic Electoral Risks Created by Twitter and Facebook Based on the Proposed EU Digital Services Act

September 6, 2021 in Report

Safeguarding democratic elections is hard. Social media plays a vital role in the discourse around elections and during electoral campaigns. Social media platforms have become central spaces for electoral campaigns, often substituting traditional media outlets. Many politicians and parties communicate their messages primarily on their Twitter and Facebook profiles. In that regard, these platforms can be a valuable tool, but they also contribute to risks such as the dissemination of disinformation or other content that can infringe the right to free and fair elections.

This study provides a risk assessment of the ‘systemic electoral risks’ created by Twitter and Facebook and the mitigation strategies employed by the platforms. It is based on the 2020 proposal by the European Commission for the new Digital Services Act (DSA) in the context of the 2021 German federal elections. Therefore, this study provides an external risk assessment regarding the right to free and fair elections on very large online platforms (VLOPs), focusing on Twitter and Facebook and their roles during the German federal elections that will take place on 26 September 2021. The data collection period covered the second half of May 2021.

We analysed three systemic electoral risk categories: 1) the dissemination of illegal content, 2) negative effects on electoral rights, and 3) the influence of disinformation. In this context, the present study found a significant number of problematic posts and tweets during the analysis, with 6.72% of all election-related Facebook posts and 5.63% of election-related tweets falling into at least one of the risk categories in our codebook, meaning they were potentially illegal, falsehoods, or infringements of electoral rights.

Of the problematic posts on Facebook, 4.05% were likely illegal under German law, 35.14% violated the platform’s community standards or terms of service, 93.24% could be considered disinformation, and 46,65% were violations of electoral rights. Similarly, for the Twitter sample, of the problematic tweets, 14.52% broke platform rules, 100% were considered disinformation, and 51.61% infringed on electoral rights.

Our research shows that there is far too much problematic content on platforms. Finding 6.72% of problematic content on Facebook and 5.63% on Twitter was far higher than we expected. In light of the widespread public debate about election-related challenges, we were not expecting this level of problematic content to still be present on platforms, even after platforms’ content moderation and design interventions were being implemented and at such an early moment in the election campaign. As the elections heat up before 26 September 2021, the proportion of problematic content is likely to be even higher than what we found in May 2021. Consequently, we have developed the following policy recommendations:

1. Platforms need to create more effective and sustainable response mechanisms to do more to safeguard elections. Our research suggests that all existing measures are currently very far from being good enough. Neither Facebook nor Twitter is doing enough to remedy the current situation.

2. Platforms should implement research-based recommendations to improve their mitigation measures to problematic content before and during elections. Our research suggests that platforms are not sufficiently considering a large body of knowledge and research on how to mitigate risks to free and fair elections and democracy. This includes interface-design solutions and tools that can empower users in the online ecosystem. The platforms should thus be required under Art. 27 DSA to develop mitigation measures together with civil society organisations and independent experts. Criteria for cooperation should be defined where appropriate.

3. Platforms have to become more transparent about content moderation tools they deploy, including algorithmic transparency. In this vein, platforms should publicly disclose the number of false positives and false negatives, and what content is flagged by algorithms and trusted flaggers (so-called precision and recall data). Especially in the context of disinformation, the time and intensity of exposure combined with the visibility of disinformation content on platforms is meaningful information to better understand its spread online. Moreover, platforms should provide information on the extent to which they profit (intentionally or unintentionally) from systemic risks (e.g., estimations of turnover generated through disinformation or illegal content). These additional transparency requirements could be included under Art. 23 DSA.

4. Platforms’ Terms of Service need to be expanded to more effectively cover all forms of disinformation and electoral rights, especially in times of elections. Only a small part of all the problematic content we found was covered by the existing terms of service of Twitter and Facebook.

5. There is a need for platforms to adopt best practices in their response mechanisms to problematic content. The differences between Twitter and Facebook suggest real differences in the quality of their responses to problematic content about elections. If Twitter is doing better than Facebook despite Facebook’s dominant economic position in the market, Facebook should be expected to do at least as well as Twitter. However, both could still do significantly better.

6. Almost all the problematic content we found was legal content. Platforms should be obliged to disclose how they distinguish between permissive and illegal content and conduct risk assessments for the types of legal but problematic content we discuss in this report. Public disclosure of such information may decrease uncertainty among users and, at the same time, increase the trust in platforms’ content moderation processes. Furthermore, we suggest, in line with our previous research, that just focusing on illegal content to safeguard elections will be ineffective.

7. Platforms should focus on curation, moderation, and design measures that promote free expression and user agency over the information they receive and impart. In their risk mitigation measures to safeguard elections, platforms should focus primarily on design changes and other measures more likely to promote free expression. Content moderation is clearly also necessary but is more likely to cause problems and needs to be done in a transparent and accountable manner.

8. Categories of analysis need to be improved. Despite a relatively high intercoder reliability rate, we often struggled to clearly identify the boundaries of the categories for identifying electoral rights violations and disinformation. Comparatively, the legal categories were easier to operationalise and more clearly delineated. Our interviewees also suggested that the existing categories of systemic electoral risk in the DSA and relevant academic literature still need to be more clearly delineated and easier to reproduce and compare. Even though our categories are based on the DSA and state-of-the-art academic literature, we believe that additional research and policy development is needed to operationalise and clearly delineate what constitutes disinformation and electoral rights violations.

9. EU legislators should expand DSA risk assessments and DSA Article 29 transparency criteria beyond very large online platforms. Our research has focused primarily on large online platforms. However, we agree with many of the experts we interviewed, who suggested that smaller platforms can also have highly problematic effects on elections. Particularly, given that the boundary between very large online platforms and other platforms in the DSA (10% of all EU citizens) seems highly arbitrary, we suggest implementing relevant parts of the risk-based approach beyond only VLOPs alone. To do this effectively, regulators need to focus – beyond those platforms that are already covered by the DSA and should remain so- on the impact platforms can have rather than the number of users they have. In the context of elections, this means that all platforms where there is scientific evidence that the platform can influence an EU Member State’s election or an EU election should be included as part of the risk-based approach. Scientific studies of this kind already exist for some platforms, but further impact assessments would obviously be needed for other platforms as well. Furthermore, these rules should also apply to video-sharing platforms.

10. Researchers need better access to platform data. Access to data remains highly challenging and politically charged. It was very difficult and time consuming to gain access to the representative samples we needed to conduct this research. After gathering the data, we constantly felt concerned about arbitrary risks to ourselves and our partners. The experience of New York University being shut out by Facebook based on claims of privacy violations and an almost universal fear among the community conducting this research creates legal conflicts with the platforms. This is no way to conduct research, as it has a chilling effect on the ability of researchers to hold platforms accountable. Under Art. 31 DSA, vetted researchers must thus be granted access to relevant data. This is to enable research that contributes to a better understanding of systemic risks as well as of the underlying economic incentives for platforms on how to deal with them.

11. Auditors must be chosen and paid by the authorities. The DSA relies heavily on independent auditors to examine systemic electoral risks and develop effective mitigation measures. The present external risk assessment—despite being a smaller version—might probably not have been commissioned by a platform due to its critique. However, public auditing intermediaries should be introduced to further secure and strengthen the independence of auditors and the auditing regime. Finally, to ensure auditors’ independence, it is crucial to clarify under Art. 28 DSA that auditors are commissioned by the envisaged European Board for Digital Services.

You can read the entire report here: https://www.sustainablecomputing.eu/wp-content/uploads/2021/10/DE_Elections_Report_Final_17.pdf

Die heimliche und die unheimliche Seite von KI: Alexa, was machst du da mit mir?

September 2, 2019 in Uncategorized

Teddybären alles erzählen, ist okay. Digitalen Sprachassistenten alles erzählen, ist riskant, aber nahezu unausweichlich. Und das ist ein Problem. Ein Essay. VON ESTHER GÖRNEMANN

Wer einen Sprachassistenten in seine Wohnung einlädt, beginnt oft spielerisch mit Scherzfragen, seinen neuen digitalen Mitbewohner kennenzulernen. „Alexa, bin ich schön? Was hältst du von Siri? Hast du Hunger?“ Mit der Zeit lernen die Besitzer, routinierter mit dem Gerät umzugehen. Sie rufen gekonnt kurze Befehle in die sieben Mikrofone, nutzen die richtigen Worte, kennen die Namen aller wichtigen Skills und haben den Assistenten zum zentralen Kontrollknoten des smarten Heims ernannt. Der Nutzer hat dann entwickelt, was Psychologen ein mentales Modell nennen: ein ungefähres Verständnis dafür, wie dieser Agent funktioniert, und wie er zu bedienen ist.

Aus Forschungssicht wird es besonders interessant, wenn dieses mentale Modell plötzlich nicht mehr ausreicht, um das Verhalten des Assistenten zu erklären. Wenn Alexa scheinbar grundlos den Befehl verweigert, ein verbundenes Gerät oder einen Radiosender plötzlich nicht mehr findet, oder einfach partout nicht verstehen will. Nicht wenige Nutzer beginnen dann, sie zu beleidigen und zu beschimpfen, als säße in dem kleinen Zylinder ein Mensch, den man nur laut genug anschreien muss, damit er gefügig wird.

Das technische Verständnis spielt eine Rolle

So widersinnig dieses Verhalten auf den ersten Blick scheint, so natürlich ist es auch. Als Menschen besitzen wir ein reicheres Verständnis davon, wie Menschen „funktionieren“ als davon, wie ein Sprachassistent funktioniert. Wenn unser Erklärungsmodell der Maschine plötzlich nicht mehr ausreicht, suchen wir – intuitiv und unbewusst – menschliche Erklärungen für ihr Verhalten. Es überrascht kaum, dass gerade die Nutzer eine stärkere Tendenz haben, ihren Sprachassistenten zu vermenschlichen, die sich selbst nur ein geringes technisches Verständnis attestieren.

Auch wer in seinem Leben nur wenig soziale Kontakte hat, neigt eher dazu, Maschinen – oder auch Haustiere – zu vermenschlichen. Ist der Mensch einsam, dann kann er das Bedürfnis nach Nähe hilfsweise erfüllen, indem er mit einem Sprachassistenten, einem Roboter oder auch einem Haustier spricht und interagiert, als sei es ein Mensch. Vor allem aber sind es Kinder, die dazu neigen, eine enge soziale Verbundenheit zu Gegenständen aufzubauen. Die starke Bindung zum Lieblingskuscheltier äußert sich dann meist darin, dass dem Teddy ein eigenes Gefühlsleben und menschliche Empfindungen zugesprochen werden. Der wichtigste Auslöser für Vermenschlichung ist ein menschenähnliches Aussehen. Hier allerdings sind wir nicht wählerisch: Selbst Autoscheinwerfer werden instinktiv als Gesicht interpretiert und aktivieren bei der Betrachtung die gleichen Hirnareale, die für das Erkennen menschlicher Gesichter zuständig sind.

Der Teddy hat kein Gedächtnis

Was beim Scheinwerfer oder Teddy kein Problem ist, kann im Umgang mit digitalen Assistenten aber durchaus kritisch werden. Denn diese haben ein Gedächtnis. Und sie sind verbunden mit globalen Datennetzwerken, deren Fähigkeiten weitestgehend im Dunklen liegen.

Bei Sprachassistenten werden subtile Reize eingesetzt, die uns verleiten sollen, sie zu vermenschlichen. Dazu gehören eine menschliche Identität, verbale und non-verbale Reize. Alexas Identität drückt sich nicht nur in ihrem menschlichen Vornamen, sondern auch in ihrer weiblichen Stimme aus, die nicht selten in der Ich-Form zu ihrem Besitzer spricht. Sprachassistenten versuchen, mit uns menschliche Dialoge zu führen – wenn auch noch äußerst rudimentär und bislang nicht zufriedenstellend. Manche ihrer Antworten suggerieren Empathie, Humor, Interessen oder Meinungen. Geradezu absurd wird das, wenn Googles Duplex Technologie sich räuspert und mit „hmm“ und „ahm“ den menschlichen Sprachfluss imitiert.

Menschliches wird bewusst eingesetzt

All diese Schlüsselreize sind natürlich kein Zufallsprodukt, sie sind das Ergebnis akribisch geplanter und detailliert umgesetzter Entwicklungsprozesse. Menschliche Attribute werden ganz bewusst und gezielt eingesetzt, denn sie üben einen erheblichen Einfluss auf die Nutzer aus. Eine vermenschlichte Maschine ruft ähnliche Emotionen und soziale Interaktionsmuster hervor, wie ein Mensch. Kurz: Wir behandeln sie mehr wie einen Menschen und weniger wie eine Maschine.

Die Entwickler der digital vernetzten Technologie, mit der wir unseren Alltag teilen und kommunizieren, haben ein starkes Interesse daran, dass wir etwas Menschliches in ihrer Technik sehen. Menschliche Merkmale wecken unser Vertrauen.

Nutzer gehen leichter und schneller eine soziale Bindung mit einer vermenschlichten Maschine ein. Die Entwicklung einer vertrauensvollen zwischenmenschlichen Beziehung führt dazu, dass die Benutzer mehr Intimität zulassen und eher geneigt sind, persönliche Informationen zu teilen.

Sie fühlen Empathie, sprechen natürlicher, grüßen und verabschieden sich. Sie schätzen die Qualität von Serviceleistungen signifikant höher ein und beurteilen einen vermenschlichten Agenten als kompetenter, vertrauenswürdiger und überzeugender als einen Assistenten ohne menschliche Attribute.

Kinder sind besonders anfällig

Wieder sind diese Tendenzen bei Kindern, die mit Sprachassistenten interagieren, besonders stark ausgeprägt. Der Grund hierfür ist, dass Kinder schon früh über soziale Kompetenzen verfügen. Sie erlernen die Fähigkeit, Bewusstseinsvorgänge – beispielsweise Gefühle, Bedürfnisse und Absichten – in sich selbst und in anderen Menschen zu erkennen. Vergleichsweise gering ist jedoch ihre Erfahrung mit spezifischen Objekten. Mangels anderer Erklärungen neigen sie also dazu, menschliche Schemata auf diese Objekte anzuwenden. Für Eltern ergibt sich hieraus eine besondere Verantwortung: Kinder sind naiver und können nur schwer nachvollziehen, dass im Hinblick auf digitale Mitbewohner auch eine gewisse Vorsicht angebracht sein sollte.

Was sind aber konkret die Gefahren, die der Einzug vernetzter Assistenten in unseren Alltag mit sich bringt? Die unscheinbaren, kleinen Lautsprecher werden oft kaum noch bewusst wahrgenommen. Sie verschmelzen mit ihrer Umgebung, werden sanft und allmählich Teil des Automatismus unserer täglichen Routine. Recht bald verschwindet das Bewusstsein darüber, dass dieser Assistent kein abgeschlossenes System ist. Die gigantische Rechenleistung und die wachsende Datenmenge über jeden, dessen Stimme zufällig von Alexa aufgeschnappt wurde, bleiben verborgen.

Manchmal schalten sie sich ungebeten ein

Sprachassistenten sind so konzipiert, dass sie standardmäßig eingeschaltet sind und auf die Nennung des Signalwortes warten. Äußerlich sichtbar ist dieser eingeschaltete Zustand aber nicht. Dies ist im Umgang mit technischen Geräten eher ungewohnt, und so fällt uns die Wachsamkeit des Assistenten weniger auf.

Ist das ein Problem? Immerhin aktiviert sich der Sprachassistent ja offiziell nur, wenn das Signalwort genannt wird. Jeder Besitzer eines solchen Gerätes wird allerdings schon erlebt haben, dass Alexa oder Google Home aktiv werden, ohne dass ihr Name genannt wurde. Diese Missverständnisse sind nicht so selten, wie man annehmen sollte. Forscher verzeichneten binnen drei Wochen 33 zufällige Aufnahmen in einem Haushalt in dem das Signalwort zu keinem Zeitpunkt genannt wurde. Ausgelöst wurden sie durch den Fernseher oder unscheinbare Gespräche in der Familie. Auf ein Jahr hochgerechnet kann ein normaler Benutzer eines Sprachassistenten also mit rund 600 Aufnahmen rechnen, die ungefragt und oft unbemerkt in eine gewaltige Datenmaschinerie mit einfließen, in der sie ausgewertet und angereichert werden.

Was sind die Geschäftsmodelle der Anbieter?

Darüber, wie diese Daten genau weiterverarbeitet werden, ist nicht viel bekannt. Der offizielle Verwendungszweck, dem jeder Nutzer mit Akzeptieren der Datenschutzerklärung zustimmt, ist das „Verbessern der Services“. Spracherkennung und Sprachverstehen sind die elementaren Bestandteile der künstlichen Intelligenz, auf der Sprachassistenten aufbauen. Um diese Komponenten zu verbessern, muss die KI trainiert werden, indem Menschen die Auswertung stichprobenweise überprüfen. Aufgabe der Trainer ist, zu entscheiden ob die KI richtig erkannt hat, was der Nutzer gesagt und gemeint hat.

Bei aller Legitimität dieses Anliegens dürfen aber zwei Dinge nicht außer Acht gelassen werden: die Geschäftsmodelle der Anbieter und die Reichhaltigkeit von Sprachdaten.

Gerade die zwei größten Marktteilnehmer Amazon und Google haben ein massives Interesse daran, ihre Kunden besser kennenzulernen. Die personalisierte Anzeige relevanter Werbung und Produkte ist der Grundstein ihres Erfolges. Weil sich damit das Verhalten ihrer Nutzer wirksam beeinflussen lässt. Die gezielte Produkt- und Werbeplatzierung ist nur deshalb ein Milliardengeschäft, weil sie Personen erfolgreich manipuliert und dazu verleitet, ein gewünschtes Verhalten an den Tag zu legen. Je mehr man dabei über einen Nutzer weiß, je besser man ihn kennt, desto subtiler und differenzierter kann man ihn steuern.

Wie die Stimme klingt, lässt Rückschlüsse zu

Gerade die menschliche Sprache lässt erstaunliche Rückschlüsse auf einen Menschen zu. Die ganz individuelle Anatomie des Mundraums in Kombination mit der persönlichen Art zu sprechen macht die Stimme so individuell wie ein Fingerabdruck. Name oder Kundennummer sind vernachlässigbar, allein auf Basis unserer Sprache sind wir eindeutig identifizierbar.

Was darüber hinaus aus den Aufzeichnungen „herausgehört“ werden kann, gilt als Geschäftsgeheimnis. Unter Juristen und Datenschützern ist noch umstritten, ob ein Kunde nicht auch erfahren dürfen sollte, welche Schlüsse die Konzerne aus seinen Daten ziehen. Dies wurde bislang in der Auslegung der aktuellen Datenschutzgrundverordnung noch nicht abschließend festgestellt.

Einen flüchtigen Blick hinter die Kulissen der Datenmaschinerie geben uns Patentanmeldungen. So hat Amazon beispielsweise einen Algorithmus patentiert, der werberelevante Stichworte in der Sprache erkennen soll. Dazu gehören etwa Marken, Produkte, Aktivitäten und positive oder negative Indikatoren („lieben“, „hassen“, „gekauft“, „zurückgeschickt“). Auch wird versucht, zu erkennen, ob es der Benutzer selbst ist, der ein Hotel buchen will, oder womöglich eine andere identifizierbare Person. Diese unbändige Neugier lässt nichts Gutes vermuten.

Emotionen in Echtzeit auswerten – und ausnutzen

Noch weiter geht eine patentierte Technologie, die in Echtzeit Aussagen über die emotionale und gesundheitliche Verfassung des Nutzers treffen kann und Hintergrundgeräusche identifiziert. Sie erfasst zum Beispiel Schilddrüsenprobleme oder Erkältungssymptome und kann ein großes Spektrum an Emotionen in der Stimme wahrnehmen – von Zufriedenheit über Kummer und Stress bis hin zu Langeweile und Müdigkeit. Der kommerzielle Einsatz dieser Erkenntnisse wird im Patent ausführlich dargestellt: Drittunternehmen sollen ihre Zielgruppe anhand der verfügbaren Merkmale definieren können und in Echtzeit auf einen „Werbeslot“ bieten. Dieser könnte dann beispielsweise eine erkältete und müde junge Frau sein, die eine Vorliebe für Schokolade hat und deren Kind gerade im Hintergrund weint. Der gesunde Menschenverstand sagt uns, dass diese Frau gerade besonders schutzbedürftig ist. Amazon aber versteht, dass gerade sie, gerade jetzt, besonders einfach zu manipulieren ist und lässt Alexa fragen, ob sie vielleicht Schokolade bestellen soll.

Nicht alles was patentiert ist, wird umgesetzt. Noch spielt Alexa keine Werbung ab, und wir wissen nicht, ob tatsächlich schon flächendeckend Emotionen in Echtzeit ausgewertet werden. Allerdings gibt es Hinweise darauf, dass die in den Patenten erwähnten Daten zumindest teilweise schon erhoben werden. Einige der Whistleblower, die in jüngster Zeit an die Öffentlichkeit traten und erklärten, dass sie Sprachaufnahmen mithörten, gaben auch an, dass sie kontrollierten, ob der Algorithmus Hintergrundgeräusche und relevante Stichworte richtig erkannt hat.

Alexa ist keine Freundin

Die Daten, die unsere digital vernetzten Geräte über uns sammeln, verraten so viel über uns, dass KI herleiten kann, wer wir sind, was wir fühlen und was uns wichtig ist. Dieses Wissen wird bewusst und gezielt eingesetzt, um Nutzer zu manipulieren. Als Gesellschaft sollten wir ein Interesse daran haben, zu wissen, wer versucht unser Verhalten zu steuern und wie er dies anstellt. Wir haben außerdem eine Verantwortung für diejenigen, die besonders schutzbedürftig sind: Kinder, Menschen, die einsam sind, die Technologie nicht verstehen oder sich in einer Situation befinden, in der sie verletzbar sind. Wir sollten nicht zulassen, dass gerade sie zur Zielscheibe subtiler Manipulation und Verhaltenssteuerung werden.

In unserem menschlichen Bedürfnis nach Nähe machen wir selbst Objekte zu unseren Freunden. Im Falle von Alexa und Co. ist dies allerdings ein Freund, der uns unbemerkt genauestens beobachtet und sich dabei jedes Detail einprägt. Mit dem Ziel, uns irgendwann – in einem ganz anderen Kontext – dazu zu bringen, ihm Geld zu geben.

Esther Görnemann ist Wissenschaftlerin am Institut für Wirtschaftsinformatik und Gesellschaft der WU Wien. Im Rahmen des EU- Projekts Privacy & Us erforscht sie die Interaktion mit Technologie mit Fokus auf Sprachassistenten, Datenschutz und ethische Herausforderungen.

Dieser Beitrag wurde am 25.8.2019 in der Zeitung Tagesspiegel veröffentlicht.

Professional Training at the Austrian Data Protection Authority

June 6, 2019 in Lab updates

PhD candidate Esther Görnemann held an advanced training session for the Austrian Data Protection Authority on the Market, Functioning and user’s privacy concerns regarding Amazon Alexa. The training documentation was shared among the European Data Protection Board and is now available on the Privacy lab website.

The presentation covers a broad spectrum of issues around the technology behind voice assistants. It gives a comprehensive but understandable overview of the functioning of Wake-word Detection, speech recognition, Language Understanding and Language Generation. The author conducted a qualitative research study focusing on the interactions between users and the Amazon Alexa voice assistant and uncovered a number of specific privacy and security concerns users expressed. In the given presentation, these user concerns will be addressed one by one with the goal of identifying how legitimate and realistic they are. For this effort, published research, hacking attempts, submitted patents, public statements, media coverage and user experiences are efficiently analyzed and combined to reach satisfactory conclusions.

Core findings

The wake word detection module balances out precision and latency, causing false positives: the wake word is often recognized although it was not said by the user.

Recent research points to discrepancies between transmitted recordings and recordings accessibly stored in the user’s profile.

Recent patent submissions suggest that voice recordings can be used to infer detailed and intimate knowledge about the user, especially in combination with other available information.

Privacy policies, Product information and Terms of Use are formulated vaguely and do not provide exhaustive information

The lack of access control and user authentication causes specific privacy and security issues

Amazon Alexa – Market, Functioning, user’s privacy concerns

About the author

PhD candidate Esther Görnemann works at the Institute of Information Systems and Society at Vienna University of Economics and Business, supervised by Prof. Sarah Spiekermann-Hoff.

The documentation has been developed for a professional training held April 24, 2019 at the Austrian Data Protection Authority in Vienna.

As part of the ITN Privacy&Us, this research project received funding from the European Union’s Horizon 2020 research and innovation programme under the Marie Skłodowska-Curie grant agreement No 675730.

Alexa as a psychotherapist

May 21, 2019 in Opinion

Members of the Privacy and Sustainable Computing Lab are teaching a variety of courses at the Vienna University of Economics and Business. In some cases, our students produce extraordinary work that stand on its own. Today’s blogpost presents what started as a class assignment by Zsófia Colombo, as part of a Master seminar on Sustainable Information Systems taught by Prof. Spiekermann-Hoff and Esther Görnemann last winter. Based on a thorough introduction on the architecture and functions of smart speakers and voice assistants, students used scenario building techniques to imagine a potential future of this technology, carefully selecting unpredictable influential factors and delicately balancing their interplay in the long run. The results of this specific assignment went far beyond what we expected.

Zsófia Colombo on Alexa’s qualities as a psychotherapist

Smart voice assistance systems like Alexa are a new trend and used in many homes all over the world. Such a system lets the user access many different functions via voice control: it is possible to make calls, to control the lights and temperature, to put on music or order things online. Alexa is also able to learn about its users – their voice patterns, their preferences and behavior. It has in addition many functions that can be customized, according to the users’ needs and preferences. If Alexa is entrusted with the deepest thoughts of its users, is it important to consider if the algorithm running the machine has the users’ best interest at heart? What consequences can such a scenario have? Zsófia asked just these questions and made a video trying to answer them. She created three different scenarios involving users who seek out Alexa’s help to fix their mental issues, whereby Alexa provides a proper diagnosis and gives them good advice.

Alexa as a grief therapist

Alexa would guide the user through the various stages of grief by asking her questions and talk to her about her feelings. Even though Alexa would turn off the Grief Therapy Function in the end, the user might be accustomed to the presence of her to such an extent that she might neglect her real friends and lose the ability to connect with them. She might additionally develop serious health issues due to the consumption of takeout food and lack of exercise. Additionally, the personal information the user provided influences the product placement in her favorite TV show without her knowledge or consent. As soon as she finds out, she would experience a negative moment of truth, which could result in her not using Alexa anymore.

Alexa supports a user through the five stages of grief without a friend or a therapist by her side. Alexa can learn about the stages of grief by means of the activation of the “Grief therapist function”. Additionally, Alexa can offer help if she notices irregularities, for example sadness in the voice commands, the disappearance of a user, or changes in shopping habits or on social media. Alexa might react to that by asking the user what she is grateful for today, to put on happy music or her favorite TV shows. She might as well notify her friends or loved ones, if the user has not left the house in days. Alexa would have that information by checking the users’ location or the front door motion sensor. She would additionally set up an automatic shopping order to take care of food and basic needs. Alexa would guide the user through the various stages of grief by asking her questions and talk to her about her feelings. Even though Alexa would turn off the Grief Therapy Function in the end, the user might be accustomed to the presence of her to such an extent that she might neglect her real friends and lose the ability to connect with them. She might additionally develop serious health issues due to the consumption of takeout food and lack of exercise. Additionally, the personal information the user provided influences the product placement in her favorite TV show without her knowledge or consent. As soon as she finds out, she would experience a negative moment of truth, which could result in her not using Alexa anymore.

Alexa as a couple therapist
One of the partners cheated and the couple is trying to heal their relationship with the help of the “Therapy Function”. That means taking couple’s therapy with Alexa twice a week. She additionally subscribes them to a meditation app and plans a date night for them. What happens to the data they shared about their intimate relationship? There is no definite answer to the question if the therapist-patient privilege also applies to this kind of relationship. Alexa would use the data for restaurant recommendations, whereby these restaurants would pay a commission. Increasingly, the couple could lose the ability to make decisions on their own. Additionally, they could get themselves in financial difficulties by letting Alexa book and prepay everything. This could lead to Alexa offering them a loan from Amazon, leading to a negative moment of truth, which could lead the couple to stop using Alexa altogether.

Alexa treats social media addiction
The third example is the story of a student who uses Alexa to help with her social media addiction. Alexa could either notice on her own by using an app that measures how much the student uses Social Media or by means of a certain voice command like “Alexa, help with Social Media”. Alexa could subsequently help by asking the right questions and putting things into perspective. The student would experience a positive moment of truth and realize that she can stop her destructive behavior.

Overall, the relationship between the user and Alexa may increase in intimacy over time, which does raise concerns. The question remains, if it is healthy to consider Alexa as a therapist. Especially as companies who are willing to pay Amazon, can profit from the personal data provided by the user in a vulnerable position. The companies can use the data to manipulate users to consume their products. This seems especially questionable regarding users with mental health issues, who might have difficulties protecting themselves.

You can watch the full video about the three scenarios here:

New Book by Prof. Sarah Spiekermann-Hoff: Digitale Ethik. Ein Wertesystem für das 21. Jahrhundert

April 30, 2019 in Lab updates

Prof. Dr. Sarah Spiekermann-Hoff presented her new book “Digitale Ethik. Ein Wertesystem für das 21. Jahrhundert“, published by Droemer on April 1, 2019 in Vienna.

The author asks how humane progress can be created and maintained in a digital society in times of Big Data and Artificial Intelligence. The book takes into account the individual, economical and technical prerequisites for a future that perceives technology as enabling and strengthening, rather than a weakening influence. She writes about values that are important to consider, in order to support good innovations. Thinking ethically enables innovation. Digitalization has its own dynamic, which we as a society can direct towards true progress.

Prof. Spiekermann-Hoff describes her journey from working in IT to academia, providing insights about the “Weltgestalter” in Silicon Valley, making critical reflections about the benefits and consequences of technology.

In 1996, she started out in a Silicon Valley Company, which manufactured hardware for computer network technology. In the New-Economy years, the developing Web 1.0 was seen as a tool for a peaceful society, providing a myriad of opportunities. Intrigued by the new technologies, she worked in the telecommunications sector for a couple of years. Subsequently, she got her PhD in Berlin and wanted to start a post-doc in Berkley, but her research question namely the privacy in Artificial Intelligence was not opportune after the terror attacks of 9/11. Thus, she returned to Silicon Valley to work for a Technology start-up company in the epicenter of the development of smartphones. She soon realized that companies mainly followed hypes and did not have a place for values like privacy or the truth. To align herself with her own values, she started working in science. The values guiding progress and digitalization are still in the center of her work and she tries to convey them to her students at University of Economics and Business in Vienna. Students have to develop a product roadmap in one of her classes, which serves the purpose of advancing the technical development of a company. The students have to come up with possibilities to enhance a company employing a food delivery service. In this context, the students develop many creative ideas like the optimization of the way to the client by an artificial intelligence and the use of a human-like computer voice software, to make customers feel more at ease. The author however proposes a different way to think about the issues of digitalization: Bicycle couriers have a very difficult job and having an app as their boss, does not make it any better. Thus, she proposes to include values into their account and realizing them by means of digital technologies. Additionally, employees and their priorities should be included, as well as the maxims and values maintained in a humane and fair society.

In the center of the book stands the search for an answer to the question how real progress can be fostered in a sustainable and good way, bringing society forward. The book provides insights about how values can play a bigger role in a digitalized society, emphasizing the reflection upon them for our choices and actions in a digital world.

The book is now available on Amazon:

https://www.amazon.de/Digitale-Ethik-Ein-Wertesystem-Jahrhundert/dp/3426277360

and in any book store.

Sarah Spiekermann on netzpolitik.org: Can Ethics be standardized?

January 15, 2019 in Uncategorized

Prof. Dr. Sarah Spiekermann, chair of the Institute for Information Systems and Society at WU Vienna, gave an interview for the podcast netzpolitik.org on the question: “Can Ethics be standardized?” She was talking about the work on her new book Digitale Ethik, which aims to provide process standards for ethical design.

A major focus of the conversation was ethical responsibility of algorithms, whereas she suggests that it is not possible to build ethical algorithms, as humans do a much better job at determining what the best thing to do is. Algorithms can only decide according to simplistic utilitarian considerations. The reality of things is so much more complex than any digital application can grasp. Machines are biased because of the data they have and software always contains some mistakes. This is why specific applications of algorithms are a fundamentally bad idea, as for example predictive policing.

Commercial enterprises use the internet to reduce the freedom of people. Meanwhile, the ethical discussion often revolves around Red Herrings, such as the question whether autonomous cars should bump into old ladies or a group of youngsters. Such discussions divert from the real problems. It is important to ask the right questions when talking about digital ethics. Not only consumers, but everybody involved in the development and production of technology has a responsibility to think about where we want to go and what kind of society we want to create and live in.

For the entire interview click here: https://netzpolitik.org/2018/netzpolitik-podcast-folge-161-kann-man-ethik-standardisieren/

On April 1^st 2019 her book “Digitale Ethik – A Value System for the 21^st Century” (available on: https://www.amazon.de/Digitale-Ethik-Ein-Wertesystem-Jahrhundert/dp/3426277360) will come to the German book market.

… enjoy!

Posts By: Rita Gsenger