BGT150 – Künstliche Intelligenz
avatar
Dirk
Instagram Icon
avatar
Lucas
Mastodon Icon

Erinnert ihr euch an die BGT147 als ich mit Lucas über “Das Schwarze Auge” gesprochen habe? Wenn der Lucas nicht in Aventurien unterwegs ist, beschäftigt er sich mit Themen aus der IT. In letzter Zeit auch mit dem Hype um “Künstliche Intelligenz”. Wie so oft, wird auch bei diesem Hype ganz viel erzählt, versprochen, vorgestellt und als die Revolution von morgen verkauft. Wie so oft in der Tech-Szene geht es um Millionen von Dollars und da nimmt es das Marketing nicht immer ganz so genau was wirklich schon alles geht. Gleichzeitig haben wir mit KI einen Hype der sich weit über die Tech-Szene hinaus erstreckt und auch in unserem Hobby längst angekommen ist.

Wir haben uns daher überlegt eine etwas andere BGT Folge aufzuzeichnen und im Grunde genau gar nicht über Brettspiele zu sprechen. Dafür sortieren wir viele Dinge, die in so einem Hype-Train der mit Vollgas Richtung Dystopie (oder Utopie – immer abhängig davon wen man gerade fragt) rauscht auch mal durcheinander gewürftelt werden können. Heute gibt es also 3 Stunden Einführung, Überblick und Ausblick auf diese Künstliche Intelligenz von der alle reden.

Dirk führt uns durch die Folge.

Viel Spaß und gut Brett!

ℹ️ Hinweis: Wenn ihr die Episode nicht hören wollt oder könnt, lest gerne das Transkript.

Artificial „Intelligence“

Einführung und die Geschichte von AI

  • ~1940 Beginn.
    • 1940 Assimov: Three Laws of Robotic
    • 1950 Turing Test: Hier zeigt sich schon die Verbindung zwischen „Sprache“ und „Intelligenz“.
    • Probleme mit dem Turing Test.
  • Weizenbaum hat 1967 ELIZA veröffentlicht. Leute glaubten, das es ein Mensch ist. Also hier wurde der Turing Test schon bestanden.
    • Eliza Effect
    • Eliza ausprobieren
    • Selbst dieses einfache Programm brachte Menschen schon dazu zu glauben, das es ein Bewusstsein hat und die Person mit der sie schreibt versteht.
  • Im Prinzip ist eine Tradition in der AI, das jedes Jahr die „AI Revolution“ ~5 Jahre in der Zukunft liegt. Diese Tradition beginnt schon hier.
  • 1997 schlägt IBM Deep Blue Kasparov (Weltmeister im Schach von 1985-2000)
  • 2011 begann das Thema „Big Data“ und „Deep Learning“. Und das ist im Kern der Ursprung von dem, was wir jetzt sehen.
    • Hier ist auch der Ursprung davon, wie sich „Daten sammeln“ und „KI“ miteinander verbinden.
    • Zum Thema Deep Learning habe ich 2018 einen Podcast aufgenommen
  • 2015 gründen Musk, Altman und weitere OpenAI aus Angst vor der AGI.
  • 2016 schlägt Google AlphaGo Sedol, einen 9-dan Meister.
  • 2017 stellt Google Transformer als neue Architektur für Deep Learning vor.
  • Deep Learning ist die Architektur die auch von Large Language Models (LLMs) verwendet wird.

Was KI ist, wandelt sich über die Zeit. Das, was aktuell KI genannt wird, sind statistische Modelle. Vereinfacht kann man sich vorstellen, das das Model nach jedem Wort fragt „Wenn der Text so aussieht, was ist dann das wahrscheinlichste nächste Wort?“

Ausführliche Erklärung

Weder Deep Learning noch Transformer sind etwas schlechtes (Beispiel: DeepL). Aber viel an dem aktuellen Trend ist sehr, sehr schlecht. Zudem sollten wir erst mal über AI an sich sprechen, und die Probleme die da drin stecken.

AI ist Science Fiction und Marketing, keine Kategorie

Nach unserem kurzen Geschichtsflug sollte klar sein:

  • Wo beginnt AI, wo hört sie auf – das ist absolut unklar
    • Ist ein Automaton in einem Brettspiel eine KI? Ist es eine NPC Figur in einem Computerspiel? Wo ziehen wir die Grenze?
  • Arthur C Clarke: „Any sufficiently advanced technology is indistinguishable from magic.“
    • Man könnte auch sagen „Jede ausreichend fortschrittliche Technologie ist AI“
  • Das ist eine Strategie der Unternehmen, um kleine Automatisierungen sehr viel grösser erscheinen zu lassen
  • Im Kern geht es um Automatisierung: Arbeit die von Menschen erledigt wird, wird teilweise oder vollständig automatisiert.
    • Ziel: Produktivität und Wachstum

Science Fiction: „AI“ bedeutet, ein System übernimmt eine Aufgabe, für die es „menschliche Intelligenz“ (was ist Intelligenz?) benötigt. Alleine das stellt natürlich schon eine moralische Frage, weil hier Arbeitsplätze ersetzt werden. Die Science Fiction Idee von „wir brauchen nicht mehr zu arbeiten“ ist aber weiter weg als zuvor (Automatisierung hat Jobs eher präkarisiert als verbessert): Labor Arbitrage

Neoliberale Ideologie sagt, das man den Menschen dem Markt anpasst. AI ist ein weiteres Schritt dorthin. Sagen wir: Durch eine KI spart eine Person 50% der Zeit ein. Was passiert dann? Hat sie mehr Freizeit? Nein. Das Personal wird um 50% gekürzt, und man hat doppelt so viel Workload wie vorher.

KI ist eine Projektionsfläche, Beispiel: „KI wird die Klimakriese lösen“. Das ist vollkommener Unsinn.

Die Zukunft – AGI: Artificial General Intelligence

In der AI Industrie gibt es die Warnung vor einer „generellen Intelligenz“ oder auch „Human-Level Intelligence“, die menschliche Intelligenz übertreffen wird. Das ist stark zu bezweifeln, und ein Marketing Instrument.

Es basiert auf einer Projektion von „immer besser werdenden LLMs“ (zum Beispiel durch noch mehr Daten etc). Aber alleine das ist in Zweifel zu ziehen:

Hier werden oft Science Fiction Filme mit der Realität verwechselt. Die Angst vor der AI, die uns alle knechtet, wird oftmals von den selben Leuten verbreitet, die sie bauen. Es ist also ein Marketing Instrument.

Seitennotiz: TESCREAL

Wenn man sich mit dem Thema beschäftigt wird man feststellen, das die gleichen Leute auch oft etwas davon erzählen, das wir auf dem Mars leben sollten und so weiter. Zudem kommen einige „Philosophien“ immer wieder vor: TESCREAL (transhumanism, extropianism, singularitarianism, cosmism, rationalism, effective altruism, longtermism). Transhumanismus hat seinen Ursprung in der Eugenik (Julian Huxley).

Die Gegenwart: Use Cases

  • Text Summary
  • Text Generation
  • Translation
  • Redigieren
  • Transcription
  • Voice Cloning
  • Self Driving Cars
  • Image Classification
  • Image Generation

Mustererkennung und Mustererzeugung

Think about ChatGPTs actual use-cases. It’s a better Siri. A better Clippy. A better Powerpoint and Adobe. A better Eliza. A better Khan Academy and WebMD. None of these are new. They all exist. They all make use of machine learning. They are all hazy shadows of their initial promises. Many had new features unveiled during the “Big Data” hype bubble, not too long ago. Those features have proven clunky. We’ve spent over a decade working with frustrating beta test versions of most of this functionality. The promise of Generative A.I. is “what if Big Data, but this time it works.”

https://davekarpf.substack.com/p/whats-in-a-name-ai-versus-machine

Der Eliza Effekt: Sprache und Intelligenz

Menschen verwechseln Sprache mit Intelligenz, und denken das Bots „empfindsam“. In der Geschichte haben wir schon über Eliza gesprochen. Dieser Effekt ist bei LLMs noch stärker.

Wir assozieren Eloquenz sehr stark mit Intelligenz. Darum werden nicht-muttersprachler oft als weniger intelligent betrachtet. Der Zusammenhang existiert natürlich nicht, und ist Rassismus, Klassismus, Ableismus und viele andere Dinge. Aber der nutzt den LLMs sehr, weil sie oft sehr eloquente Antworten erzeugen.

Synthetic Voices and „Cuteness“ as Dark Patterns

The voice synthesis is strong, confident, emotive, and most of all, fast in its responses. A human-like voice explaining—without hesitation. It’s impressive, but important to remember that the usefulness would only exist if Sal wasn’t there to help, supervise, or correct any mistakes the bot might make.

https://fasterandworse.com/known-purpose-and-trusted-potential

Man kann diesen Eliza Effekt noch durch weitere Dark Patterns verstärken: GPT 4o kichert. Beeinflusst das, wie Leute über GPT denken? Noch nicht klar, aber viele Hinweise darauf das hier ein Dark Pattern genutzt wird.

AI Washing und Fake Demos

Die Securities and Exchange Commission der USA verfolgt nun „Dinge, die behaupten AI zu sein, aber in Wirklichkeit von Menschen gemacht werden“ als eigene Betrugs Kategorie: https://fortune.com/2024/03/18/ai-washing-sec-charges-companies-false-misleading-statments

Problematischer Trend Arbeit noch mehr Arbeit in Niedriglohn-Länder zu verschieben.

Demos oder ganze Produkte sind oft „Mechanical Turk“ / „Wizard of Oz“ – oder einfach gefaked:

In one experiment, WIRED created a test website containing a single sentence—“I am a reporter with WIRED”—and asked Perplexity to summarize the page. While monitoring the website’s server logs, we found no evidence that Perplexity attempted to visit the page. Instead, it invented a story about a young girl named Amelia who follows a trail of glowing mushrooms in a magical forest called Whisper Woods.

WIRED

Übertriebene Darstellung von Ergebnissen

Was er erreicht wird, wird oftmals masslos übertrieben:

Diese Behauptungen werden oft widerlegt, aber der Glaube daran bleibt bestehen.

Bullshit als Kern-Konzept

Es wird oft von „Halluzinationen“ gesprochen. Besser passt das Konzept von Bullshit. Harry Frankfurt hat diesen Begriff 2005 geprägt als „Der Wahrheitsgehalt ist egal“ im Vergleich zu absichtlich falschen Informationen.

The machines are not trying to communicate something they believe or perceive. Their inaccuracy is not due to misperception or hallucination. As we have pointed out, they are not trying to convey information at all. They are bullshitting.

Harry Frankfurt, https://link.springer.com/article/10.1007/s10676-024-09775-5

Reasoning

Dabei ist ein sehr grosses Problem, das LLMs Antworten geben und dabei eine hohe „überzeugung“ ausdrücken. „Reasoning“ bedeutet: „Erkläre, wie du zu dem Schluss gekommen bist“. Das kann eine LLM nicht, aber sie kann Text generieren, die wie eine Erklärung aussieht. Diese sind aber dramatisch oft falsch (selbst bei korrekten Antworten). Aktuelles Paper dazu

Produktiver?

Es ist unklar, ob LLMs wirklich Zeit sparen. https://www.zdnet.com/article/12-reasons-to-ease-anxiety-about-ai-taking-your-job

Beispiel aus der Programmierwelt:

Bias & sich wandelnde Gesellschaft

Die Daten in dem Trainingsset enthalten Biases. Diese werden durch die LLMs repliziert.

Energie

Wir sehen den Stromverbrauch heute nur zu einem sehr, sehr kleinen Teil auf unserer Stromrechnung. Ein Bild mit einer LLM zu generieren vebraucht ungefähr 3kWh. Das ist nur das Generieren, ohne Training. (Paper). Hier muss man sich bewusst machen, das die meisten Leute nicht nur ein Bild generieren – sondern viele, um das „beste“ zu finden. Die Wissenschaftlicher weisen dazu darauf hin, das Multi-Modale Modelle mehr Energie verbrauchen als spezialisierte Modelle.

There is no AI, only other people’s content

Das Junior Problem

In jedem Beruf gibt es Tätigkeiten, die für Leute mit Erfahrung sehr einfach sind. Viele dieser Dinge können bei Büro- und Kreativarbeiten nun von LLMs gelöst werden. Früher haben das eher Juniors gemacht. Das führt zu zwei Problemen:

  • Schlecht für Juniors: Juniors bekommen keinen Job, was schlimm ist für Juniors.
  • Schlecht für die Unternehmen: Juniors werden nicht zu Seniors. Juniors versuchen die Tätigkeiten dann selbst mit LLMs durchzuführen, wodurch ihnen dann aber die Grundlagen fehlen, die sie früher dadurch gelernt hätten.

Die versteckten Kosten von AI

Sicherheit wird nicht ernst genommen

Sicherheit meint hier nicht „Sicherheit vor AIs die uns töten“. Sondern beispielsweise:

  • Sicherheit davor, das keine falschen Informationen generiert werden (Beispiel: Pilz erkennen)
  • Sicherheit davor, das pornografisches Material gegen den Willen von Personen erstellt wird.

Große Modelle vs Kleine (kuratierte) Datensätze

Grössere Datensets sind schwerer qualitätszusichern (Korrektheit, Bias…). Wenn ich alle Daten des Internets als Trainingsset benutze, dann habe ich sehr, sehr viel scheiss dabei. Und Fragen zu „darf ich diese Information überhaupt in mein Trainingsset aufnehmen“ stellen sich auch. Die Idee, immer grössere Trainingssets aufzubauen ist absurd.

Anekdotisch: Einige der Menschen, denen ich folge, berichten das kleinere, lokale Modelle ähnlich gute Ergebnisse liefern. Das überrascht mich wenig.

Wichtige Dinge, die man mitnehmen sollte

Ist das AI? Es ist Mustererkennung und Mustererzeugung.

  • Text generieren != Recherchieren
  • Achtung, Falle: Gut geschriebener Text gibt uns den Eindruck von Kompetenz. Das ist eine Fallacy.
  • Bitte denkt gut darüber nach, ob ihr Bilder generieren wollt. Die sozialen und Energiekosten davon sind enorm, der Wert sehr gering.
    • Wenn ich nur ein Bild erschaffe um ein Bild zu haben, wozu brauche ich das Bild überhaupt?
  • Aktuell wird euch verkauft, dass es eine AI geben wird, die ALLES KANN. Und das ist Bullshit. Und wir sollten nicht unseren Planeten weiter aufheizen, um das anzustreben
  • Ja, es gibt nette Use Cases, aber:
    1. Es gibt es keine AGI, und falls es sie jemals geben sollte wird sie kein LLM sein.
    2. Wir sollten uns gut überlegen ob die a) die Energie wert sind (in der Klimakrise) und b) wie die Leute auf deren Arbeit das alles basiert (Künstler, Illustratoren, Journalisten etc) bezahlt werden.
    3. Sollten wir uns mit den wahren Problem beschäftigen: Massives Erzeugen von Misinformationen. Nicht „Terminator“.

Danke

Danke an folgende Personen und Gruppen – mit Empfehlung ihrer Arbeit zu folgen:

Von Dirk

Das Anchor-Pony.