Hi, i made this german translation if anyone is interested:
Applaus-Lichter
Pseudo-Überzeugungen
Von Eliezer_Yudkowsky
11. September 2007
Auf dem Singularity Summit 2007 rief einer der Redner zu einer demokratischen, multinationalen Entwicklung der KI auf. Also trat ich ans Mikrofon und fragte:
Angenommen, eine Gruppe demokratischer Republiken bildet ein Konsortium zur Entwicklung der KI, und während des Prozesses gibt es viel politisches Taktieren—einige Interessengruppen haben einen ungewöhnlich großen Einfluss, andere werden über den Tisch gezogen—mit anderen Worten, das Ergebnis sieht aus wie die Produkte moderner Demokratien. Alternatives Szenario: Angenommen, eine Gruppe von Rebellen-Nerds entwickelt eine KI in ihrem Keller und weist der KI an, mit jedem auf der Welt eine Umfrage zu machen (dafür bekommt jeder der noch keines hat ein Mobiltelefon) - und dann das zu machen, was die Mehrheit wünscht. Welche von diesen Optionen ist Ihrer Meinung nach “demokratischer”, und würden Sie sich bei beiden sicher fühlen?
Ich wollte herausfinden, ob er an die pragmatische Angemessenheit des demokratischen politischen Prozesses glaubte oder ob er an die moralische Rechtmäßigkeit der Stimmabgabe glaubte. Der Sprecher antwortete:
Das erste Szenario klingt wie ein Leitartikel im Reason-Magazin und das zweite klingt wie ein Hollywood-Plot.
Verwirrt fragte ich:
An was für einen demokratischen Prozess haben Sie gedacht?
Der Sprecher antwortete:
So etwas wie das Human Genome Project—das war ein international gesponsertes Forschungsprojekt.
Ich habe gefragt:
Wie würden verschiedene Interessengruppen ihre Konflikte in einer Struktur wie dem Human Genome Project lösen?
Und der Sprecher sagte:
Ich weiß es nicht.
Dieser Austausch erinnert mich an ein Zitat (das ich bei Google nicht gefunden habe, aber das von Jeff Gray und Miguel gefunden wurde) von irgendeinem Diktator, der gefragt wurde, ob er beabsichtige, seinen Bananen-Republik in Richtung Demokratie zu bewegen:
Wir glauben, dass wir uns bereits in einem demokratischen System befinden. Einige Faktoren fehlen noch, wie die freie Meinungsäußerung.
Der Kern einer Demokratie ist der spezifische Mechanismus, der politische Konflikte löst. Wenn alle Gruppen die gleiche bevorzugte Politik hätten, wäre keine Demokratie erforderlich—wir würden automatisch zusammenarbeiten. Der Konfliktlösungsprozess kann eine direkte Stimmenmehrheit oder eine gewählte Legislative oder sogar ein wählersensitives Verhalten einer KI sein, aber es muss jedoch etwas sein. Was bedeutet es, eine “demokratische” Lösung zu fordern, wenn Sie keinen Konfliktlösungsmechanismus im Sinn haben?
Ich denke, es bedeutet, dass das Wort “Demokratie” gesagt wurde, und dass das Publikum Beifall klatschen soll. Es ist nicht so sehr eine aussagekräftige Aussage, als ein Äquivalent des “Applause” -Lichts, das einem Studiopublikum sagt, wann es klatschen soll.
Dieser Fall ist nur insofern bemerkenswert, als dass ich das Applaus-Licht mit einem politischen Vorschlag verwechselt habe, mit anschließender allgemeiner Peinlichkeit. Die meisten Applaus-Lichter sind offensichtlicher und können durch einen einfachen Umkehrtest erkannt werden. Angenommen, jemand sagt:
Wir müssen die Risiken und Chancen der KI ausbalancieren.
Wenn Sie diese Aussage umkehren, erhalten Sie:
Wir sollten die Risiken und Chancen der KI nicht ausbalancieren.
Da die Umkehrung abnormal klingt, ist die nicht umgekehrte Aussage wahrscheinlich normal, was bedeutet, dass keine neuen Informationen übermittelt werden. Es gibt viele legitime Gründe, um einen Satz auszusprechen, der isoliert nicht aussagekräftig wäre. “Wir müssen die Risiken und Chancen der KI ausbalancieren” kann ein Diskussionsthema einführen; es kann die Bedeutung eines spezifischen Vorschlags für die Abwägung betonen; es kann einen unausgewogenen Vorschlag kritisieren. Das Verknüpfen mit einer normalen Behauptung kann einem eingeschränkten Rationalisten neue Informationen vermitteln—die Verbindung selbst ist möglicherweise nicht offensichtlich. Wenn aber keine Besonderheiten folgen, ist der Satz wahrscheinlich ein Applaus-Licht.
Ich bin versucht, einmal einen Vortrag zu halten, der nur aus Applaus-Lichtern besteht, und zu sehen, wie lange es dauert, bis das Publikum anfängt zu lachen:
Ich möchte Ihnen heute vorschlagen, die Risiken und Chancen fortschrittlicher künstlicher Intelligenz in Einklang zu bringen. Wir sollten die Risiken vermeiden und, soweit möglich, die Chancen wahrnehmen. Wir sollten uns nicht unnötig mit unnötigen Gefahren auseinandersetzen. Um diese Ziele zu erreichen, müssen wir vernünftig und rational planen. Wir sollten nicht in Furcht und Panik handeln oder der Technophobie nachgeben. aber wir sollten auch nicht mit blinder Begeisterung handeln. Wir sollten die Interessen aller Parteien respektieren, die an der Singularität beteiligt sind. Wir müssen sicherstellen, dass die Vorteile fortschrittlicher Technologien so vielen Menschen wie möglich zur Verfügung stehen, anstatt auf einige beschränkt zu sein. Wir müssen versuchen, gewalttätige Konflikte mit diesen Technologien so weit wie möglich zu vermeiden. und wir müssen verhindern, dass massive zerstörerische Fähigkeiten in die Hände von Individuen fallen. Wir sollten diese Fragen vorher durchdenken, nicht danach, es ist zu spät, um etwas dagegen zu unternehmen …
Hi, i made this german translation if anyone is interested:
Applaus-Lichter
Pseudo-Überzeugungen
Von Eliezer_Yudkowsky
11. September 2007
Auf dem Singularity Summit 2007 rief einer der Redner zu einer demokratischen, multinationalen Entwicklung der KI auf. Also trat ich ans Mikrofon und fragte:
Angenommen, eine Gruppe demokratischer Republiken bildet ein Konsortium zur Entwicklung der KI, und während des Prozesses gibt es viel politisches Taktieren—einige Interessengruppen haben einen ungewöhnlich großen Einfluss, andere werden über den Tisch gezogen—mit anderen Worten, das Ergebnis sieht aus wie die Produkte moderner Demokratien. Alternatives Szenario: Angenommen, eine Gruppe von Rebellen-Nerds entwickelt eine KI in ihrem Keller und weist der KI an, mit jedem auf der Welt eine Umfrage zu machen (dafür bekommt jeder der noch keines hat ein Mobiltelefon) - und dann das zu machen, was die Mehrheit wünscht. Welche von diesen Optionen ist Ihrer Meinung nach “demokratischer”, und würden Sie sich bei beiden sicher fühlen?
Ich wollte herausfinden, ob er an die pragmatische Angemessenheit des demokratischen politischen Prozesses glaubte oder ob er an die moralische Rechtmäßigkeit der Stimmabgabe glaubte. Der Sprecher antwortete:
Das erste Szenario klingt wie ein Leitartikel im Reason-Magazin und das zweite klingt wie ein Hollywood-Plot.
Verwirrt fragte ich:
An was für einen demokratischen Prozess haben Sie gedacht?
Der Sprecher antwortete:
So etwas wie das Human Genome Project—das war ein international gesponsertes Forschungsprojekt.
Ich habe gefragt:
Wie würden verschiedene Interessengruppen ihre Konflikte in einer Struktur wie dem Human Genome Project lösen?
Und der Sprecher sagte:
Ich weiß es nicht.
Dieser Austausch erinnert mich an ein Zitat (das ich bei Google nicht gefunden habe, aber das von Jeff Gray und Miguel gefunden wurde) von irgendeinem Diktator, der gefragt wurde, ob er beabsichtige, seinen Bananen-Republik in Richtung Demokratie zu bewegen:
Wir glauben, dass wir uns bereits in einem demokratischen System befinden. Einige Faktoren fehlen noch, wie die freie Meinungsäußerung.
Der Kern einer Demokratie ist der spezifische Mechanismus, der politische Konflikte löst. Wenn alle Gruppen die gleiche bevorzugte Politik hätten, wäre keine Demokratie erforderlich—wir würden automatisch zusammenarbeiten. Der Konfliktlösungsprozess kann eine direkte Stimmenmehrheit oder eine gewählte Legislative oder sogar ein wählersensitives Verhalten einer KI sein, aber es muss jedoch etwas sein. Was bedeutet es, eine “demokratische” Lösung zu fordern, wenn Sie keinen Konfliktlösungsmechanismus im Sinn haben?
Ich denke, es bedeutet, dass das Wort “Demokratie” gesagt wurde, und dass das Publikum Beifall klatschen soll. Es ist nicht so sehr eine aussagekräftige Aussage, als ein Äquivalent des “Applause” -Lichts, das einem Studiopublikum sagt, wann es klatschen soll.
Dieser Fall ist nur insofern bemerkenswert, als dass ich das Applaus-Licht mit einem politischen Vorschlag verwechselt habe, mit anschließender allgemeiner Peinlichkeit. Die meisten Applaus-Lichter sind offensichtlicher und können durch einen einfachen Umkehrtest erkannt werden. Angenommen, jemand sagt:
Wir müssen die Risiken und Chancen der KI ausbalancieren.
Wenn Sie diese Aussage umkehren, erhalten Sie:
Wir sollten die Risiken und Chancen der KI nicht ausbalancieren.
Da die Umkehrung abnormal klingt, ist die nicht umgekehrte Aussage wahrscheinlich normal, was bedeutet, dass keine neuen Informationen übermittelt werden. Es gibt viele legitime Gründe, um einen Satz auszusprechen, der isoliert nicht aussagekräftig wäre. “Wir müssen die Risiken und Chancen der KI ausbalancieren” kann ein Diskussionsthema einführen; es kann die Bedeutung eines spezifischen Vorschlags für die Abwägung betonen; es kann einen unausgewogenen Vorschlag kritisieren. Das Verknüpfen mit einer normalen Behauptung kann einem eingeschränkten Rationalisten neue Informationen vermitteln—die Verbindung selbst ist möglicherweise nicht offensichtlich. Wenn aber keine Besonderheiten folgen, ist der Satz wahrscheinlich ein Applaus-Licht.
Ich bin versucht, einmal einen Vortrag zu halten, der nur aus Applaus-Lichtern besteht, und zu sehen, wie lange es dauert, bis das Publikum anfängt zu lachen:
Ich möchte Ihnen heute vorschlagen, die Risiken und Chancen fortschrittlicher künstlicher Intelligenz in Einklang zu bringen. Wir sollten die Risiken vermeiden und, soweit möglich, die Chancen wahrnehmen. Wir sollten uns nicht unnötig mit unnötigen Gefahren auseinandersetzen. Um diese Ziele zu erreichen, müssen wir vernünftig und rational planen. Wir sollten nicht in Furcht und Panik handeln oder der Technophobie nachgeben. aber wir sollten auch nicht mit blinder Begeisterung handeln. Wir sollten die Interessen aller Parteien respektieren, die an der Singularität beteiligt sind. Wir müssen sicherstellen, dass die Vorteile fortschrittlicher Technologien so vielen Menschen wie möglich zur Verfügung stehen, anstatt auf einige beschränkt zu sein. Wir müssen versuchen, gewalttätige Konflikte mit diesen Technologien so weit wie möglich zu vermeiden. und wir müssen verhindern, dass massive zerstörerische Fähigkeiten in die Hände von Individuen fallen. Wir sollten diese Fragen vorher durchdenken, nicht danach, es ist zu spät, um etwas dagegen zu unternehmen …