Bugs/GF Diffs

Abgleich Fragmente mit Guttenberg-2006

Das Problem nochmal kurz: Fragmente xxx yy-zz (F) werden unter Guttenberg-2006/xxx (G) zusammengefasst. Nun kann man von G schauen welche F drinnen sind, aber nicht alle F listen die Noch nicht unter G verwendet wurden.

Methode

1. Liste G

Der Quelltext aller Guttenberg-2006/xxx Seiten wird per API-Abfrage geladen, etwa so:

http://de.guttenplag.wikia.com/api.php?action=query&format=xmlfm&prop=revisions&rvprop=content&generator=allpages&gaplimit=5&gapprefix=Guttenberg-2006/015

Dort findet man diese Fragmente unter Seite 015:

{{:Fragment 015 10-12}}
{{:Fragment 015 12-19}}
{{:Fragment 015 108-118}}

2. Liste F

Dann wird der Quelltext aller Fragmente per API-Abfrage geladen, etwa so:

http://de.guttenplag.wikia.com/api.php?action=query&format=xmlfm&prop=revisions&rvprop=content&generator=allpages&gaplimit=1&gapprefix=Fragment%20

Im Quelltext der Fragment-Seite findet man die PlagiatsKategorie als: val_7="<Kategorie>"

Alle gefundenen Fragmente werden per Regex auf relevante Kategiorien gefiltert, und zwar so:
val_7=.*(BauernOpfer|HalbsatzFlickerei|KomplettPlagiat|Verschleierung|ShakeAndPaste|StrukturPlagiat|ÜbersetzungsPlagiat|UnbekannteQuelle)

3. Abgleich der Listen

Zum Schluss erfolgt ein Abgleich beider Listen, siehe weiter unten.

Kommentar

Jetzt sind leider deutlich mehr falsch-positive dabei, wäre gut, wenn man auf Weiterleitungen prüfen könnte. Die entstehen, weil wir uns mal verzählen und dann muss die Seite halt verschoben werden. Danke:)--Nerd wp 22:16, 2. Mär. 2011 (UTC)

Hmm. Ich denke je mehr Weiterleitunges es gibt, umso mehr false positives wird es geben. Ich frage die Seiten ab, die die eigentlichen Inhalte haben: val_1=... val_2=... etc. Redirects sind eh nur leere Seiten zur Umleitung, so wie ich das sehe. Die false positives sollte man am besten mit dem geschulten Auge des menschlichen Betrachters erkennen, oder ist das zu aufwendig. (?) User8 22:51, 2. Mär. 2011 (UTC)

Ergebnisse

Jeder Eintrag in der Resultatliste unten hat diese Logik:

Guttenberg-2006/XXX = die Seite, um die es geht

G: Fragmente aus Liste G = Fragmente, die zum Abfragezeitpunkt in Seite XXX waren

F: Fragmente aus Liste F = alle Fragmente in relevanten PlagiatsKategorien

Anweisung: Guttenberg-2006/XXX setzt sich aus G zusammen, die fehlenden F's bitte reinkleben in Guttenberg-2006/XXX und hier durchstreichen. Danke! hier steht's, wie's geht, ziemlich unten ("Für Auswertungsstufe III")

Diffs von 20110302 09:15

Ein Resultat als Beispiel:

• Guttenberg-2006/398
  G: Fragment 398 09-28
  F: Fragment 398 01-08 Fragment 398 09-28
• Guttenberg-2006/402
  G: Fragment 402 01-24
  F: Fragment 402 06-24

• Guttenberg-2006/404
  G: Fragment 404 02-04
  F: Fragment 404 01-03

Regelmäßiger Update der Diffs

Interessiert das überhaupt noch jemanden? Soll ich regelmäßiger Updates hier reinstellen und die jeweils vorhandene Liste überschreiben?

Ja ich. Hat sich zu einem wertvollen Tool entwickelt auch um zu Dubletten http://de.guttenplag.wikia.com/index.php?title=Spezial%3APr%C3%A4fixindex&prefix=Dublette&namespace=0 zu finden.--Nerd wp 15:57, 5. Mär. 2011 (UTC)

Gut zu wissen. Soll ich jetzt ein Update posten oder nicht? Wenn mir jemand diese WEITERLEITUNGS-Logik erklaren wuerde, dann koennte ich versuchen die "false positives" evtl. zu reduzieren. Frage: Ist die Fragment-ID der WEITERLEITUNG fuer den Abgleich wichtiger als die Original-Fragment-ID? Hier eine Beispiel-Abfrage: API-Abfrage fuer Fragmente und WEITERLEITUNGen auf Seite 048 Oder soll ichs erst mal lassen? User8 16:17, 5. Mär. 2011 (UTC)

Ich verstehe die Frage leider nicht ganz, aber Weiterleitungen lassen sich in generator=allpages-Queries (oder list=allpages) mit gapfilterredir=nonredirects herausfiltern. Wenn man nur Weiterleitungen erhalten möchte, gapfilterredir=redirects. Kahrl 19:22, 5. Mär. 2011 (UTC)

P.S.: Ich bin gerade dabei, die Liste aller Weiterleitungen mit Präfix "Fragment" durchzugehen und die Weiterleitungen (nach Prüfung, ob Links von Guttenberg-2006/... existieren) zu löschen. Kahrl 19:26, 5. Mär. 2011 (UTC)

Diese Liste ist fraglos unverzichtbar, auch trotz der manuellen Vollständigkeitsprüfung/Erstsichtung. Es gibt nämlich viele Seiten, auf denen nach der Sichtung noch Fragmente dazugekommen sind (Beispiel: Guttenberg-2006/219).

Dumme Frage: Waere es nicht besser und schneller alle Guttenberg-2006/XXX Seiten irgendwann zu loeschen und dann wieder per Skript neu anlegen, basierend auf allen Fragmenten mit Kategorie:QualitaetsGesichert, oder sowas? User8 11:51, 8. Mär. 2011 (UTC)

Update 4. April

Ich habe das Skript mal nachgebaut (siehe Benutzer:Kahrl/Skripte), hier meine Ergebnisse.

---

Kurzer Einschub: Ich hatte beim letzten Mal ähnliche Ergebnisse = ca. 100 (scheinbare) Differenzen. Ich filter noch die Frags mit KeinPlagiat, Verdächtig, etc. heraus und ignoriere noch das Fragment irgendwo auf Seite 500+ -- User8 07:30, 10. Mär. 2011 (UTC)

---

Letztes Update: Kahrl 17:51, 4. Apr. 2011 (UTC)

Zuerst die Statistik:

• 1210 Fragmente unter 371 Guttenberg-2006/XXX Seiten
• 1229 Fragmente insgesamt, auf 371 Seiten
• davon 1225 normale Fragmente und 4 Weiterleitungen
• 36 der 373 Seiten scheinen unvollstaendig zu sein

Und hier die Differenzen:

• Guttenberg-2006/024
  G: Fragment 024 02-08 Fragment 024 11-13 Fragment 024 13-16 Fragment 024 27-31 Fragment 024 108-109
  F: Fragment 024 02-08 Fragment 024 11-13 Fragment 024 27-31 Fragment 024 108-109
• Guttenberg-2006/043
  G: Fragment 043 08-24
  F:
• Guttenberg-2006/057
  G: Fragment 057 01-10 Fragment 057 11-25 Fragment 057 34-36
  F: Fragment 057 01-10 Fragment 057 11-25
• Guttenberg-2006/075
  G: Fragment 075 01-14 Fragment 075 15-17 Fragment 075 101-108 Fragment 075 109-117 Fragment 075 117-123
  F: Fragment 075 01-14 Fragment 075 15-17 Fragment 075 101-108 Fragment 075 117-123
• Guttenberg-2006/086
  G: Fragment 086 01-08 Fragment 086 101-102 Fragment 086 102-111 Fragment 086 112-123 Fragment 086 124-139
  F: Fragment 086 01-08 Fragment 086 102-111 Fragment 086 112-123 Fragment 086 124-139
• Guttenberg-2006/093
  G: Fragment 093 01-05 Fragment 093 06-19 Fragment 093 20-32 Fragment 093 101-107 Fragment 093 108-109
  F: Fragment 093 01-05 Fragment 093 06-19 Fragment 093 20-32 Fragment 093 101-107 Fragment 093 108-109
  Fragment-Weiterleitungen wurden gefunden!
• Guttenberg-2006/094
  G: Fragment 094 01-10 Fragment 094 13-20 Fragment 094 101-109 Fragment 094 110-123
  F: Fragment 094 01-10 Fragment 094 13-20 Fragment 094 101-109 Fragment 094 110-123
  Fragment-Weiterleitungen wurden gefunden!
• Guttenberg-2006/099
  G: Fragment 099 12-25 Fragment 099 28-31 Fragment 099 109-111
  F: Fragment 099 08-11 Fragment 099 12-25 Fragment 099 28-31 Fragment 099 101-103 Fragment 099 104-108 Fragment 099 109-111
• Guttenberg-2006/130
  G: Fragment 130 01-11 Fragment 130 12-25 Fragment 130 15-17 Fragment 130 105-110 Fragment 130 111-117
  F: Fragment 130 01-11 Fragment 130 12-25 Fragment 130 15-17 Fragment 130 105-110
• Guttenberg-2006/176
  G:
  F: Fragment 176 109-114 Fragment 176 119-122
• Guttenberg-2006/177
  G:
  F: Fragment 177 17-19
• Guttenberg-2006/187
  G: Fragment 187 01-09 Fragment 187 18-24 Fragment 187 25-32
  F: Fragment 187 01-09 Fragment 187 18-24 Fragment 187 25-32 Fragment 187 104-109
• Guttenberg-2006/188
  G: Fragment 188 01-09 Fragment 188 09-12 Fragment 188 20-23 Fragment 188 32-37
  F: Fragment 188 01-09 Fragment 188 09-12 Fragment 188 32-37
• Guttenberg-2006/195
  G: Fragment 195 06-19 Fragment 195 20-28 Fragment 195 29-32 Fragment 195 103-104 Fragment 195 107-109
  F: Fragment 195 20-28 Fragment 195 29-32 Fragment 195 103-104 Fragment 195 107-109
• Guttenberg-2006/216
  G: Fragment 216 01-33 Fragment 216 34-43
  F: Fragment 216 01-33
• Guttenberg-2006/219
  G: Fragment 219 01-11
  F: Fragment 219 01-11 Fragment 219 15-28 Fragment 219 29-31
• Guttenberg-2006/220
  G: Fragment 220 20-37
  F: Fragment 220 01-08 Fragment 220 09-19 Fragment 220 20-37 Fragment 220 101-104
• Guttenberg-2006/252
  G: Fragment 252 01-21 Fragment 252 22-29 Fragment 252 31-32 Fragment 252 33-35 Fragment 252 103-104
  F: Fragment 252 01-21 Fragment 252 22-29 Fragment 252 22-32 Fragment 252 31-32 Fragment 252 33-35 Fragment 252 103-104
• Guttenberg-2006/253
  G: Fragment 253 01-09 Fragment 253 10-16 Fragment 253 17-25 Fragment 253 26-36 Fragment 253 101-102
  F: Fragment 253 01-09 Fragment 253 10-16 Fragment 253 10-25 Fragment 253 17-25 Fragment 253 26-36 Fragment 253 101-102
• Guttenberg-2006/262
  G: Fragment 262 107-112 Fragment 262 127-127
  F: Fragment 262 127-127
• Guttenberg-2006/265
  G:
  F: Fragment 265 08-12
• Guttenberg-2006/266
  G: Fragment 266 01-09 Fragment 266 11-13 Fragment 266 14-19 Fragment 266 23-32 Fragment 266 101-101
  F: Fragment 266 01-09 Fragment 266 11-13 Fragment 266 14-19 Fragment 266 101-101
• Guttenberg-2006/267
  G: Fragment 267 01-03 Fragment 267 04-14 Fragment 267 15-17 Fragment 267 103-123 Fragment 267 124-125 Fragment 267 126-129
  F: Fragment 267 04-14 Fragment 267 15-17 Fragment 267 103-123 Fragment 267 124-125 Fragment 267 126-129
• Guttenberg-2006/277
  G: Fragment 277 14-20 Fragment 277 20-25 Fragment 277 25-27 Fragment 277 108-111 Fragment 277 112-113
  F: Fragment 277 14-20 Fragment 277 20-25 Fragment 277 25-27 Fragment 277 112-113
• Guttenberg-2006/281
  G: Fragment 281 01-06
  F: Fragment 281 01-06 Fragment 281 10-21 Fragment 281 24-26 Fragment 281 27-33 Fragment 281 101-102 Fragment 281 102-105 Fragment 281 102-107 Fragment 281 106-107
• Guttenberg-2006/282
  G: Fragment 282 09-20 Fragment 282 21-27
  F: Fragment 282 04-06 Fragment 282 09-20 Fragment 282 21-27 Fragment 282 101-106
• Guttenberg-2006/283
  G: Fragment 283 11-23
  F: Fragment 283 01-02 Fragment 283 05-10 Fragment 283 11-23 Fragment 283 101-111 Fragment 283 112-113 Fragment 283 113-118
• Guttenberg-2006/288
  G: Fragment 288 15-16 Fragment 288 16-26 Fragment 288 102-107
  F: Fragment 288 15-16 Fragment 288 16-26 Fragment 288 26-32 Fragment 288 102-107
• Guttenberg-2006/289
  G: Fragment 289 02-07
  F: Fragment 289 02-07 Fragment 289 08-12 Fragment 289 103-117
• Guttenberg-2006/296
  G: Fragment 296 01-09 Fragment 296 10-22 Fragment 296 23-30
  F: Fragment 296 01-09 Fragment 296 10-22 Fragment 296 23-30 Fragment 296 101-108
• Guttenberg-2006/298
  G: Fragment 298 01-05
  F:
• Guttenberg-2006/314
  G: Fragment 314 01-06 Fragment 314 07-19 Fragment 314 103-112 Fragment 314 113-121
  F: Fragment 314 07-19 Fragment 314 103-112
• Guttenberg-2006/317
  G: Fragment 317 01-11 Fragment 317 14-17 Fragment 317 17-25 Fragment 317 101-103 Fragment 317 104-105
  F: Fragment 317 01-11 Fragment 317 17-25 Fragment 317 101-103 Fragment 317 104-105
  Fragment-Weiterleitungen wurden gefunden!
• Guttenberg-2006/328
  G: Fragment 328 01-05 Fragment 328 06-10 Fragment 328 10-14 Fragment 328 15-23 Fragment 328 24-33 Fragment 328 109-109
  F: Fragment 328 01-05 Fragment 328 01-14 Fragment 328 06-10 Fragment 328 10-14 Fragment 328 15-23 Fragment 328 24-33 Fragment 328 109-109
• Guttenberg-2006/334
  G: Fragment 334 01-10 Fragment 334 11-19 Fragment 334 20-26 Fragment 334 27-34 Fragment 334 101-102 Fragment 334 104-106
  F: Fragment 334 01-10 Fragment 334 11-19 Fragment 334 27-34 Fragment 334 101-102 Fragment 334 104-106
• Guttenberg-2006/370
  G: Fragment 370 01-24 Fragment 370 25-37 Fragment 370 101-105
  F: Fragment 370 01-24 Fragment 370 25-37