[php] BBCode Parser

[yankee]

Auch in der DP wurde schon des häufigeren mal nach einem BBCode-Parser für php gefragt und das sehe ich mal als Begründung genug in der DP php zu veröffentlichen.

Im Anhang findet ihr einen bbcode parser, den ich heute mittag Geschrieben habe. Eine kurze (englische) Anleitung und ein kurzes Beispiel sind enthalten.

Das besondere an dem Parser im Vergleich zu anderen Parsern ist, dass er einen Zwischencode erstellt, der sowohl zu BBCode zurück gewandelt werden kann, als auch sehr schnell in html gewandelt werden kann.
Den Zwischencode in html umzuwandeln ist deutlich schneller als bbcode direkt zu wandeln. Daher eignen sich meine Funktionen gut, um den Zwischencode (in einer DB) zu speichern und dann sehr schnell anzeigen zu können und trotzdem noch wieder in bbcode editieren zu können.

Ihr könnt das ja mal testen...
Wäre nett, wenn ihr euch mal zu dem parser äusern würdet. Auch, ob ihr Sicherheitslücken uasmachen könnt.

EDIT:
1. kleiner Bug, den ich zuerst nicht gefunden habe, weil Opera das Ergebnis trotzdem richtig darstellte behoben.
2. automatisch URL-Erkennung hinzugefügt.
3. Den Beispielcode etwas erweitert.

EDIT2: Wenn ihr euch das doch schon runterladet, dann schreibt doch mal was dazu...
"jo, schön, funktioniert", "kann ich gut gebrauchen", "du spinnst doch, von solchen codeschnippseln gibt es schon Millionen", "Kann doch nichts... voll langsam", "Mein selbstgeschriebenes Forum braucht jetzt 99% weniger CPU ^^"
Die 6 Downloads bis jetzt speichern das doch wohl kaum auf ihrer Platte und gucken sich das dann nichtmal an ^^.

EDIT3:

Vorraussetzungen:
- PHP 5 (wäre aber auch eine Kleinigkeit den Code unter php4 zu betreiben: Einfach die static-Funktionen als function ohne Klassenkontext nehmen)

Sonst nix.

[alcaeus]

Hmm, das Ding ist mir noch gar nicht aufgefallen. Ich gucks mir in den naechsten Tagen an und werde was dazu sagen ;)

Koenntest du in der Zwischenzeit was ueber die Voraussetzungen sagen? (PHP-Version, Safe-Mode, usw.)

Greetz
alcaeus

[yankee]

Zitat:

Zitat von alcaeus

Koenntest du in der Zwischenzeit was ueber die Voraussetzungen sagen? (PHP-Version, Safe-Mode, usw.)

Du brauchst dafür php :-).
Also gut. So wie sie ist, braucht die Klasse php 5, aber jeder php-Programmierer brauch weniger als 60 Sekunden um den Code auf php4 umzuschreiben :-). Dafür muss man die 3 Funktionen nämlich nur aus dem Klassencontext rausnehmen und eben einfach so... ohne Klasse verwenden.

[martinschroeder]

Wozu in aller Welt ist $randid gut? Könnte man die nicht auch weglassen?

[Matze]

Zitat:

Zitat von martinschroeder

Wozu in aller Welt ist $randid gut? Könnte man die nicht auch weglassen?

Wie ich das letzte Woche gelernt habe, bekommen alle gültigen BBCodes diese zufällige ID. Stimmen Verschachtelungen nicht oder ist sonst etwas nicht korrekt, wird keine ID vergeben. Geparst werden dann nur die BBCodes, die eine ID erhalten haben, alle anderen werden im Klartext angezeigt.

Edit: Herzlich willkommen!

[yankee]

Zitat:

Zitat von martinschroeder

Wozu in aller Welt ist $randid gut? Könnte man die nicht auch weglassen?

Neine, das würde zu Problemen einem Text wie diesem führen:

Code:

Hallo [b]bla

Wie du siehst wird der [b]-tag nie geschlossen. Dadurch, dass ich im str_replace beim generieren des html-codes nichtmehr nachgucken kann, ob jeder öffnende Tag auch einen schliessenden hat, kann man sich durch einen sich nicht schliessenden Tag die ganze Seite kaputt machen, nur weil irgendwer zu doof war, oder wirklich böswillig war.
Wenn also in einem Forum wirklich jemand versucht auf diese Weise die Seite kaputt zu machen (ok, mehr als das Design kann man damit nicht kaputt machen, aber das ist ärgerlich genug, besonders, wenn es auch noch ausversehen passieren kann), müsste er die randomid erraten (in meine Beispiel eine Trefferchance von 1:2^16.m )Wobei mich das auf die Idee bringt, dass man mit strpos auch noch prüfen könnte, ob die randid überhaupt im text ist und wenn nicht solange eine neue generieren, bis sie es nichtmehr ist. So könnte man die Möglichkeit das Design zu zerstören vollkommen ausschliessen).

Ich hoffe das war jetzt verständlich ;-). phpBB macht es übrigens genauso und nimmt eine randid, obwohl die, soweit ich es gesehen habe trotzdem noch an ein paar Stellen unnötigerweise reguläre Ausdrücke einsetzen ;-).

Wenn du dir sicher bist, dass deine benutzer keinen Scheiss bauen, kannst du die randid natürlich auch weglassen :-).

[Christian S.]

Dass die RandId (oder BBCode-UID bei phpBB) verhindern soll, dass jemand falschem HTML-Code erzeugt, ist nicht richtig.

Du hast zwei Funktionen: FirstPass und SecondPass. FirstPass wird nur beim Speichern des Beitrags in der Datenbank aufgerufen, SecondPass bei jedem Anzeigen des Beitrags. Im FirstPass prüft man nun mittels Regex, welche Tags gültig sind. Diese Tags versieht man mit einer RandId und speichert den Beitrag mit dieser Änderung in die Datenbank. Im SecondPass macht man nun eine einfache String-Ersetzung der Tags mit RandId.

Dadurch hat man die aufwändige Ersetzung mit regulären Ausdrücken nur beim Posten des Beitrags, die schnelle String-Ersetzung wird verwendet, wenn der Beitrag angesehen wird. Die Verwendung von solchen IDs hat also lediglich Performance-Gründe.

//edit: @yankee: Wieso sollten die regulären Ausdrücke unnötig sein? Mit was bestimmst Du denn, in welche Tags die BBCode-UID reinkommt?

[yankee]

Zitat:

Zitat von Christian S.

Dass die RandId (oder BBCode-UID bei phpBB) verhindern soll, dass jemand falschem HTML-Code erzeugt, ist nicht richtig.
[..]
Im FirstPass prüft man nun mittels Regex, welche Tags gültig sind. Diese Tags versieht man mit einer RandId und speichert den Beitrag mit dieser Änderung in die Datenbank. Im SecondPass macht man nun eine einfache String-Ersetzung der Tags mit RandId.

Ja... genau... Und den Aufwand macht man um zu verhindern, dass jemand falschen HTML-Code erzeugt. Oder wie siehst du das? Sonst könnte man ja nur secondPass nehmen und sich firstPass komplett sparen (mal abgesehen von Tags, die eine kleine Veränderung brauchen, damit sie ohne regx ge-stringreplaced werden können).

Zitat:

Zitat von Christian S.

//edit: @yankee: Wieso sollten die regulären Ausdrücke unnötig sein? Mit was bestimmst Du denn, in welche Tags die BBCode-UID reinkommt?

Im firstPass sind sie nicht unnötig, im secondPass aber schon. Und phpBB verwendet, wenn ich mich recht erinnere auch im secondPass regexe.

[Christian S.]

Zitat:

Zitat von yankee

Ja... genau... Und den Aufwand macht man um zu verhindern, dass jemand falschen HTML-Code erzeugt. Oder wie siehst du das?

Richtig. Aber das kann ich auch die RandId. Dann muss ich es lediglich bei jedem Anzeigen machen. Weil das Performance kostet, nimmt man die RandId her. Um falschen HTML-Code "abzuwehren" brauche ich die nicht, sonder nur, damit selbiges nicht ständig neu gemacht wird.

Zitat:

Zitat von yankee

Zitat:

Zitat von Christian S.

//edit: @yankee: Wieso sollten die regulären Ausdrücke unnötig sein? Mit was bestimmst Du denn, in welche Tags die BBCode-UID reinkommt?

Im firstPass sind sie nicht unnötig, im secondPass aber schon.

Okay, ich dachte Du beziehst das auf alles. Ich glaube, bei URL-Tags. Da kann ich nur raten, weshalb das so ist. Eventuell damit bei einer Änderung der zulässigen Zeichen in einer URL (kam ja schon häufig vor) nicht alle Beiträge neu geparst werden müssen. :gruebel:

[yankee]

Zitat:

Zitat von Christian S.

Richtig. Aber das kann ich auch die RandId. Dann muss ich es lediglich bei jedem Anzeigen machen. Weil das Performance kostet, nimmt man die RandId her. Um falschen HTML-Code "abzuwehren" brauche ich die nicht, sonder nur, damit selbiges nicht ständig neu gemacht wird.

Mein Post bezog sich eher darauf, was passieren würde, wenn man die Randid einfach weglassen würde, aber trotzdem nach dem Prinzip meines Parsers vorgeht. Also so, dass man als randid einfach immer einen leeren String nimmt. Und den Doppelpunkt in den preg_replaces noch entfernt.

[alcaeus]

@Christian: Unter anderem das mit der Aenderung. Nehmen wir aber folgenden BBCode:

Code:

[url]www.foobar.net[/url]

Der muss ja ersetzt werden in

Code:

[url="http://www.foobar.net"]www.foobar.net[/url]

Jetzt erklaer mir wie du das ohne RegExp anstellen willst ;)

BTW, nicht alle BBCodes werden durch FirstPass gejagt. Im phpBB bekommen URL-BBCodes keine UID verpasst, und muessen deshalb im Second-Pass validiert werden. Dies macht eine Anpassung des URL-BBCodes ohne Neuparsen der Beitraege moeglich :)

Greetz
alcaeus

[yankee]

Zitat:

Zitat von alcaeus

Jetzt erklaer mir wie du das ohne RegExp anstellen willst ;)

Downloade meinen Parser und schau es dir an...

[Christian S.]

Zitat:

Zitat von alcaeus

Code:

[url="http://www.foobar.net"]www.foobar.net[/url]

Jetzt erklaer mir wie du das ohne RegExp anstellen willst ;)

Habe ich behauptet, dass es geht? Aber ich könnte den RegExp deutlich einfacher gestalten und damit auch performanter, wenn eine UID in den URL-Tags steckte.

Zitat:

Zitat von alcaeus

BTW, nicht alle BBCodes werden durch FirstPass gejagt. Im phpBB bekommen URL-BBCodes keine UID verpasst, und muessen deshalb im Second-Pass validiert werden. Dies macht eine Anpassung des URL-BBCodes ohne Neuparsen der Beitraege moeglich :)

Das ist genau das, worum es gerade geht. :gruebel:

//edit: grmpf, roter Kasten?
Hm, naja, das ist nicht schön, aber es geht in der Tat. Wie sähe das bei Tags der Form

Code:

[url=http://www.foo.de]Bar[/url]

aus?

[yankee]

Zitat:

Zitat von Christian S.

//edit: grmpf, roter Kasten?
Hm, naja, das ist nicht schön, aber es geht in der Tat. Wie sähe das bei Tags der Form

Code:

[url=http://www.foo.de]Bar[/url]

aus?

Hä? Was für'n roter Kasten?
Mein bbcode-Parser ist jedenfalls in der Lage dieses Konstrukt ohne regex im secondPass auszuwerten.

EDIT: Das gewisse Regexe im secondPass Veränderungen am Code zulassen, lasse ich als Argument nicht zu.
str_replace ist sehr viel schneller als preg_replace und im Zweifelsfall wäre es besser ein kleines update-script zu schreiben, welches kurz alle Beiträge neu parst. Schliesslich ist das eine einmalige Aktion, da ist es nicht so wichtig, wenn es etwas dauert. Beim Anzeigen der Beiträge, was bei grossen Foren mehrmals pro Sekunde passiert, kann es durchaus darauf ankommen.

[Christian S.]

Zitat:

Zitat von yankee

Zitat:

Zitat von Christian S.

//edit: grmpf, roter Kasten?
Hm, naja, das ist nicht schön, aber es geht in der Tat. Wie sähe das bei Tags der Form

Code:

[url=http://www.foo.de]Bar[/url]

aus?

Hä? Was für'n roter Kasten?

Der, der mir eigentlich sagen sollte, dass Du geantwortet hast, während ich meinen Beitrag verfasste.

Zitat:

Zitat von yankee

Mein bbcode-Parser ist jedenfalls in der Lage dieses Konstrukt ohne regex im secondPass auszuwerten.

Japp, richtig.

Zitat:

Zitat von yankee

EDIT: Das gewisse Regexe im secondPass Veränderungen am Code zulassen, lasse ich als Argument nicht zu.

Ich bin so frech und beuge mich nicht Deiner Entsscheidung. :stupid:

Zitat:

Zitat von yankee

str_replace ist sehr viel schneller als preg_replace und im Zweifelsfall wäre es besser ein kleines update-script zu schreiben, welches kurz alle Beiträge neu parst.

Kurz? Du darfst das gerne mal bei einer Datenbank von der Größe der DP oder EE machen, dann wirst Du sehen, dass dein "kurz" mal locker mehrere Stunden sind. Darauf kann ich gerne verzichten, nur damit zwei Zeichen weniger in der URL erlaubt sind.

[alcaeus]

Moin,

mal kurz unabhaengig von der Diskussion: ich hab mir im Laufe der letzten Woche deine Engine mal kurz durchgeguckt. Was mir dabei fehlen, sind folgende Dinge:

• Ueberpruefung auf korrektes Parsing der Tags
• Moeglichkeit bestimmte Tag-Verschachtelungen zu verbieten (z.B. sind in code alle Tags verboten, in b macht es keinen Sinn, nochmal b zu haben, usw. Praktisch dient es u.a. dazu, die Vermischung von Block-Level- und Inline-Tags zu verbieten

Greetz
alcaeus

[yankee]

Zitat:

Zitat von Christian S.

Kurz? Du darfst das gerne mal bei einer Datenbank von der Größe der DP oder EE machen, dann wirst Du sehen, dass dein "kurz" mal locker mehrere Stunden sind. Darauf kann ich gerne verzichten, nur damit zwei Zeichen weniger in der URL erlaubt sind.

Ja... kurz...
Zum Zeitpunkt der Erstellung meines Beitrages gab es in der DB 611.718 Beiträge.
Mein Parser braucht für den Beispiel text für firstPass gaaanz grob ca. 0,7ms und reverseFirstPass 2ms. (Athlon 64 3700+, 2 GB RAM) Sagen wir mal, dass der Durschnittliche Beitrag doppelt solang ist wie mein Beitrag, dann dauert first-Pass+reverseFirstPass ca. 5ms. 5msx611.718 also ca. 50 Minuten.
Also weniger als 1 Stunde ;-).

Und: Je grösser das Forum, je mehr Leistung verbrauchen diese Prozesse die ganze Zeit über.. Dann verbrauche ich zwar nur 5ms, aber wenn 200 Beiträge pro Sekunde abgerufen werden, ist der CPU zu 100% ausgelastet...

Und wie oft kommt es bitte vor, dass du dein bbcode-parser verändert? Dann lässt du lieber das Update-script auf niedriger nice-Stufe im Hintergrund laufen, und produzierst so die gleiche Last, wie wenn du den Beitrag immer neu generieren würdest, aber nur für eine Stunde :-).
Oder du speicherst die Version deines bbcode-Parser immer mit und beim anzeigen eines Beitrags merkst du, dass die Version outdated ist und regenierierst den Beitrag...

Es gibt viele Möglichkeiten, aber sobald die DP bei 15 Beiträgen pro Seite (also 75ms Generationszeit) 40K Seitenaufrufe hatte hast du die Zeit für das Updatescript schon wieder raus :-).

@alcaeus: Ich schau mal, ob ich nicht Zeit finde das einzubauen :-).

[Christian S.]

Zitat:

Zitat von yankee

Ja... kurz...
Zum Zeitpunkt der Erstellung meines Beitrages gab es in der DB 611.718 Beiträge.
Mein Parser braucht für den Beispiel text für firstPass gaaanz grob ca. 0,7ms und reverseFirstPass 2ms. (Athlon 64 3700+, 2 GB RAM) Sagen wir mal, dass der Durschnittliche Beitrag doppelt solang ist wie mein Beitrag, dann dauert first-Pass+reverseFirstPass ca. 5ms. 5msx611.718 also ca. 50 Minuten.
Also weniger als 1 Stunde ;-).

Ich kann Dir als derjenige, der für die Foren-Software der Entwickler-Ecke zusätndig ist, versichern, dass diese Schätzung bei weitem nicht stimmt. Zum einen hast Du selten einen Server mit dieser Leistung. Außerdem musst Du auch noch die Datenbankzugriffe mit einbeziehen, die ebenfalls Zeit in Anspruch nehmen werden.

Zitat:

Zitat von yankee

Und: Je grösser das Forum, je mehr Leistung verbrauchen diese Prozesse die ganze Zeit über.. Dann verbrauche ich zwar nur 5ms, aber wenn 200 Beiträge pro Sekunde abgerufen werden, ist der CPU zu 100% ausgelastet...

Aha. Die ganzen Server, die mit phpBB arbeiten, müssten also mit 100% ausgelastet sein? Interessant.

Zitat:

Zitat von yankee

Und wie oft kommt es bitte vor, dass du dein bbcode-parser verändert?

Wie oft haben die Leuts von phpBB an den gültigen Zeichen für URLs was geändert?

Zitat:

Zitat von yankee

Dann lässt du lieber das Update-script auf niedriger nice-Stufe im Hintergrund laufen, und produzierst so die gleiche Last, wie wenn du den Beitrag immer neu generieren würdest, aber nur für eine Stunde :-).

Wie gesagt, die Schätzung ist falsch. Und ich führe zumindest in der EE solche Aktionen nicht aus, während das Forum online ist.

Ich denke, wir werden da zu keinem "richtig" oder "falsch" kommen. Es ist alles eine Frage, wie man verschiedene Aspekte gegeneinander aufwiegt, und das tun auf Grund unterschiedlicher Erfahrungen halt anders.

[martinschroeder]

Na das sind ja mal reichhaltige Antworten.
In der Zwischenzeit hab auch ich mir mal den bbcode-parser von phpBB angeguckt und festgestellt, dass der genauso arbeitet wie dein Script. Sehr genial :-D
(Sry, dass ich mich jetzt nicht mit euch über Serverlast streite ;-) )

[himitsu]

Bin selber noch auf der Suche nach sowas.

Und speziell sowas wär mir da wichtig:

Zitat:

Zitat von alcaeus

* Moeglichkeit bestimmte Tag-Verschachtelungen zu verbieten (z.B. sind in code alle Tags verboten, in b macht es keinen Sinn, nochmal b zu haben, usw. Praktisch dient es u.a. dazu, die Vermischung von Block-Level- und Inline-Tags zu verbieten

Wenn dann noch ein Filter für HTML-Codes und eventuell noch was für Smilies gleich mit drin wären ... um so besser ^^