例
以下に tokenizer を用いた簡単な PHP スクリプトの例を示します。この例は、 PHP ファイルを読み込み、ソースから全てのコメントを削除し、コードのみを 出力するものです。
例1 tokenizer によるコメントの削除
<?php$source = file_get_contents('example.php');$tokens = token_get_all($source);foreach ($tokens as $token) { if (is_string($token)) { // 簡単な1文字毎のトークン echo $token; } else { // トークン配列 list($id, $text) = $token; switch ($id) { case T_COMMENT: case T_DOC_COMMENT: // コメントの場合は何もしない break; default: // それ以外の場合 -> "そのまま"出力 echo $text; break; } }}?>