TokenizeRDF RDFファイルを入力とし、各トークンである、主語、述語、目的語をそれぞれ取り出して一行一トークンにして関連情報と共に出力する。 出力形式はタブ区切りで、左のカラムから順に、主語(0)、述語(1)、目的語(2)の別、続いて、トークンのタイプ、すなわち、空白ノード(0)、URI(1)、型付きリテラル(2)、プレインリテラル(3)の別、そして具体的な値となる。