備忘録
アポストロフィーから始まる単語が存在する。
オランダの都市ハーグの正式名称は 's Gravenhage （スフラーフェンハーヘ）。'sも含めて名称。
言語処理的には Mary's をMary と 's に分割したときの 's と、単語としての 's の区別がつかないという問題が起きる。実際に問題になるケースは皆無といって良いけど。
tokenizeされた英文を単純に平文に戻すときは、's は前単語にくっつけるので、ハーグの'sは前の単語についてしまうだろう。
備忘録
アポストロフィーから始まる単語が存在する。
オランダの都市ハーグの正式名称は 's Gravenhage （スフラーフェンハーヘ）。'sも含めて名称。
言語処理的には Mary's をMary と 's に分割したときの 's と、単語としての 's の区別がつかないという問題が起きる。実際に問題になるケースは皆無といって良いけど。
tokenizeされた英文を単純に平文に戻すときは、's は前単語にくっつけるので、ハーグの'sは前の単語についてしまうだろう。