在Python中高效地使用HTMLParser

回应 Python regular expression 我尝试使用 HTMLParser :

import HTMLParser

class ExtractHeadings(HTMLParser.HTMLParser):

  def __init__(self):
    HTMLParser.HTMLParser.__init__(self)
    self.text = None
    self.headings = []

  def is_relevant(self, tagname):
    return tagname == 'h1' or tagname == 'h2'

  def handle_starttag(self, tag, attrs):
    if self.is_relevant(tag):
      self.in_heading = True
      self.text = ''

  def handle_endtag(self, tag):
    if self.is_relevant(tag):
      self.headings += [self.text]
      self.text = None

  def handle_data(self, data):
    if self.text != None:
      self.text += data

  def handle_charref(self, name):
    if self.text != None:
      if name[0] == 'x':
        self.text += chr(int(name[1:], 16))
      else:
        self.text += chr(int(name))

  def handle_entityref(self, name):
    if self.text != None:
      print 'TODO: entity %s' % name

def extract_headings(text):
  parser = ExtractHeadings()
  parser.feed(text)
  return parser.headings

print extract_headings('abdk3<h1>The content we need</h1>aaaaabbb<h2>The content we need2</h2>')
print extract_headings('before<h1>&#72;e&#x6c;&#108;o</h1>after')

这样做的时候,我想知道这个模块的API是坏的,还是我没有注意到一些重要的事情。我的问题是:

• 为什么我要实施 handle_charref 一定很复杂吗?我本希望一个好的API将代码点作为参数传递,而不是 x6c 或 72 作为字符串。
• 为什么 把手 呼叫 handle_data 用合适的绳子?
• 为什么没有 handle_entityref 我可以打电话给你吗?它可以被命名为 handle_entityref_HTML4 查找HTML 4中定义的实体,然后调用 处理数据 在他们身上。

如果提供了这个API,那么编写定制的HTML解析器会容易得多。我的误会在哪里?