要从Python脚本中提取SQL语句，可以使用以下几种方法：使用正则表达式、解析AST（抽象语法树）、使用代码库和工具。 使用正则表达式是最常见的一种方法，适用于简单的SQL提取任务。解析AST适用于复杂的代码分析，使用专门的代码库和工具则能够显著提高效率。下面我们将详细介绍这几种方法，并给出一些实用的代码示例。
一、使用正则表达式
正则表达式（Regular Expression, regex）是处理字符串的一种强大工具。它可以很方便地用于从文本中提取特定模式的字符串。在Python中，正则表达式由re模块提供支持。我们可以使用正则表达式来匹配SQL语句。
示例代码：
import re
def extract_sql_statements(script):
sql_pattern = re.compile(r"(SELECT|INSERT|UPDATE|DELETE).*?;", re.IGNORECASE | re.DOTALL)
return sql_pattern.findall(script)
示例Python脚本
python_script = '''
import sqlite3
conn = sqlite3.connect('example.db')
c = conn.cursor()
c.execute('''
SELECT * FROM table_name;
''')
c.execute('''
INSERT INTO table_name (column1, column2) VALUES (value1, value2);
''')
conn.commit()
conn.close()
'''
sql_statements = extract_sql_statements(python_script)
for sql in sql_statements:
print(sql)
详细描述：
在上面的代码中，我们首先定义了一个正则表达式模式sql_pattern，它用于匹配以SELECT、INSERT、UPDATE或DELETE开头的SQL语句，并以分号结束。然后，我们将这个模式应用于整个Python脚本文本中，提取出所有匹配的SQL语句。
二、解析AST（抽象语法树）
抽象语法树（Abstract Syntax Tree, AST）是源代码语法结构的一种抽象表示。在Python中，可以使用ast模块对代码进行解析，并提取出其中的SQL语句。使用AST解析比正则表达式更加准确，尤其是在代码中包含复杂的SQL语句时。
示例代码：
import ast
class SQLExtractor(ast.NodeVisitor):
def __init__(self):
self.sql_statements = []
def visit_Call(self, node):
if isinstance(node.func, ast.Attribute) and node.func.attr == 'execute':
if isinstance(node.args[0], ast.Str):
self.sql_statements.append(node.args[0].s)
self.generic_visit(node)
def extract_sql_statements(script):
tree = ast.parse(script)
extractor = SQLExtractor()
extractor.visit(tree)
return extractor.sql_statements
示例Python脚本
python_script = '''
import sqlite3
conn = sqlite3.connect('example.db')
c = conn.cursor()
c.execute('SELECT * FROM table_name;')
c.execute('INSERT INTO table_name (column1, column2) VALUES (value1, value2);')
conn.commit()
conn.close()
'''
sql_statements = extract_sql_statements(python_script)
for sql in sql_statements:
print(sql)
详细描述：
在上面的代码中，我们定义了一个继承自ast.NodeVisitor的SQLExtractor类，并重载了visit_Call方法。当遇到execute方法调用时，我们检查其参数是否为字符串，如果是，则将其添加到SQL语句列表中。最后，我们使用ast.parse将Python脚本解析为AST，并使用SQLExtractor提取SQL语句。
三、使用代码库和工具
有一些专门的代码库和工具可以帮助我们从Python脚本中提取SQL语句。例如，sqlparse是一个非常强大的SQL解析工具，可以用来解析和格式化SQL语句。我们可以结合它与Python的代码解析工具来提取SQL语句。
示例代码：
import ast
import sqlparse
class SQLExtractor(ast.NodeVisitor):
def __init__(self):
self.sql_statements = []
def visit_Call(self, node):
if isinstance(node.func, ast.Attribute) and node.func.attr == 'execute':
if isinstance(node.args[0], ast.Str):
sql = node.args[0].s
parsed_sql = sqlparse.format(sql, reindent=True, keyword_case='upper')
self.sql_statements.append(parsed_sql)
self.generic_visit(node)
def extract_sql_statements(script):
tree = ast.parse(script)
extractor = SQLExtractor()
extractor.visit(tree)
return extractor.sql_statements
示例Python脚本
python_script = '''
import sqlite3
conn = sqlite3.connect('example.db')
c = conn.cursor()
c.execute('SELECT * FROM table_name;')
c.execute('INSERT INTO table_name (column1, column2) VALUES (value1, value2);')
conn.commit()
conn.close()
'''
sql_statements = extract_sql_statements(python_script)
for sql in sql_statements:
print(sql)
详细描述：
在上面的代码中，我们结合了sqlparse库来对提取的SQL语句进行格式化。首先，我们安装sqlparse库：
pip install sqlparse
然后在visit_Call方法中，我们使用sqlparse.format函数对提取的SQL语句进行格式化，使其更易读。这样不仅提取出了SQL语句，还对其进行了美化处理。
四、其他实用技巧
除了上述方法外，还有一些实用技巧可以帮助我们更好地从Python脚本中提取SQL语句。
1. 使用注释标记SQL语句
如果在编写Python脚本时，可以在SQL语句前后添加特定的注释标记，那么在提取时可以更加准确。例如，使用# SQL_START和# SQL_END标记：
python_script = '''
import sqlite3
conn = sqlite3.connect('example.db')
c = conn.cursor()
SQL_START
c.execute('SELECT * FROM table_name;')
SQL_END
SQL_START
c.execute('INSERT INTO table_name (column1, column2) VALUES (value1, value2);')
SQL_END
conn.commit()
conn.close()
'''
def extract_sql_statements_with_markers(script):
sql_statements = []
inside_sql = False
sql_lines = []
for line in script.split('\n'):
if '# SQL_START' in line:
inside_sql = True
sql_lines = []
elif '# SQL_END' in line:
inside_sql = False
sql_statements.append('\n'.join(sql_lines))
elif inside_sql:
sql_lines.append(line.strip())
return sql_statements
sql_statements = extract_sql_statements_with_markers(python_script)
for sql in sql_statements:
print(sql)
详细描述：
在上面的代码中，我们使用了# SQL_START和# SQL_END注释标记来标识SQL语句的开始和结束。然后，在提取过程中，我们根据这些标记来准确地提取SQL语句。这种方法在编写复杂脚本时特别有用。
2. 使用日志记录SQL语句
另一种实用的方法是使用日志记录器来记录每次执行的SQL语句。这样不仅方便调试，还可以在需要时轻松提取出所有执行过的SQL语句。
import logging
配置日志记录器
logging.basicConfig(filename='sql_statements.log', level=logging.INFO)
def log_sql_statement(sql):
logging.info(sql)
示例Python脚本
python_script = '''
import sqlite3
conn = sqlite3.connect('example.db')
c = conn.cursor()
sql = 'SELECT * FROM table_name;'
c.execute(sql)
log_sql_statement(sql)
sql = 'INSERT INTO table_name (column1, column2) VALUES (value1, value2);'
c.execute(sql)
log_sql_statement(sql)
conn.commit()
conn.close()
'''
exec(python_script)
从日志文件中提取SQL语句
def extract_sql_statements_from_log(log_file):
with open(log_file, 'r') as file:
return [line.strip() for line in file.readlines()]
sql_statements = extract_sql_statements_from_log('sql_statements.log')
for sql in sql_statements:
print(sql)
详细描述：
在上面的代码中，我们配置了一个日志记录器，将SQL语句记录到日志文件中。在每次执行SQL语句后，通过log_sql_statement函数将SQL语句记录到日志文件中。然后，通过读取日志文件，我们可以轻松提取出所有执行过的SQL语句。这种方法适用于需要长期监控SQL执行情况的场景。
总结
从Python脚本中提取SQL语句的方法有很多种，选择合适的方法取决于具体的需求和应用场景。使用正则表达式适用于简单的提取任务，解析AST适用于复杂的代码分析，使用专门的代码库和工具则能够显著提高效率。通过结合使用这些方法和实用技巧，我们可以更加高效地从Python脚本中提取出SQL语句。
相关问答FAQs：
如何在Python脚本中构建SQL查询？
在Python中，构建SQL查询通常可以通过字符串拼接或使用ORM（对象关系映射）库来实现。使用字符串拼接时，需要确保正确处理输入，以防止SQL注入。对于ORM库，如SQLAlchemy或Django ORM，可以通过对象方法来构建查询，这样可以提高代码的可读性和安全性。
在Python中如何执行SQL语句？
执行SQL语句通常需要使用数据库连接库，如sqlite3、psycopg2（针对PostgreSQL）或mysql-connector-python（针对MySQL）。在连接到数据库后，可以使用cursor对象的execute方法来执行SQL语句，并通过fetchall或fetchone方法获取结果。
如何处理从Python脚本中提取的SQL查询结果？
提取SQL查询结果后，通常可以通过Python的数据结构（如列表或字典）进行处理。使用fetchall方法可以获取所有结果，并将其存储在列表中，而fetchone则返回单个结果。可以进一步对结果进行遍历、筛选、统计等操作，以满足具体需求。使用Pandas库也能方便地将SQL查询结果转化为DataFrame，以便进行更复杂的数据分析。
