python如何查作业是复制

Python可以通过多种方法查作业是否是复制的，例如：文本相似度计算、抄袭检测算法、机器学习模型等。其中，文本相似度计算是一种常用的方法，可以通过比较两个文本之间的相似度来检测抄袭行为。

一、文本相似度计算

1、使用Cosine相似度

Cosine相似度是一种衡量两个向量之间相似度的常用方法，特别适用于文本相似度计算。通过将文本转换为向量，然后计算向量之间的余弦相似度，可以判断文本的相似程度。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
def cosine_similarity_check(doc1, doc2):
    vectorizer = TfidfVectorizer()
    tfidf_matrix = vectorizer.fit_transform([doc1, doc2])
    cosine_sim = cosine_similarity(tfidf_matrix[0:1], tfidf_matrix[1:2])
    return cosine_sim[0][0]
doc1 = "This is a sample document."
doc2 = "This document is a sample."
similarity_score = cosine_similarity_check(doc1, doc2)
print(f"Cosine Similarity: {similarity_score}")

2、使用Jaccard相似度

Jaccard相似度是另一种衡量相似度的方法，适用于计算两个集合之间的相似度。对于文本，可以将其表示为单词的集合，然后计算两个集合的交集和并集的比值。

def jaccard_similarity(doc1, doc2):
    words_doc1 = set(doc1.split())
    words_doc2 = set(doc2.split())
    intersection = words_doc1.intersection(words_doc2)
    union = words_doc1.union(words_doc2)
    return len(intersection) / len(union)
doc1 = "This is a sample document."
doc2 = "This document is a sample."
similarity_score = jaccard_similarity(doc1, doc2)
print(f"Jaccard Similarity: {similarity_score}")

二、抄袭检测算法

1、SimHash算法

SimHash是一种用于大规模文本相似度检测的算法，通过将文本哈希化为一个固定大小的签名，然后比较签名的相似度来判断文本的相似性。

import hashlib
def simhash(text):
    hash_bits = 64
    tokens = text.split()
    v = [0] * hash_bits
    for token in tokens:
        token_hash = int(hashlib.md5(token.encode()).hexdigest(), 16)
        for i in range(hash_bits):
            bitmask = 1 << i
            if token_hash & bitmask:
                v[i] += 1
            else:
                v[i] -= 1
    fingerprint = 0
    for i in range(hash_bits):
        if v[i] >= 0:
            fingerprint |= 1 << i
    return fingerprint
def hamming_distance(hash1, hash2):
    x = hash1 ^ hash2
    tot = 0
    while x:
        tot += x & 1
        x >>= 1
    return tot
doc1 = "This is a sample document."
doc2 = "This document is a sample."
hash1 = simhash(doc1)
hash2 = simhash(doc2)
distance = hamming_distance(hash1, hash2)
print(f"Hamming Distance: {distance}")

三、机器学习模型

1、使用TF-IDF和逻辑回归进行文本相似度检测

通过构建TF-IDF向量，并使用逻辑回归模型来训练和预测文本的相似度，可以有效地检测抄袭行为。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
示例数据
documents = ["This is a sample document.",
             "This document is a sample.",
             "Completely different text here.",
             "Another sample document."]
labels = [1, 1, 0, 1]  # 1表示相似，0表示不相似
划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(documents, labels, test_size=0.2, random_state=42)
构建TF-IDF向量
vectorizer = TfidfVectorizer()
X_train_tfidf = vectorizer.fit_transform(X_train)
X_test_tfidf = vectorizer.transform(X_test)
训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train_tfidf, y_train)
预测并评估模型
y_pred = model.predict(X_test_tfidf)
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy}")
检测新文档的相似度
new_doc = ["This is a completely different document."]
new_doc_tfidf = vectorizer.transform(new_doc)
prediction = model.predict(new_doc_tfidf)
print(f"Similarity Prediction: {prediction[0]}")

四、深度学习方法

1、使用BERT模型进行文本相似度检测

BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言模型，可以用于多种自然语言处理任务，包括文本相似度检测。

from transformers import BertTokenizer, BertModel
import torch
加载预训练的BERT模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
def get_bert_embeddings(text):
    inputs = tokenizer(text, return_tensors='pt', max_length=512, truncation=True, padding=True)
    outputs = model(inputs)
    embeddings = outputs.last_hidden_state.mean(dim=1)
    return embeddings
def cosine_similarity(emb1, emb2):
    return torch.nn.functional.cosine_similarity(emb1, emb2)
doc1 = "This is a sample document."
doc2 = "This document is a sample."
emb1 = get_bert_embeddings(doc1)
emb2 = get_bert_embeddings(doc2)
similarity_score = cosine_similarity(emb1, emb2)
print(f"BERT Cosine Similarity: {similarity_score.item()}")