有规律的查找问题:

需要从大数据中找到对应小数据中标签1的比例,因此生成新文本的时候,需要找到小数据标签1,在匹配大数据标签1,对应上后,提取大数据对应数据

程序流程

找到小数据标签1数据,比如是token=566
则从大数据中遍历一遍566,找到则排除,记录找到的位置,找不到则忽略,记录没找到的token

下次扩展匹配度为5, 则从token=444
大数据遍历,439 440 441 442 443 445 446 447 448 449这几个数,找到任意一个都确定位置找到,

如此循环,直到在大数据中找到所有最接近小数据token的对应索引

我认为就是一种大数据到小数据的一种对应映射

#从1w中抽取对应token的代码项
import pandas as pd
import numpy as np
#需要修改的位置
data_659_path = r"小数据- 副本.csv"
data_13511_path = r"-大数据- 副本.csv"



data_659 = pd.read_csv(data_659_path)
data_13511 = pd.read_csv(data_13511_path)

need_numb  = 659 #小数据量
have_numb  = 13511  #大数据量
first  = 5 #第一次找
second = 50#以后叠加
print("start")
right_token   =[]  #需要找的节点数
need_token    =[]  #找到对应的节点数

L = [0]* need_numb #没有找到节点的index 
while True:
    no_find_index = []
    no_find_token =[]  #没有找到 对应的节点数
    for i in range(len(L)):
        find_token = data_659["token"].values[i]
        for j in range(have_numb):
            token_from_1w = data_13511["token"].values[j]
            if token_from_1w != -1: #去除掉已被征用的
                if abs(token_from_1w - find_token) == first:
                    index00.append(j)
                    right_token.append(find_token)
                    need_token.append(token_from_1w)
                    data_13511["token"].values[j] = -1 #已被征用,及时清除
                    break;
                if j == have_numb-1: #到头了
                    no_find_token.append(find_token)
                    no_find_index.append(i)
                
    print("no_find_index:",no_find_index) 
    print("no_find_token:",no_find_token) 
    print("\n\n没找到的有:",len(no_find_index))
    print("找到的有:",len(index00))
    print("总长度一定要保持好",len(no_find_index) + len(index00))
    if len(no_find_index) == 0 :
        break;
    else:
        first+=second
        L = no_find_index
# print(index)
fd = pd.DataFrame({"index":index00,"680token":right_token,"1wtoken":need_token})
fd.to_csv("index.csv")

根据小数据集中,重复的tokens数多少,来匹配大数据集

import numpy as py
import pandas as pd

repeat_path = r"repect_statistic.csv"
repect_data = pd.read_csv(repeat_path,encoding="gbk")
print(repect_data["cha"].values[0])#number

data_13511_path = r"cgo17-nvidia-13511 - token_顺序.csv"
data_13511 = pd.read_csv(data_13511_path)
print(data_13511["token"].values[0])#number
#token	numb

aaaa=[]
for j in range(112):
    
    for i in range(13511):
        if data_13511["token"].values[i] >= repect_data["token"].values[j]:
        #xuanhuan repect_data["numb"].values[j]次
            for t in range(repect_data["numb"].values[j]):
                aaaa.append(i+t)
                data_13511["token"].values[i+t] = 0
            break;