|
|
# -*- coding: utf-8 -*-
|
|
|
# @Time : 2022/8/22 14:35
|
|
|
# @Author : ZAOXG
|
|
|
# @File : merge_table.py
|
|
|
|
|
|
import re
|
|
|
import os
|
|
|
import pandas as pd
|
|
|
import traceback
|
|
|
from pprint import pprint
|
|
|
|
|
|
import csv
|
|
|
|
|
|
from data_process_tool import read_data
|
|
|
from data_process_tool import write_data
|
|
|
|
|
|
|
|
|
def merge_table(path, file_list: list = None, to_type: str = 'xlsx', duplicates: list = None, on_columns: list = None, **kwargs):
|
|
|
"""
|
|
|
合并指定目录下的所有文件
|
|
|
"""
|
|
|
write_kwargs = {}
|
|
|
if kwargs.get('keep'):
|
|
|
write_kwargs['keep'] = kwargs.pop('keep', None)
|
|
|
if not file_list:
|
|
|
file_list = get_dirs_file(path, kwargs.pop('file_sort', False))
|
|
|
r: pd.DataFrame = pd.DataFrame()
|
|
|
for file in file_list:
|
|
|
if file.endswith(('.zip', '.7z')):
|
|
|
continue
|
|
|
try:
|
|
|
temp_t = read_data(os.path.join(path, file), **kwargs)
|
|
|
print('%s -> %s' % (file, temp_t.shape))
|
|
|
# temp_t['source'] = source
|
|
|
if on_columns and len(on_columns):
|
|
|
temp_t = temp_t[on_columns]
|
|
|
r = pd.concat([r, temp_t])
|
|
|
except Exception as e:
|
|
|
traceback.print_exc()
|
|
|
print(e)
|
|
|
print(file)
|
|
|
if duplicates:
|
|
|
r.drop_duplicates(subset=duplicates, inplace=True, **write_kwargs)
|
|
|
file_name = re.split(r'\\|/', path)[-1]
|
|
|
full_name = os.path.join(path, file_name)
|
|
|
write_data(r, full_name+f'.{to_type}', index=False)
|
|
|
return path, r.shape[0]
|
|
|
|
|
|
|
|
|
def get_dirs_file(file_dir, file_sort: bool = False):
|
|
|
all_files = []
|
|
|
for root, dirs, files in os.walk(file_dir):
|
|
|
if file_sort:
|
|
|
files.sort(key=lambda x: int(x.split('.')[0]))
|
|
|
for file in files:
|
|
|
all_files.append(os.path.join(root, file))
|
|
|
for dir_ in dirs:
|
|
|
full_dir = os.path.join(root, dir_)
|
|
|
file_list = os.listdir(full_dir)
|
|
|
if file_sort:
|
|
|
file_list.sort(key=lambda x: float(x.rsplit('.', maxsplit=2)[0]))
|
|
|
for file in file_list:
|
|
|
all_files.append(os.path.join(full_dir, file))
|
|
|
return all_files
|
|
|
|
|
|
|
|
|
def split_filename(path):
|
|
|
fileHead = {}
|
|
|
files = os.listdir(path)
|
|
|
for file in files:
|
|
|
filename, filetype = os.path.splitext(file)
|
|
|
head = re.split(r'\d', filename)[0]
|
|
|
fileHead.setdefault(head, []).append(
|
|
|
os.path.join(path, file)
|
|
|
)
|
|
|
return fileHead
|
|
|
|
|
|
|
|
|
def merge_file2(file_list: list, filename: str = None, to_type: str = 'xlsx'):
|
|
|
r: pd.DataFrame = pd.DataFrame()
|
|
|
for file in file_list:
|
|
|
if file.endswith(('.zip', '.7z')):
|
|
|
continue
|
|
|
try:
|
|
|
temp_t = read_data(file)
|
|
|
# temp_t['source'] = file
|
|
|
r = pd.concat([r, temp_t])
|
|
|
except Exception as e:
|
|
|
traceback.print_exc()
|
|
|
print(file)
|
|
|
write_data(r, filename + f'.{to_type}', index=False)
|
|
|
|
|
|
|
|
|
def merge_by_file_head():
|
|
|
OUT_PATH = 'Z:/temp-data/集成电路4.11-2/作者合并'
|
|
|
mm = split_filename('Z:/temp-data/集成电路4.11-2/重新下载文件')
|
|
|
for m1, m2 in mm.items():
|
|
|
merge_file2(m2, os.path.join(OUT_PATH, m1), to_type='csv')
|
|
|
|
|
|
|
|
|
def merge_csv_files(path):
|
|
|
file_name = re.split(r'\\|/', path)[-1]
|
|
|
full_name = os.path.join(path, file_name)
|
|
|
with open(full_name+'.csv', 'a', encoding='utf-8', newline='') as new_merge_file:
|
|
|
|
|
|
files = os.listdir(path)
|
|
|
for file in files:
|
|
|
print(file)
|
|
|
if file.endswith('.csv'):
|
|
|
file_path = os.path.join(path, file)
|
|
|
try:
|
|
|
with open(file_path, 'r', encoding='utf-8') as f:
|
|
|
|
|
|
new_merge_file.write(f.read())
|
|
|
except Exception as exception:
|
|
|
print(exception)
|
|
|
print('合并完成')
|
|
|
|
|
|
|
|
|
def merge_txt_files(path):
|
|
|
file_name = re.split(r'\\|/', path)[-1]
|
|
|
full_name = os.path.join(path, file_name)
|
|
|
has_header = False
|
|
|
with open(full_name+'.csv', 'ab') as new_merge_file:
|
|
|
|
|
|
files = os.listdir(path)
|
|
|
for file in files:
|
|
|
print(file)
|
|
|
if file.endswith('.txt'):
|
|
|
file_path = os.path.join(path, file)
|
|
|
try:
|
|
|
with open(file_path, 'rb') as f:
|
|
|
if not has_header:
|
|
|
head_line = f.readline()
|
|
|
new_merge_file.write(head_line)
|
|
|
|
|
|
while line_data := f.readline():
|
|
|
new_merge_file.write(line_data)
|
|
|
except Exception as exception:
|
|
|
print(exception)
|
|
|
print('合并完成')
|
|
|
|
|
|
|
|
|
def count_file_rows(path: str = None):
|
|
|
rows_count = 0
|
|
|
files_count = 0
|
|
|
files_info = {}
|
|
|
files = os.listdir(path)
|
|
|
for file in files:
|
|
|
file_path = os.path.join(path, file)
|
|
|
try:
|
|
|
with open(file_path, 'r', encoding='utf-8') as f:
|
|
|
lines = f.readlines()
|
|
|
rows_count += len(lines)
|
|
|
files_info[file] = len(lines)
|
|
|
except Exception as e:
|
|
|
files_info[file] = str(e)
|
|
|
files_count += 1
|
|
|
return {
|
|
|
'files_path': path,
|
|
|
'rows_count': rows_count,
|
|
|
'files_count': files_count,
|
|
|
'files_info': files_info,
|
|
|
'exclude_head': rows_count - files_count
|
|
|
}
|
|
|
|
|
|
|
|
|
if __name__ == '__main__':
|
|
|
# merge_table(fr'Y:\zhaoxiangpeng\BCR\2025BCR\API采集', encoding_errors='ignore', on_bad_lines='skip')
|
|
|
# merge_table(fr'Z:\文章摘要推荐池\toppaper核心数据\初始文章数据\2023-3月\Highly Cited Papers', on_columns=['EID'], encoding_errors='ignore', on_bad_lines='skip')
|
|
|
# merge_table(fr'Z:\文章摘要推荐池\toppaper核心数据\初始文章数据\2023-3月\Highly Cited Papers', encoding_errors='ignore', on_bad_lines='skip', engine='python', skiprows=1, skipfooter=2)
|
|
|
# merge_table(fr'Y:\wos-metadata\wos increment-202403\03', encoding_errors='ignore', on_bad_lines='skip', duplicates=['UT'], keep='last', file_sort=False)
|
|
|
# merge_table(fr'Y:\zhaoxiangpeng\2024BCR\API采集数据', encoding_errors='ignore', on_bad_lines='skip', to_type="txt")
|
|
|
merge_table(fr"Z:\客户数据存储\WOS\清华大学\OG=(Tsinghua University) AND (PY==(2024))", duplicates=['UT'], encoding_errors='ignore', on_bad_lines='skip', keep='last', file_sort=True)
|
|
|
# merge_table(fr"Y:\数据采集需求\wosid下载\incites教育部学科数据", duplicates=['入藏号'], keep='last', on_columns=['入藏号', 'DOI'], on_bad_lines='skip')
|
|
|
# merge_table(fr"F:\工作数据存储2025\20250101_中文发文引文更新\2024", duplicates=['网址'], keep='last', to_type='csv')
|
|
|
# merge_table(fr'Z:\客户数据存储\专利\中南大学\23~', to_type='csv')
|
|
|
# merge_table(fr'Y:\wos-metadata\SCHOOL\bj\待下载DOI', to_type='csv', duplicates=['DO'])
|
|
|
# merge_table(fr'F:\工作数据存储2023\20231221_北京师范大学\补充数据\EI', on_bad_lines='skip', on_columns=['Accession number'], duplicates=['Accession number'], to_type='xlsx') # duplicates=['Title', 'Accession number']
|
|
|
# merge_table(fr'Z:\文章摘要推荐池\toppaper核心数据\初始文章数据\2023-3月\Highly Cited Papers', encoding="ISO-8859-1", on_bad_lines='skip', engine='python', skiprows=1, skipfooter=2, duplicates=['Accession Number'], to_type='xlsx')
|
|
|
# merge_by_file_head()
|
|
|
# file_s = ['Z:/客户数据存储/TEMP\\电子科技大学\\电子科技大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\西安建筑科技大学\\西安建筑科技大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\四川大学\\四川大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\中山大学\\中山大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\中国农业大学\\中国农业大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\江苏师范大学\\江苏师范大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\中国人民大学\\中国人民大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\上海工程技术大学\\上海工程技术大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\西安交通大学\\西安交通大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\首都师范大学\\首都师范大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\西北工业大学\\西北工业大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\重庆交通大学\\重庆交通大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\清华大学\\清华大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\长安大学\\长安大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\三江学院\\三江学院2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\华东师范大学\\华东师范大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\福州大学\\福州大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\安徽医科大学\\安徽医科大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\扬州大学\\扬州大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\北京理工大学\\北京理工大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\兰州大学\\兰州大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\江汉大学\\江汉大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\上海电力大学\\上海电力大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\华东理工大学\\华东理工大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\西安电子科技大学\\西安电子科技大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\西北师范大学\\西北师范大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\上海财经大学\\上海财经大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\三峡大学\\三峡大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\南京中医药大学\\南京中医药大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\浙江大学\\浙江大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\中南大学\\中南大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\同济大学\\同济大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\中国科学技术大学\\中国科学技术大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\中欧国际工商学院\\中欧国际工商学院2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\合肥工业大学\\合肥工业大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\南京航空航天大学\\南京航空航天大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\南京工程学院\\南京工程学院2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\江南大学\\江南大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\安徽建筑大学\\安徽建筑大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\中南财经政法大学\\中南财经政法大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\河南师范大学\\河南师范大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\曲阜师范大学\\曲阜师范大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\南京农业大学\\南京农业大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\南京林业大学\\南京林业大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\西南财经大学\\西南财经大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\南京医科大学\\南京医科大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\国防科技大学\\国防科技大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\南京大学\\南京大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\南京师范大学\\南京师范大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\深圳大学\\深圳大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\华中科技大学\\华中科技大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\成都理工大学\\成都理工大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\西南科技大学\\西南科技大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\江苏大学\\江苏大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\中国矿业大学\\中国矿业大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\闽江学院\\闽江学院2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\吉林大学\\吉林大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\中国地质大学（武汉）\\中国地质大学（武汉）2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\陕西师范大学\\陕西师范大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\常州大学\\常州大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\西南交通大学\\西南交通大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\苏州大学\\苏州大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\东南大学\\东南大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\首都医科大学\\首都医科大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\湖南师范大学\\湖南师范大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\北京科技大学\\北京科技大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\南京审计大学\\南京审计大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\郑州大学\\郑州大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\南京工业大学\\南京工业大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\湖南师范\\湖南师范2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\北京师范大学\\北京师范大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\西南民族大学\\西南民族大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\深圳技术大学\\深圳技术大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\南京财经大学\\南京财经大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\天津大学\\天津大学2023-2023中文发文.csv', 'Z:/客户数据存储/TEMP\\河海大学\\河海大学2023-2023中文发文.csv']
|
|
|
#
|
|
|
# merge_file2(file_list=file_s, filename='F:/工作数据存储2023/20230615_中文发文引文更新/2023', to_type='csv')
|
|
|
# d = read_data(r'Z:\客户数据存储\专利\南京大学\南京大学-专利网.xlsx')
|
|
|
# d.to_csv(r'Z:\客户数据存储\专利\南京大学\南京大学-专利网.csv', index=False)
|
|
|
# merge_csv_files(r'Z:\客户数据存储\WOS\南京工业大学\OG=(Nanjing Tech University) AND (PY==(2022))')
|
|
|
# pprint(count_file_rows(r'Z:\客户数据存储\EI\东南大学\2023'))
|
|
|
"""
|
|
|
path_root = 'Z:\客户数据存储\WOS\成都理工大学'
|
|
|
for x in os.listdir(path_root):
|
|
|
# if x != '2002':
|
|
|
# continue
|
|
|
# Accession number
|
|
|
# merge_table(os.path.join(path_root, x), on_columns=['Accession number'], duplicates=['Accession number'], to_type='csv')
|
|
|
merge_table(os.path.join(path_root, x), duplicates=['UT'], keep='last', file_sort=True)
|
|
|
"""
|