因工作原因,一些获取的行业数据以已知的结构体存储在.mat文件中,
现需要将其存储在数据库中并且能够灵活调用至python dataframe里进行操作
原数据的一个例子如下
目标如上:
然后是转化代码:
import scipy.io
data = scipy.io.loadmat(r'C:\Users\wenzhe.tian\Desktop\PTSimA\Doing\MC.mat')
import pandas as pd
data.pop('__header__')
data.pop('__version__')
data.pop('__globals__')
vehicle_name=data.keys()
vehicle_name=list(vehicle_name)
for i in vehicle_name:
df = pd.DataFrame(data[i][0])
try:
df=df.astype(float)
except:
for j in list(df):
try:
df[j]=df[j].astype(float)
except:
continue
if i==vehicle\_name\[0\]:
df1=df;
else:
df1=pd.concat(\[df,df1\],axis=0)
df1['MC_name']=vehicle_name
df1['Tips']=df1['Tips'].map(str)+df1['tips'].map(str)
df1['Tips']=df1['Tips'].str.replace('nan','')
df1=df1.drop(['tips'],axis=1)
df1=df1.reset_index();
import numpy as np
list_transfer=['Speed','Torque','eff','eff_current']
for i in list_transfer:
for j in range(len(df1)):
try:
df1[i][j]=df1[i][j].tostring();
except:
continue;
结果如下(df1):
然后用to_sql的方式将该dataframe 保存至本地sql数据库即可
一个难点是遇到struct结构体中包含mat的矩阵格式时,如下图:
所有参数为一个struct,但是data与acc作为结构体的一个单位,其数据是一个矩阵而非单个数值。因此需要继续处理:
data = scipy.io.loadmat(r'C:\Users\ext.wenzhe.tian\Desktop\PTSimA\Doing\CYCLE.mat',
mat_dtype=True,struct_as_record=True)#variable_names='CATC'
data.pop('__header__')
data.pop('__version__')
data.pop('__globals__')
name=data.keys()
name=list(name)
ans_name={}
for i in name:
df = pd.DataFrame(data[i][0])
try:
df=df.astype(float)
except:
for j in list(df):
try:
df[j]=df[j].astype(float)
df[j]=df[j].apply(lambda x:x[0][0])
except:
continue
if i==name\[0\]:
df1=df;
else:
df1=pd.concat(\[df,df1\],axis=0)
ans\_name\[i\]=pd.DataFrame(columns=\['time\[s\]','veh\_spd\[km/h\]','acc\[m/s\]'\],
data={'time\[s\]':list(data\[i\]\[0,0\]\['data'\]\[:,0\]),
'veh\_spd\[km/h\]':list(data\[i\]\[0,0\]\['data'\]\[:,1\]),
'acc\[m/s\]':list(data\[i\]\[0,0\]\['acc'\]\[:,1\])})
ans_name即针对其中的矩阵单独定义一个dataframe,再从导入的data数据中提取写入。结果除以上的dataframe外,还有另一个dataframe:
手机扫一扫
移动阅读更方便
你可能感兴趣的文章