Matlab的mat格式数据转化至python数据格式
2019-05-27 16:46 冻雨冷雾 阅读(4711) 评论(0) 编辑 收藏 举报因工作原因，一些获取的行业数据以已知的结构体存储在.mat文件中,
现需要将其存储在数据库中并且能够灵活调用至python dataframe里进行操作
原数据的一个例子如下
目标如上:
然后是转化代码:
import scipy.io data = scipy.io.loadmat(r\'C:\Users\wenzhe.tian\Desktop\PTSimA\Doing\MC.mat\') import pandas as pd data.pop(\'__header__\') data.pop(\'__version__\') data.pop(\'__globals__\') vehicle_name=data.keys() vehicle_name=list(vehicle_name) for i in vehicle_name: df = pd.DataFrame(data[i][0]) try: df=df.astype(float) except: for j in list(df): try: df[j]=df[j].astype(float) except: continue # df[j]=df[j].astype(str) if i==vehicle_name[0]: df1=df; else: df1=pd.concat([df,df1],axis=0) df1[\'MC_name\']=vehicle_name df1[\'Tips\']=df1[\'Tips\'].map(str)+df1[\'tips\'].map(str) df1[\'Tips\']=df1[\'Tips\'].str.replace(\'nan\',\'\') df1=df1.drop([\'tips\'],axis=1) df1=df1.reset_index(); import numpy as np # ndarray需转化为 字符 list_transfer=[\'Speed\',\'Torque\',\'eff\',\'eff_current\'] for i in list_transfer: for j in range(len(df1)): try: df1[i][j]=df1[i][j].tostring(); except: continue;
结果如下(df1)：
然后用to_sql的方式将该dataframe 保存至本地sql数据库即可
一个难点是遇到struct结构体中包含mat的矩阵格式时，如下图:
所有参数为一个struct，但是data与acc作为结构体的一个单位，其数据是一个矩阵而非单个数值。因此需要继续处理：
data = scipy.io.loadmat(r\'C:\Users\ext.wenzhe.tian\Desktop\PTSimA\Doing\CYCLE.mat\', mat_dtype=True,struct_as_record=True)#variable_names=\'CATC\' data.pop(\'__header__\') data.pop(\'__version__\') data.pop(\'__globals__\') name=data.keys() name=list(name) ans_name={} for i in name: df = pd.DataFrame(data[i][0]) try: df=df.astype(float) except: for j in list(df): try: df[j]=df[j].astype(float) df[j]=df[j].apply(lambda x:x[0][0]) except: continue if i==name[0]: df1=df; else: df1=pd.concat([df,df1],axis=0) ans_name[i]=pd.DataFrame(columns=[\'time[s]\',\'veh_spd[km/h]\',\'acc[m/s]\'], data={\'time[s]\':list(data[i][0,0][\'data\'][:,0]), \'veh_spd[km/h]\':list(data[i][0,0][\'data\'][:,1]), \'acc[m/s]\':list(data[i][0,0][\'acc\'][:,1])})
ans_name即针对其中的矩阵单独定义一个dataframe，再从导入的data数据中提取写入。结果除以上的dataframe外，还有另一个dataframe:
