• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    迪恩网络公众号

c#大数据量比较时-方案

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

1、当面临千万条数据量的比较时,从技术的角度来说应该用泛型键值(c#键值由于用了散列算法速度很快)。例如前几天我需要查的是 航空公司、出发、到达、返点可以将 航空公司-出发-到达做一个键,返点作为值。

            if (dtsourceBT.Rows.Count > 0)
            {
                dBaitour = new Dictionary<string, string>();
                foreach (DataRow dr in dtsourceBT.Rows)
                {
                    string outstring = "";
                    string tmpKey = ""; string tmpValue = "";
                    if (!dBaitour.TryGetValue(tmpKey, out outstring))
                    {
                        dBaitour.Add(tmpKey, tmpValue);
                    }
                    else
                    {

                        dBaitour[tmpKey] = "";
                    }
                }
            }

2、从业务角度来优化,这点很重要。因为所以的程序都不是孤立的。根据业务要求如果这样做

第一、查出所以的数据(将近5万条数据)

 string sqlBT = "select ZRateId, DeparturePort,ArrivalPort,airwaycompanycode,CabinCode,RateValue,FlightNumber,NoFlightNumber from b2b_zrate_new where state=1  AND IssuedToDate>=convert(varchar(10),getdate(),120) and outPattern!=3 ORDER BY RateValue desc";
 DataTable dtsourceBT = DbHelper.ExeAll116(sqlBT);

第二、通过航空公司筛调一部分数据(剩下3千条数据)

 DataRow[] drBTS = dtsourceBT.Select(" airwaycompanycode='" + dr["AirCompany"] + "'");

第三、再去比较,这样数据量变小了。速度就快多了

foreach (DataRow drBT in drBTS)
                    {
                        if (drBT["DeparturePort"].ToString().Contains(drNew["DeparturePort"].ToString()))
                        {
                            if (drBT["ArrivalPort"].ToString().Contains(drNew["ArrivalPort"].ToString()))
                            {
                                if (drBT["CabinCode"].ToString().Contains(drNew["CabinCode"].ToString()))
                                {
                                    drNew["BTPolicyId"] = drBT["ZRateId"];
                                    drNew["BTValue"] = (Convert.ToDecimal(drBT["RateValue"])*100).ToString();
                                    break;
                                }
                            }
                        }
                    }

 


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
C#函数返回值。发布时间:2022-07-10
下一篇:
C#之二十一创建MDI应用程序和组件开发发布时间:2022-07-10
热门推荐
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap