本文整理汇总了Golang中github.com/henrylee2cn/pholcus/app/distribute.Task类的典型用法代码示例。如果您正苦于以下问题:Golang Task类的具体用法?Golang Task怎么用?Golang Task使用的例子?那么恭喜您, 这里精选的类代码示例或许可以为您提供帮助。
在下文中一共展示了Task类的4个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于我们的系统推荐出更棒的Golang代码示例。
示例1: addNewTask
// 服务器模式下,生成task并添加至库
func (self *Logic) addNewTask() (tasksNum, spidersNum int) {
length := self.SpiderQueue.Len()
t := distribute.Task{}
// 从配置读取字段
self.setTask(&t)
for i, sp := range self.SpiderQueue.GetAll() {
t.Spiders = append(t.Spiders, map[string]string{"name": sp.GetName(), "keyin": sp.GetKeyin()})
spidersNum++
// 每十个蜘蛛存为一个任务
if i > 0 && i%10 == 0 && length > 10 {
// 存入
one := t
self.TaskJar.Push(&one)
// logs.Log.App(" * [新增任务] 详情: %#v", *t)
tasksNum++
// 清空spider
t.Spiders = []map[string]string{}
}
}
if len(t.Spiders) != 0 {
// 存入
one := t
self.TaskJar.Push(&one)
tasksNum++
}
return
}
开发者ID:ReinhardHsu,项目名称:pholcus,代码行数:34,代码来源:app.go
示例2: setTask
func (self *Logic) setTask(task *distribute.Task) {
task.ThreadNum = self.AppConf.ThreadNum
task.Pausetime = self.AppConf.Pausetime
task.OutType = self.AppConf.OutType
task.DockerCap = self.AppConf.DockerCap
task.DockerQueueCap = self.AppConf.DockerQueueCap
task.SuccessInherit = self.AppConf.SuccessInherit
task.FailureInherit = self.AppConf.FailureInherit
task.Limit = self.AppConf.Limit
task.ProxyMinute = self.AppConf.ProxyMinute
task.Keyins = self.AppConf.Keyins
}
开发者ID:ReinhardHsu,项目名称:pholcus,代码行数:12,代码来源:app.go
示例3: addNewTask
// 服务器模式下,生成task并添加至库
func (self *Logic) addNewTask() (tasksNum, spidersNum int) {
length := self.SpiderQueue.Len()
t := distribute.Task{}
// 从配置读取字段
t.ThreadNum = cache.Task.ThreadNum
t.Pausetime = cache.Task.Pausetime
t.OutType = cache.Task.OutType
t.DockerCap = cache.Task.DockerCap
t.DockerQueueCap = cache.Task.DockerQueueCap
t.MaxPage = cache.Task.MaxPage
for i, sp := range self.SpiderQueue.GetAll() {
t.Spiders = append(t.Spiders, map[string]string{"name": sp.GetName(), "keyword": sp.GetKeyword()})
spidersNum++
// 每十个蜘蛛存为一个任务
if i > 0 && i%10 == 0 && length > 10 {
// 存入
one := t
self.TaskJar.Push(&one)
// log.Printf(" * [新增任务] 详情: %#v", *t)
tasksNum++
// 清空spider
t.Spiders = []map[string]string{}
}
}
if len(t.Spiders) != 0 {
// 存入
one := t
self.TaskJar.Push(&one)
// log.Printf(" * [新增任务] 详情: %#v", *t)
tasksNum++
}
return
}
开发者ID:rorovic,项目名称:pholcus,代码行数:41,代码来源:app.go
示例4: addNewTask
// 服务器模式下,生成task并添加至库
func (self *Logic) addNewTask() (tasksNum, spidersNum int) {
length := self.SpiderQueue.Len()
t := distribute.Task{}
// 从配置读取字段
t.ThreadNum = self.AppConf.ThreadNum
t.Pausetime = self.AppConf.Pausetime
t.OutType = self.AppConf.OutType
t.DockerCap = self.AppConf.DockerCap
t.DockerQueueCap = self.AppConf.DockerQueueCap
t.InheritDeduplication = self.AppConf.InheritDeduplication
t.DeduplicationTarget = self.AppConf.DeduplicationTarget
t.MaxPage = self.AppConf.MaxPage
t.Keywords = self.AppConf.Keywords
for i, sp := range self.SpiderQueue.GetAll() {
t.Spiders = append(t.Spiders, map[string]string{"name": sp.GetName(), "keyword": sp.GetKeyword()})
spidersNum++
// 每十个蜘蛛存为一个任务
if i > 0 && i%10 == 0 && length > 10 {
// 存入
one := t
self.TaskJar.Push(&one)
// logs.Log.Notice(" * [新增任务] 详情: %#v", *t)
tasksNum++
// 清空spider
t.Spiders = []map[string]string{}
}
}
if len(t.Spiders) != 0 {
// 存入
one := t
self.TaskJar.Push(&one)
tasksNum++
}
return
}
开发者ID:smypai,项目名称:pholcus,代码行数:43,代码来源:app.go
注:本文中的github.com/henrylee2cn/pholcus/app/distribute.Task类示例整理自Github/MSDocs等源码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。 |
请发表评论