added
util crawlers
This commit is contained in:
parent
2c00d2bc1e
commit
0aeac2c1fb
@ -4,6 +4,7 @@ import (
|
|||||||
"encoding/json"
|
"encoding/json"
|
||||||
"git.loafle.net/overflow/commons_go/model/timestamp"
|
"git.loafle.net/overflow/commons_go/model/timestamp"
|
||||||
"git.loafle.net/overflow/overflow_proxy_service/proxy"
|
"git.loafle.net/overflow/overflow_proxy_service/proxy"
|
||||||
|
"git.loafle.net/overflow/overflow_proxy_service/proxy/utils"
|
||||||
)
|
)
|
||||||
|
|
||||||
type CrawlerService struct {
|
type CrawlerService struct {
|
||||||
@ -39,17 +40,13 @@ func (c *CrawlerService)List() string {
|
|||||||
func (c *CrawlerService)Create(ct * Crawler) string {
|
func (c *CrawlerService)Create(ct * Crawler) string {
|
||||||
|
|
||||||
|
|
||||||
bytes, err := json.Marshal(ct)
|
|
||||||
|
out, err := utils.InvokeDB("crawler", "create", ct, "")
|
||||||
|
|
||||||
if err != nil {
|
if err != nil {
|
||||||
return ""
|
return ""
|
||||||
}
|
}
|
||||||
|
|
||||||
m := make(map[string]string)
|
|
||||||
|
|
||||||
m[""] = string(bytes)
|
|
||||||
|
|
||||||
out := proxy.InvokeDB("crawler", "create", m)
|
|
||||||
|
|
||||||
|
|
||||||
return out;
|
return out;
|
||||||
}
|
}
|
||||||
|
@ -3,6 +3,7 @@ package crawlerInputItem
|
|||||||
import (
|
import (
|
||||||
"git.loafle.net/overflow/commons_go/model/timestamp"
|
"git.loafle.net/overflow/commons_go/model/timestamp"
|
||||||
"encoding/json"
|
"encoding/json"
|
||||||
|
"git.loafle.net/overflow/overflow_proxy_service/proxy/utils"
|
||||||
)
|
)
|
||||||
|
|
||||||
type CrawlerInputItem struct {
|
type CrawlerInputItem struct {
|
||||||
@ -18,4 +19,19 @@ type CrawlerInputItemSerivce struct {
|
|||||||
|
|
||||||
func NewCrawlerInputItemService() *CrawlerInputItemSerivce {
|
func NewCrawlerInputItemService() *CrawlerInputItemSerivce {
|
||||||
return &CrawlerInputItemSerivce{}
|
return &CrawlerInputItemSerivce{}
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
func (c *CrawlerInputItemSerivce)Create(cii * CrawlerInputItem) string {
|
||||||
|
|
||||||
|
out, err := utils.InvokeDB("crawlerInputItem", "create", cii, "")
|
||||||
|
|
||||||
|
if err != nil {
|
||||||
|
return ""
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
return out;
|
||||||
|
|
||||||
}
|
}
|
@ -5,6 +5,7 @@ import (
|
|||||||
"encoding/json"
|
"encoding/json"
|
||||||
"git.loafle.net/overflow/overflow_proxy_service/proxy/crawler"
|
"git.loafle.net/overflow/overflow_proxy_service/proxy/crawler"
|
||||||
"git.loafle.net/overflow/overflow_proxy_service/proxy/crawlerInputItem"
|
"git.loafle.net/overflow/overflow_proxy_service/proxy/crawlerInputItem"
|
||||||
|
"git.loafle.net/overflow/overflow_proxy_service/proxy/utils"
|
||||||
)
|
)
|
||||||
|
|
||||||
type CrawlerInputItemMapping struct {
|
type CrawlerInputItemMapping struct {
|
||||||
@ -23,4 +24,17 @@ type CrawlerInputItemMappingService struct {
|
|||||||
|
|
||||||
func NewCrawlerInputItemMappingService() *CrawlerInputItemMappingService {
|
func NewCrawlerInputItemMappingService() *CrawlerInputItemMappingService {
|
||||||
return &CrawlerInputItemMappingService{}
|
return &CrawlerInputItemMappingService{}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (c *CrawlerInputItemMappingService)Create(ciim *CrawlerInputItemMapping) string {
|
||||||
|
|
||||||
|
out, err := utils.InvokeDB("crawlerInputItemMapping", "create", ciim, "")
|
||||||
|
|
||||||
|
if err != nil {
|
||||||
|
return ""
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
return out;
|
||||||
|
|
||||||
}
|
}
|
@ -5,7 +5,7 @@ import (
|
|||||||
pb "git.loafle.net/overflow/overflow_api_db/build/golang"
|
pb "git.loafle.net/overflow/overflow_api_db/build/golang"
|
||||||
"google.golang.org/grpc"
|
"google.golang.org/grpc"
|
||||||
"golang.org/x/net/context"
|
"golang.org/x/net/context"
|
||||||
"git.loafle.net/overflow/overflow_proxy_service/proxy/member"
|
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
@ -33,11 +33,3 @@ func InvokeDB(targetDb, methodName string, param map[string]string) (string) {
|
|||||||
return out.Result
|
return out.Result
|
||||||
}
|
}
|
||||||
|
|
||||||
//FIXME:: test session member
|
|
||||||
func GetSessionMember() *member.Member {
|
|
||||||
|
|
||||||
m := member.NewMember()
|
|
||||||
m.Id = "1";
|
|
||||||
|
|
||||||
return m;
|
|
||||||
}
|
|
12
proxy/session/session.go
Normal file
12
proxy/session/session.go
Normal file
@ -0,0 +1,12 @@
|
|||||||
|
package session
|
||||||
|
|
||||||
|
import "git.loafle.net/overflow/overflow_proxy_service/proxy/member"
|
||||||
|
|
||||||
|
//FIXME:: test session member
|
||||||
|
func GetSessionMember() *member.Member {
|
||||||
|
|
||||||
|
m := member.NewMember()
|
||||||
|
m.Id = "1";
|
||||||
|
|
||||||
|
return m;
|
||||||
|
}
|
@ -7,6 +7,8 @@ import (
|
|||||||
"git.loafle.net/overflow/overflow_proxy_service/proxy"
|
"git.loafle.net/overflow/overflow_proxy_service/proxy"
|
||||||
|
|
||||||
"fmt"
|
"fmt"
|
||||||
|
"git.loafle.net/overflow/overflow_proxy_service/proxy/utils"
|
||||||
|
"git.loafle.net/overflow/overflow_proxy_service/proxy/session"
|
||||||
)
|
)
|
||||||
|
|
||||||
type Target struct {
|
type Target struct {
|
||||||
@ -37,7 +39,7 @@ func (t *TargetService)GetModel() interface{} {
|
|||||||
|
|
||||||
func (t *TargetService)List(tm *Target) string {
|
func (t *TargetService)List(tm *Target) string {
|
||||||
|
|
||||||
tm.Member.Id = proxy.GetSessionMember().Id
|
tm.Member.Id = session.GetSessionMember().Id
|
||||||
|
|
||||||
bytes, err := json.Marshal(tm)
|
bytes, err := json.Marshal(tm)
|
||||||
|
|
||||||
@ -56,19 +58,26 @@ func (t *TargetService)List(tm *Target) string {
|
|||||||
|
|
||||||
func (t *TargetService)Create(tm *Target) string {
|
func (t *TargetService)Create(tm *Target) string {
|
||||||
|
|
||||||
bytes, err := json.Marshal(tm)
|
//bytes, err := json.Marshal(tm)
|
||||||
|
//
|
||||||
|
//if err != nil {
|
||||||
|
// return ""
|
||||||
|
//}
|
||||||
|
//
|
||||||
|
//m := make(map[string]string)
|
||||||
|
//m["com.loafle.overflow.target.model.Target"] = string(bytes)
|
||||||
|
//
|
||||||
|
//out := proxy.InvokeDB("target", "create", m)
|
||||||
|
|
||||||
|
out, err := utils.InvokeDB("target", "create", tm, "com.loafle.overflow.target.model.Target")
|
||||||
|
|
||||||
if err != nil {
|
if err != nil {
|
||||||
return ""
|
return ""
|
||||||
}
|
}
|
||||||
|
|
||||||
m := make(map[string]string)
|
|
||||||
m["com.loafle.overflow.target.model.Target"] = string(bytes)
|
|
||||||
|
|
||||||
out := proxy.InvokeDB("target", "create", m)
|
|
||||||
|
|
||||||
|
|
||||||
return out;
|
return out;
|
||||||
|
|
||||||
}
|
}
|
||||||
|
|
||||||
func (t *TargetService)CreateAll(tmlist *[]*Target) string {
|
func (t *TargetService)CreateAll(tmlist *[]*Target) string {
|
||||||
@ -78,7 +87,7 @@ func (t *TargetService)CreateAll(tmlist *[]*Target) string {
|
|||||||
outlist := make([]string, 0)
|
outlist := make([]string, 0)
|
||||||
for _, ttt := range *tmlist {
|
for _, ttt := range *tmlist {
|
||||||
|
|
||||||
ttt.Member = proxy.GetSessionMember()
|
ttt.Member = session.GetSessionMember()
|
||||||
out := t.Create(ttt)
|
out := t.Create(ttt)
|
||||||
outlist = append(outlist, out)
|
outlist = append(outlist, out)
|
||||||
}
|
}
|
||||||
|
23
proxy/utils/DBInvokeUtil.go
Normal file
23
proxy/utils/DBInvokeUtil.go
Normal file
@ -0,0 +1,23 @@
|
|||||||
|
package utils
|
||||||
|
|
||||||
|
import (
|
||||||
|
"encoding/json"
|
||||||
|
"git.loafle.net/overflow/overflow_proxy_service/proxy"
|
||||||
|
)
|
||||||
|
|
||||||
|
func InvokeDB( db string, method string, obj interface{}, model string) (string, error) {
|
||||||
|
|
||||||
|
bytes, err := json.Marshal(obj)
|
||||||
|
if err != nil {
|
||||||
|
return "", err
|
||||||
|
}
|
||||||
|
|
||||||
|
m := make(map[string]string)
|
||||||
|
|
||||||
|
m[model] = string(bytes)
|
||||||
|
|
||||||
|
out := proxy.InvokeDB(db, method, m)
|
||||||
|
|
||||||
|
|
||||||
|
return out, nil
|
||||||
|
}
|
Loading…
x
Reference in New Issue
Block a user