• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    迪恩网络公众号

minicloudsky/eastmoney: python requests + Django+ nodejs koa+ mysql to crawl eas ...

原作者: [db:作者] 来自: 网络 收藏 邀请

开源软件名称:

minicloudsky/eastmoney

开源软件地址:

https://github.com/minicloudsky/eastmoney

开源编程语言:

JavaScript 93.2%

开源软件介绍:

eastmoney

东方财富、天天基金股票基金证券数据爬虫、数据分析可视化

first of all, 本项目不构成任何投资建议,仅做技术学习用途,投资有风险,入市需谨慎!!!

如有侵权请联系我删除

在线体验,查看 metabase 数据库 http://huaweicloud.yawujia.cn:6100/

账号: [email protected] 密码: admin123

Usage:

git clone https://github.com/minicloudsky/EastMoney.git

创建 python3 虚拟环境

pip3 install virtualenv
virtualenv venv
source venv/bin/activate

修改数据库,改为你自己的数据库

vim backend/eastmoney/settings.py

DATABASES = {
    "default": {
        'ENGINE': 'django.db.backends.mysql',
        'HOST': 'your database host',
        'PORT': 3306,
        'USER': 'your database user',
        'PASSWORD': 'your database password',
        'NAME': 'your database name'
    }
}

修改基金历史净值的爬取模式,因为历史数据经测试有一千多万条,因此为了提高爬取速度,可以第一次爬取全量数据,以后每天爬取增量数据,这样可以加快爬取速度

vim backend/config.ini

[CRAWL_MODE]
; 全量爬取,默认为全量爬取
crawl_mode = "ALL"
; 增量爬取
;crawl_mode = "APPEND"

安装依赖包

pip install -r requirements.txt

数据库迁移

python manage.py makemigrations
python manage.py migrate

admin 静态文件 迁移

python3 manage.py collectstatic

启动服务,执行爬取基金,因为爬虫耗时较长,因此通过 nohup 放后台执行,具体可以查看 backend/bin 下面脚本

cd backend
sh bin/start_server.sh

数据可视化

  • 简单的数据可视化可以用 metabase,根据需要自己写 sql或者设置过滤聚合条件就好了
  • metabase docker 部署
  • 登录服务器,执行 docker run -d -it -p 3000:3000 --name metabase metabase/metabase.这里我们把metabase部署在 3000端口
  • 打开 your_host:3000,设置下数据库连接,然后写 sql 就可以做数据可视化了,以下是我自己做的简单 demo

metabase 官方文档 metabase




鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap