Python 全栈系列241 GFGo Lite迭代

说明

随着整个算网开发逐渐深入，各个组件、微服务的数量、深度在不断增加。由于算网是个人项目，我一直按照MVP(Minimum Viable Product )的原则在推进。由于最初的时候对架构、算法和业务的理解并没有那么深刻，所以MVP的内容还是在不断变化（增加）的。比较幸运的是，中间走的弯路比较少，整体方向上一直没有大偏差，应该可以在预期的时间内达到目标。

从工具和使用的角度来看，我一边在算网的概念下构造工具，一边在尝试使用这些工具提高我的效率/能力上限。过去，由于已知的、明确要实现的功能就很多，所以一直是不断急速前进，常见的一种情况是：工具开发好了，测试也好用，但是就扔在一边，继续开发别的新工具去了。

现在的情况是：完成一个MVP所需要新开发的功能几乎没有了，反而是将已有的工具用起来比较重要。

今年做的比较重要的改变是使用streamlit、gradio将微服务前后端一体化。这种方式最初是大语言模型广泛采用的，的确非常方便。对算网而言，大量的已开发组件和功能，将通过这种方式进行文档、测试和使用的一体化。

在这里插入图片描述

总之，现在的重点是实现(Realization)。

内容

1 GlobalFunc更新

1.1 程序

目前仍然采用vscode代码开发的方式，创建一个个新的py文件。

1.2 推送更新

步骤如下：

  • 1 切到项目路径下cd .../m4git/GlobalFunc
  • 2 导入操作对象
from op044_GlobalFunc_01BaseOpt import gfbase

# 1 查看当前分枝
gfbase._get_current_branch()
# 2 扫描所有文件的信息
scan_dict = gfbase._get_scan_files()
# 3 提交git项目
gfbase._simple_commit_git()
# 4 刷新一个包的初始化文件
gfbase._generate_init_py('Base')
gfbase._generate_init_py('Parse')
gfbase._generate_init_py('TFIDF')
# 5 批量存储函数
some_pack_list = [x for x in scan_dict.keys() if x.startswith('Base.') or x.startswith('Parse.') or x.startswith('TFIDF.')]

for some_file in some_pack_list:
    gfbase._save_a_file_rom(some_file)

在这里插入图片描述

2 GFGo Lite 更新

GFGo Lite 有所修改，文件在项目文件夹gfgo_lite_24090 下面

2.1 文件

切入gfgo_lite_build容器，里面已经有了一些依赖文件

  • 1 init_funcs 里面存放了数据库连接相关的函数
  • 2 按模块执行加载，然后初始化

以下是从Base模块中加载一些函数的示例

from init_funcs import create_file,generate_init_py,RedisOrMongo, Naive

import os 
import json
# 声明空间

# 在容器中启动
redis_cfg = Naive()
redis_cfg.redis_agent_host = 'http://172.17.0.1:24021/'
redis_cfg.redis_connection_hash = None


# 模块Base
if True:

    # 声明当前要创建的程序文件夹：默认为funcs
    target_folder = 'GlobalFunc'
    tier1 = 'sp_GlobalFunc'
    var_space_name = 'Base'
    # 分支，一般默认为master
    branch_name = 'master' 
    tier2 = '_'.join([var_space_name, branch_name])
    the_space_name = '.'.join([tier1,tier2])


    target_folder = target_folder + '/' + var_space_name

    os.makedirs(target_folder, exist_ok=True)

    rom = RedisOrMongo(the_space_name, redis_cfg.dict(),backend='mongo', mongo_servername='m7.24065')

    # 这个一般根据需要，或者代码中得来 --- 需要的列表项
    func_list = [ 'from_pickle','to_pickle','is_file_exists',
    'gen_time_axis','ATimer2','get_time_str1','cols2s',
    'create_folder_if_notexist','flat_dict','flatten_list'
    ]
    # func_list = [ 'from_pickle','to_pickle','pose_a_file']
    for some_name in func_list:
        # 获取 meta,data : data就是代码字符
        the_data = rom.getx(some_name)
        filename = the_data['meta']['name']
        filedata = the_data['data']
        create_file(target_folder, filename, filedata)


    # 生成初始化文件
    generate_init_py(target_folder)

在导入新的包时，需要手动修改GlobalFunc下的__init__.py(与Base包和Parse包平级)。

from . import Base
from . import Parse

2.2 服务

在 /workspace下直接启动服务即可 python3 server.py。

3 应用

3.1 通用函数 UCS

UCS是一个规范，为了支持这个规范，必须依赖一些特定(同时也是固定)的函数。因为函数的通用性，所以这些函数放在了最外层，每个函数都占据了一个api接口。

3.1.1 block (int)

整型block分割三件套

import requests as req 


some_dict = {}
some_dict['rec_id'] = 111111

res = req.post('http://127.0.0.1:8000/get_brick_name/', json = some_dict).json()

'0.0.0.11'

some_dict = {}
some_dict['brick_name'] = '0.0.0.11'

res = req.post('http://127.0.0.1:8000/get_brick_bounds/', json = some_dict).json()
[110000.0, 120000.0]


some_dict = {}
some_dict['start_brick_name'] = '0.0.0.9'
some_dict['end_brick_name'] = '0.0.0.12'

res = req.post('http://127.0.0.1:8000/get_brick_list/', json = some_dict).json()
['0.0.0.9', '0.0.0.10', '0.0.0.11'
3.1.2 time block

操作如下：时间支持字符和数值(时间戳)两种模式。

import requests as req 

# char
some_dict = {}
some_dict['dt_str_or_ts'] = '2024-01-31 11:11:11'
res = req.post('http://127.0.0.1:8000/get_time_brick_name/', json = some_dict).json()
'2024.01.31.11'

# num
some_dict = {}
some_dict['dt_str_or_ts'] = 1706670671
res = req.post('http://127.0.0.1:8000/get_time_brick_name/', json = some_dict).json()
'2024.01.31.11'

# char 
some_dict = {}
some_dict['brick_name'] = '2024.01.31.11'
some_dict['char_or_num'] = 'char'
res = req.post('http://127.0.0.1:8000/get_time_brick_bounds/', json = some_dict).json()

'''
In [13]: res
Out[13]: ['2024-01-31 11:00:00', '2024-01-31 12:00:00']
'''

# num 
some_dict = {}
some_dict['brick_name'] = '2024.01.31.11'
some_dict['char_or_num'] = 'num'
res = req.post('http://127.0.0.1:8000/get_time_brick_bounds/', json = some_dict).json()

'''
In [15]: res
Out[15]: [1706670000, 1706673600]
'''


some_dict = {}
some_dict['start_brick_name'] = '2024.01.31.11'
some_dict['end_brick_name'] = '2024.02.02.11'
res = req.post('http://127.0.0.1:8000/get_time_brick_list/', json = some_dict).json()

'''
In [11]: res
Out[11]:
['2024.01.31.11',
 '2024.01.31.12',
 '2024.01.31.13',
 '2024.01.31.14',
 ...
'''

3.2 功能函数

3.2.1 Base包的函数调用

以下是两个Base包函数的测试

import requests as req 

# 测试1：调用Base包的函数
kwargs = {'ts':None, 
             'bias_hours':8}
pack_func = 'Base.get_time_str1'

some_dict = {}
some_dict['kwargs'] = kwargs
some_dict['pack_func'] = pack_func

res = req.post('http://127.0.0.1:8000/gfgo/', json = some_dict).json()
'2024-05-05 11:04:35'

# 测试2：列表扁平化
kwargs = {'nested_list':[[1,2],[3],[4,5]]}
pack_func = 'Base.flatten_list'

some_dict = {}
some_dict['kwargs'] = kwargs
some_dict['pack_func'] = pack_func

res = req.post('http://127.0.0.1:8000/gfgo/', json = some_dict).json()
[1, 2, 3, 4, 5]

有两点需要注意：

  • 1 函数规范为全部关键字参数输入（主要是为了方便调用）
  • 2 接口直接返回处理信息（而不是包上状态和消息）
3.3.3 Parse包的函数调用
x = "This is a sample text."
word_list = ["sample", "test", "string"]

kwargs = {'x':x, 'word_list':word_list}
pack_func = 'Parse.judge_existence'

some_dict = {}
some_dict['kwargs'] = kwargs
some_dict['pack_func'] = pack_func

res = req.post('http://127.0.0.1:8000/gfgo/', json = some_dict).json()

True

3.4 服务迭代

推送新的变化
docker push myregistry.domain.com:24052/worker.andy.gfgo_lite_24090:v101
启动服务

docker run -d \
 --restart=always \
 --name=gfgo_lite_24090 \
 -v /etc/localtime:/etc/localtime  \
 -v /etc/timezone:/etc/timezone\
 -v /etc/hostname:/etc/hostname\
 -e "LANG=C.UTF-8" \
 -w /workspace\
 -p 24090:8000\
 myregistry.domain.com:24052/worker.andy.gfgo_lite_24090:v101 \
 sh -c "python3 server.py"

公网调用

In [3]:
   ...: some_dict = {}
   ...: some_dict['brick_name'] = '2024.01.31.11'
   ...: some_dict['char_or_num'] = 'num'
   ...: res = req.post('http://WAN_IP:24090/get_time_brick_bounds/', json = some_dict).json()

In [4]: res
Out[4]: [1706670000, 1706673600]

4 总结与展望

RuleSet As A Func

将复杂的规则（判定）作为一个函数调用。

Series Apply

每个函数都要支持列表（多个元素）的并行处理。

踩过的一个小坑：GlobalFunc使用了一个公网机的Redis做ROM，而GFGoLite使用m7本地的redis，导致了逻辑上看起来更新了，但是实际未更新。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/594233.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

选择深度学习框架：TensorFlow 2 vs PyTorch

选择深度学习框架：TensorFlow 2 vs PyTorch

TensorFlow 2 vs PyTorch 选择深度学习框架：TensorFlow 2 vs PyTorchTensorFlow 2概述TensorFlow 2的优点TensorFlow 2的缺点 PyTorch概述PyTorch的优点PyTorch的缺点 选择建议对于选择困难症的人，我给你们的答案——PyTorch选择理由：结论&am…
阅读更多...
数据结构(C):玩转链表

数据结构(C):玩转链表

🍺0.前言 言C之言，聊C之识，以C会友，共向远方。各位博友的各位你们好啊，这里是持续分享数据结构知识的小赵同学，今天要分享的数据结构知识是链表，在这一章，小赵将会向大家展开聊聊链表…
阅读更多...
常用语音识别开源四大工具：Kaldi，PaddleSpeech，WeNet，EspNet

常用语音识别开源四大工具：Kaldi，PaddleSpeech，WeNet，EspNet

无论是基于成本效益还是社区支持，我都坚决认为开源才是推动一切应用的动力源泉。下面推荐语音识别开源工具：Kaldi，Paddle，WeNet，EspNet。 1、最成熟的Kaldi 一个广受欢迎的开源语音识别工具，由Daniel Pove…
阅读更多...
Servlet框架

Servlet框架

简介 Servlet是运行在web服务器或应用服务器上的程序，他是作为来自web浏览器或其他http客户端的请求和HTTP服务器上的数据库或应用程序之间的中间层。 使用Servlet可以手机来自网页表单的用户输入，呈现来自数据库或者其他源记录，还可以动态创…
阅读更多...
IDEA访问不到静态资源

IDEA访问不到静态资源

背景 我在resources下创建static文件夹，再创建front文件夹放前端资源，里面有index.html，游览器输入localhost:8011/front没反应。（resources/static/front/index.html） 解决办法 重启idea，清楚idea缓存&am…
阅读更多...
设计模式之服务定位器模式

设计模式之服务定位器模式

想象一下，你的Java应用是一座庞大的迷宫，里面藏着无数宝贵的服务宝藏，而你正需要一张精确的藏宝图来指引方向，迅速找到并利用这些宝藏。服务定位器模式，正是这样一张神奇的地图，它帮你动态定位并获取应用中…
阅读更多...
stl容器 string类的基本操作

stl容器 string类的基本操作

目录 一.string类的构造 二.string类的输出 1.传统字符串输出 2.通过迭代器进行输出 ​编辑 3.C11标准的范围for输出加auto推导类型 三.string类的各种迭代器 begin(）和end() 利用迭代器遍历输出 利用迭代器修改字符串的字符 rbgin()和rend() 利用迭代器遍…
阅读更多...
[论文阅读]Adversarial Autoencoders（aae）和代码

[论文阅读]Adversarial Autoencoders（aae）和代码

In this paper, we propose the “adversarial autoencoder” (AAE), which is a probabilistic autoencoder that uses the recently proposed generative adversarial networks (GAN) to perform variational inference by matching the aggregated posterior of the hidden …
阅读更多...
【人工智能基础】RNN实验

【人工智能基础】RNN实验

一、RNN特性 权重共享 wordi weight bais 持久记忆单元 wordi weightword baisword hi weighth baish 二、公式化表达 ht</sub f(ht - 1, xt) ht tanh(Whhht - 1 Wxhxt) yt Whyht 三、RNN网络正弦波波形预测 环境准备 import numpy as np import torch …
阅读更多...
服务器端优化-Redis内存划分和内存配置

服务器端优化-Redis内存划分和内存配置

6、服务器端优化-Redis内存划分和内存配置 当Redis内存不足时&#xff0c;可能导致Key频繁被删除、响应时间变长、QPS不稳定等问题。当内存使用率达到90%以上时就需要我们警惕&#xff0c;并快速定位到内存占用的原因。 有关碎片问题分析 Redis底层分配并不是这个key有多大&…
阅读更多...
PG 全页写

PG 全页写

1.什么是全页写 修改一个块的时候&#xff0c;把块读到内存中&#xff0c;commit后,WAL写进程会触发写&#xff0c;把修改的块写到WAL日志文件&#xff0c;如果再往这个块中插入一条数据&#xff0c;数据缓冲区里面的块有两条数据了&#xff0c;再次commit后&#xff0c;PG会把…
阅读更多...
图像处理--空域滤波增强（原理）

图像处理--空域滤波增强（原理）

一、均值滤波 线性滤波算法&#xff0c;采用的主要是邻域平均法。基本思想是使用几个像素灰度的某种平均值来代替一个原来像素的灰度值。可以新建一个MN的窗口以为中心&#xff0c;这个窗口S就是的邻域。假设新的新的像素灰度值为&#xff0c;则计算公式为 1.1 简单平均法 就是…
阅读更多...
在excel中，alt＋13和alt＋10都是什么字符？

在excel中，alt＋13和alt＋10都是什么字符？

1.回车符与换行符 Alt13是回车符&#xff0c;Alt10是换行符。 2.用在microsoft word中 在microsoft office中&#xff0c;回车符 和 换行符 对文本来讲都有换行的作用&#xff0c;但它们并不是同一种符号。下图是在word中两种字符的显示&#xff0c; 当使用 回车符 进行文本…
阅读更多...
Ubuntu MATE系统下WPS显示错位

Ubuntu MATE系统下WPS显示错位

系统&#xff1a;Ubuntu MATE 22.04和24.04&#xff0c;在显示器设置200%放大的情况下&#xff0c;显示错位。 显示器配置&#xff1a; WPS显示错位&#xff1a; 这个问题当前没有找到好的解决方式。 因为4K显示屏设置4K分辨率&#xff0c;图标&#xff0c;字体太小&#xff…
阅读更多...
TCP（TCP客户端、服务器如何通信）

TCP（TCP客户端、服务器如何通信）

一、TCP介绍 TCP的特点&#xff1a; 面向连接的协议&#xff1a;TCP是一种可靠的、面向连接的协议&#xff0c;在通信之前需要建立连接&#xff0c;以确保数据的可靠传输。这意味着在传输数据之前&#xff0c;发送方和接收方之间需要建立一条可靠的连接通道。流式协议&#x…
阅读更多...
Spring Cloud架构进化实操：Eureka、Apollo、OpenFeign、Ribbon、Zuul组件

Spring Cloud架构进化实操：Eureka、Apollo、OpenFeign、Ribbon、Zuul组件

文章目录 前言一、引出二、服务注册与发现2.1 创建Eureka注册中心2.1.1 引入pom依赖2.1.2 配置yaml2.1.3 启动服务21.4 测试访问 2.2 创建服务提供者2.2.1 配置yaml2.2.2 启动服务2.2.3 测试访问 2.3 创建服务消费者2.3.1 服务提供者接口2.3.2 服务消费者调用接口 三、负载均衡…
阅读更多...
Docker的私有仓库部署-Harbor

Docker的私有仓库部署-Harbor

目录 一. Docker原生私有仓库 Registry 1. Registry 的介绍 2. Registry 的部署过程 二. Registry 的升级——Habor 1. Harbor 简介 2. Harbor 特性 3. Harbor 的构成 4. Harbor 部署 4.1 部署 Docker-Compose 服务 4.2 部署 Harbor 服务 4.2.1 下载或上传 Harbor…
阅读更多...
18_Scala面向对象编程trait

18_Scala面向对象编程trait

文章目录 trait1.定义trait2.向类中混入特质2.1没有父类2.2有父类 3.动态混入3.1动态混入查询功能到公司业务中 4.父类&#xff0c;子类&#xff0c;特质初始化优先级5.Scala功能执行顺序6.常用API trait –特质的学习需要类比Java中的接口&#xff0c;源码编译之后就是interf…
阅读更多...
三种方法解决：检测到在集成的托管管道模式下不适用的 ASP.NET 设置

三种方法解决：检测到在集成的托管管道模式下不适用的 ASP.NET 设置

几天前配置一个IIS环境的网站时，出现500错误。根据错误提示，很快把问题解决了，现记录一下，希望能帮到遇到同样问题的网友。 问题描述 （点击图片放大） 应用程序“DEFAULT WEB SITE”中的服务器错误Internet Information Services 7.5错误摘要 HTTP 错误 500.24 - Interna…
阅读更多...
抓包证书安装到安卓7.0+手机

抓包证书安装到安卓7.0+手机

前言： 首先理解一下，这个不只是证书到浏览器，而是抓包证书到安卓7.0+手机上的文章； 还有一点区分，在浏览器上装的证书，只是让抓包工具可以抓取手机浏览器的包，而不是抓取手机app上的包； 如果你的证书只是简单的在浏览器下进行安装，那么你的手机app是走不了代理网络的…
阅读更多...
最新文章

Copyright @ 2022~2023