Bert4keras相关环境安装

1. 创建虚拟环境,先安装cudatoolkit和cudnn

cudatoolkit版本不对容易报so库找不到的错。

具体安装参考:在conda虚拟环境中安装cuda和cudnn,解决pip install or python setup.py install 将安装包安装到全局环境中的问题(1.2部分)。 - 知乎

2. 安装对应的tensorflow版本与依赖

(bert4keras-tf22) conda list
# packages in environment at /home/anaconda3/envs/bert4keras-tf22:
#
# Name                    Version                   Build  Channel
_libgcc_mutex             0.1                        main    defaults
_openmp_mutex             5.1                       1_gnu    defaults
_tflow_select             2.1.0                       gpu    defaults
absl-py                   0.15.0             pyhd3eb1b0_0    defaults
aiohttp                   3.8.1            py38h7f8727e_1    defaults
aiosignal                 1.2.0              pyhd3eb1b0_0    defaults
astor                     0.8.1            py38h06a4308_0    defaults
asttokens                 2.0.5              pyhd3eb1b0_0    defaults
astunparse                1.6.3                      py_0    defaults
async-timeout             4.0.1              pyhd3eb1b0_0    defaults
attrs                     21.4.0             pyhd3eb1b0_0    defaults
backcall                  0.2.0              pyhd3eb1b0_0    defaults
blas                      1.0                         mkl    defaults
blinker                   1.4              py38h06a4308_0    defaults
brotlipy                  0.7.0           py38h27cfd23_1003    defaults
c-ares                    1.18.1               h7f8727e_0    defaults
ca-certificates           2022.10.11           h06a4308_0    defaults
cachetools                4.2.2              pyhd3eb1b0_0    defaults
certifi                   2022.9.24        py38h06a4308_0    defaults
cffi                      1.15.1           py38h74dc2b5_0    defaults
charset-normalizer        2.0.4              pyhd3eb1b0_0    defaults
click                     8.0.4            py38h06a4308_0    defaults
cryptography              37.0.1           py38h9ce1e76_0    defaults
cudatoolkit               10.1.243             h6bb024c_0    defaults
cudnn                     7.6.5                cuda10.1_0    defaults
cupti                     10.1.168                      0    defaults
dataclasses               0.8                pyh6d0b6a4_7    defaults
debugpy                   1.5.1            py38h295c915_0    defaults
decorator                 5.1.1              pyhd3eb1b0_0    defaults
entrypoints               0.4              py38h06a4308_0    defaults
executing                 0.8.3              pyhd3eb1b0_0    defaults
frozenlist                1.2.0            py38h7f8727e_0    defaults
gast                      0.3.3                      py_0    defaults
google-auth               2.6.0              pyhd3eb1b0_0    defaults
google-auth-oauthlib      0.4.4              pyhd3eb1b0_0    defaults
google-pasta              0.2.0              pyhd3eb1b0_0    defaults
grpcio                    1.42.0           py38hce63b2e_0    defaults
h5py                      2.10.0           py38hd6299e0_1    defaults
hdf5                      1.10.6               hb1b8bf9_0    defaults
idna                      3.3                pyhd3eb1b0_0    defaults
importlib-metadata        4.11.3           py38h06a4308_0    defaults
intel-openmp              2021.4.0          h06a4308_3561    defaults
ipykernel                 6.15.2           py38h06a4308_0    defaults
ipython                   8.4.0            py38h06a4308_0    defaults
jedi                      0.18.1           py38h06a4308_1    defaults
jupyter_client            7.3.5            py38h06a4308_0    defaults
jupyter_core              4.11.1           py38h06a4308_0    defaults
keras                     2.3.1                         0    defaults
keras-applications        1.0.8                      py_1    defaults
keras-base                2.3.1                    py38_0    defaults
keras-preprocessing       1.1.2              pyhd3eb1b0_0    defaults
ld_impl_linux-64          2.38                 h1181459_1    defaults
libffi                    3.3                  he6710b0_2    defaults
libgcc-ng                 11.2.0               h1234567_1    defaults
libgfortran-ng            7.5.0               ha8ba4b0_17    defaults
libgfortran4              7.5.0               ha8ba4b0_17    defaults
libgomp                   11.2.0               h1234567_1    defaults
libprotobuf               3.20.1               h4ff587b_0    defaults
libsodium                 1.0.18               h7b6447c_0    defaults
libstdcxx-ng              11.2.0               h1234567_1    defaults
markdown                  3.3.4            py38h06a4308_0    defaults
matplotlib-inline         0.1.6            py38h06a4308_0    defaults
mkl                       2021.4.0           h06a4308_640    defaults
mkl-service               2.4.0            py38h7f8727e_0    defaults
mkl_fft                   1.3.1            py38hd3c417c_0    defaults
mkl_random                1.2.2            py38h51133e4_0    defaults
multidict                 5.2.0            py38h7f8727e_2    defaults
ncurses                   6.3                  h5eee18b_3    defaults
nest-asyncio              1.5.5            py38h06a4308_0    defaults
numpy                     1.21.5           py38h6c91a56_3    defaults
numpy-base                1.21.5           py38ha15fc14_3    defaults
oauthlib                  3.2.0              pyhd3eb1b0_1    defaults
openssl                   1.1.1s               h7f8727e_0    defaults
opt_einsum                3.3.0              pyhd3eb1b0_1    defaults
packaging                 21.3               pyhd3eb1b0_0    defaults
parso                     0.8.3              pyhd3eb1b0_0    defaults
pexpect                   4.8.0              pyhd3eb1b0_3    defaults
pickleshare               0.7.5           pyhd3eb1b0_1003    defaults
pip                       22.1.2           py38h06a4308_0    defaults
prompt-toolkit            3.0.20             pyhd3eb1b0_0    defaults
protobuf                  3.20.1           py38h295c915_0    defaults
psutil                    5.9.0            py38h5eee18b_0    defaults
ptyprocess                0.7.0              pyhd3eb1b0_2    defaults
pure_eval                 0.2.2              pyhd3eb1b0_0    defaults
pyasn1                    0.4.8              pyhd3eb1b0_0    defaults
pyasn1-modules            0.2.8                      py_0    defaults
pycparser                 2.21               pyhd3eb1b0_0    defaults
pygments                  2.11.2             pyhd3eb1b0_0    defaults
pyjwt                     2.4.0            py38h06a4308_0    defaults
pyopenssl                 22.0.0             pyhd3eb1b0_0    defaults
pyparsing                 3.0.9            py38h06a4308_0    defaults
pysocks                   1.7.1            py38h06a4308_0    defaults
python                    3.8.13               h12debd9_0    defaults
python-dateutil           2.8.2              pyhd3eb1b0_0    defaults
pyyaml                    6.0              py38h7f8727e_1    defaults
pyzmq                     23.2.0           py38h6a678d5_0    defaults

3. tensorflow转onnx环境与依赖

(bert4keras-tf25) conda list                    
# packages in environment at /home/anaconda3/envs/bert4keras-tf25:
#
# Name                    Version                   Build  Channel
_libgcc_mutex             0.1                        main    defaults
_openmp_mutex             5.1                       1_gnu    defaults
absl-py                   0.15.0                   pypi_0    pypi
asttokens                 2.0.5              pyhd3eb1b0_0    defaults
astunparse                1.6.3                    pypi_0    pypi
backcall                  0.2.0              pyhd3eb1b0_0    defaults
bert4keras                0.11.3                   pypi_0    pypi
ca-certificates           2022.10.11           h06a4308_0    defaults
cachetools                5.2.0                    pypi_0    pypi
certifi                   2022.9.24        py38h06a4308_0    defaults
charset-normalizer        2.1.0                    pypi_0    pypi
coloredlogs               15.0.1                   pypi_0    pypi
debugpy                   1.5.1            py38h295c915_0    defaults
decorator                 5.1.1              pyhd3eb1b0_0    defaults
entrypoints               0.4              py38h06a4308_0    defaults
executing                 0.8.3              pyhd3eb1b0_0    defaults
flatbuffers               1.12                     pypi_0    pypi
gast                      0.4.0                    pypi_0    pypi
google-auth               2.10.0                   pypi_0    pypi
google-auth-oauthlib      0.4.6                    pypi_0    pypi
google-pasta              0.2.0                    pypi_0    pypi
grpcio                    1.34.1                   pypi_0    pypi
h5py                      3.1.0                    pypi_0    pypi
humanfriendly             10.0                     pypi_0    pypi
idna                      3.3                      pypi_0    pypi
importlib-metadata        4.12.0                   pypi_0    pypi
ipykernel                 6.15.2           py38h06a4308_0    defaults
ipython                   8.4.0            py38h06a4308_0    defaults
jedi                      0.18.1           py38h06a4308_1    defaults
jupyter_client            7.3.5            py38h06a4308_0    defaults
jupyter_core              4.11.1           py38h06a4308_0    defaults
keras                     2.3.1                    pypi_0    pypi
keras-applications        1.0.8                    pypi_0    pypi
keras-nightly             2.5.0.dev2021032900          pypi_0    pypi
keras-preprocessing       1.1.2                    pypi_0    pypi
ld_impl_linux-64          2.38                 h1181459_1    defaults
libffi                    3.3                  he6710b0_2    defaults
libgcc-ng                 11.2.0               h1234567_1    defaults
libgomp                   11.2.0               h1234567_1    defaults
libsodium                 1.0.18               h7b6447c_0    defaults
libstdcxx-ng              11.2.0               h1234567_1    defaults
markdown                  3.4.1                    pypi_0    pypi
markupsafe                2.1.1                    pypi_0    pypi
matplotlib-inline         0.1.6            py38h06a4308_0    defaults
mpmath                    1.2.1                    pypi_0    pypi
ncurses                   6.3                  h5eee18b_3    defaults
nest-asyncio              1.5.5            py38h06a4308_0    defaults
numpy                     1.23.2                   pypi_0    pypi
oauthlib                  3.2.0                    pypi_0    pypi
onnx                      1.12.0                   pypi_0    pypi
onnxruntime               1.12.1                   pypi_0    pypi
openssl                   1.1.1s               h7f8727e_0    defaults
opt-einsum                3.3.0                    pypi_0    pypi
packaging                 21.3               pyhd3eb1b0_0    defaults
parso                     0.8.3              pyhd3eb1b0_0    defaults
pexpect                   4.8.0              pyhd3eb1b0_3    defaults
pickleshare               0.7.5           pyhd3eb1b0_1003    defaults
pip                       22.1.2           py38h06a4308_0    defaults
prompt-toolkit            3.0.20             pyhd3eb1b0_0    defaults
protobuf                  3.19.4                   pypi_0    pypi
psutil                    5.9.0            py38h5eee18b_0    defaults
ptyprocess                0.7.0              pyhd3eb1b0_2    defaults
pure_eval                 0.2.2              pyhd3eb1b0_0    defaults
pyasn1                    0.4.8                    pypi_0    pypi
pyasn1-modules            0.2.8                    pypi_0    pypi
pygments                  2.11.2             pyhd3eb1b0_0    defaults
pyparsing                 3.0.9            py38h06a4308_0    defaults
python                    3.8.13               h12debd9_0    defaults
python-dateutil           2.8.2              pyhd3eb1b0_0    defaults
pyyaml                    6.0                      pypi_0    pypi
pyzmq                     23.2.0           py38h6a678d5_0    defaults
readline                  8.1.2                h7f8727e_1    defaults
requests                  2.28.1                   pypi_0    pypi
requests-oauthlib         1.3.1                    pypi_0    pypi
rsa                       4.9                      pypi_0    pypi
scipy                     1.9.0                    pypi_0    pypi
setuptools                61.2.0           py38h06a4308_0    defaults
six                       1.15.0                   pypi_0    pypi
sqlite                    3.39.2               h5082296_0    defaults
stack_data                0.2.0              pyhd3eb1b0_0    defaults
sympy                     1.10.1                   pypi_0    pypi
tensorboard               2.10.0                   pypi_0    pypi
tensorboard-data-server   0.6.1                    pypi_0    pypi
tensorboard-plugin-wit    1.8.1                    pypi_0    pypi
tensorflow                2.5.0                    pypi_0    pypi
tensorflow-estimator      2.5.0                    pypi_0    pypi
termcolor                 1.1.0                    pypi_0    pypi
tf2onnx                   1.12.1                   pypi_0    pypi
tk                        8.6.12               h1ccaba5_0    defaults
tornado                   6.2              py38h5eee18b_0    defaults
traitlets                 5.1.1              pyhd3eb1b0_0    defaults
typing-extensions         3.7.4.3                  pypi_0    pypi
urllib3                   1.26.11                  pypi_0    pypi
wcwidth                   0.2.5              pyhd3eb1b0_0    defaults
werkzeug                  2.2.2                    pypi_0    pypi
wheel                     0.37.1             pyhd3eb1b0_0    defaults
wrapt                     1.12.1                   pypi_0    pypi
xz                        5.2.5                h7f8727e_1    defaults
zeromq                    4.3.4                h2531618_0    defaults
zipp                      3.8.1                    pypi_0    pypi
zlib                      1.2.12               h7f8727e_2    defaults

特别要注意:keras-nightly             2.5.0.dev2021021100 的安装,其版本号有点特别

4. 踩坑指南

(1) so库找不到

2023-11-25 01:10:45.410281: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'libcudart.so.10.1'; dlerror: libcudart.so.10.1: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /path/to/cuda/lib64:/path/to/cudnn/lib64:

安装:cudatoolkit               10.1.243 

(2) tf转onnx错误

2023-12-07 04:17:32,217 - ERROR - Tensorflow op [StatefulPartitionedCall/model_1/Transformer-0-MultiHeadSelfAttention/BroadcastArgs: BroadcastArgs] is not supported

安装:bert4keras                0.11.3

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/223819.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

有源功率因数校正电路的设计(论文+仿真)

1. 系统设计 本文围绕有源功率因数校正电路的设计而展开,拟以BOOST的拓扑结构进行有源功率因数校正电路的搭建,通过不同电流模式的Boost变换电路实际应用及其分析,能够总结最优的解决设计方案,在方案建立的基础之上,通…

企业数字档案馆室建设指南

数字化时代,企业数字化转型已经成为当下各行业发展的必然趋势。企业数字化转型不仅仅是IT系统的升级,也包括企业内部各种文件、档案、合同等信息的数字化管理。因此,建设数字档案馆室也变得尤为重要。本篇文章将为您介绍企业数字档案馆室建设…

华为鸿蒙爆发真实力!原生应用媲美iOS,使用流畅度将提升20至30%

随着华为鸿蒙原生应用开发计划的启动,一场席卷全球的科技浪潮正在涌动。鸿蒙生态的快速发展,吸引了无数企业和开发者的关注,他们纷纷拥抱这个新兴的生态系统,共同构建一个更加繁荣的鸿蒙世界。 华为鸿蒙原生应用开发计划引爆全球…

【计算机二级MS Office】word(上)

这里写目录标题 文件选项卡保存和另存为属性检查文档 开始选项卡字体更改字体和字号设置中文和英文为两种不同字体的快捷方式介绍其余图标文本效果突出颜色如何挑选字体颜色字符底纹带圈字符字体对话框(隐藏) 段落 插入选项卡设计选项卡布局选项卡引用选…

Ribbon 饥饿加载

Ribbon默认是采用懒加载,即第一次访问时才会去创建LoadBalanceClient,请求时间会很长而饥饿加载则会在项目启动时创建,降低第一次访问的耗时,通过下面配置开启饥饿加载: 一、懒加载 Ribbon 默认为懒加载即在首次启动Application…

妈妈和老婆掉进水里,孟子认为先救老婆是禽兽

妈妈和老婆同时掉进水里先救谁? 多数男人不敢回答,怕得罪老婆。孟子认为,必须先救妈妈。因为父母都照顾不好,是不孝。先救妈妈,再救老婆。 中国人的信仰是天,以及孔孟之道。中国人不信宗教。 孟子&#x…

mysql锁介绍

锁分类: 加锁时机 普通select 语句会加MDL读锁,防止DDL的MDL写锁产生冲突 update、insert、delete会自动加入排它锁X,以及意向IX锁 select ... lock in share mode 加意向IS锁以及共享S锁 select... for update 加意向IX锁以及排它锁X

数据结构(超详细讲解!!)第二十六节 图(下)

1.无向图的连通分量 图遍历时,对于连通图,无论是广度优先搜索还是深度优先搜索,仅需要调用一次搜索过程,即从任一个顶点出发,便可以遍历图中的各个顶点。对于非连通图,则需要多次调用搜索过程,而…

二叉平衡树

一直想深入的研究一下,并手写平衡二叉树的插入、删除代码。 二叉树是动态查找的典范,但在极限情况下,二叉树的查找效果等同于链表,而平衡二叉树可以完美的达到 log ⁡ 2 n \log_2 n log2​n。 AVL简称平衡二叉树,缩写…

[Mac软件]HitPaw Photo Object Remover Mac v1.2.1 Ai智能去水印工具图像物体移除

多亏了HitPaw Photo Object Remover,它会自动跟踪和识别对象,并帮助您通过几个简单的步骤从照片中删除您想要的所有内容。 使用人工智能删除照片中物体的一流工具 •像1-2-3一样轻松地从照片中删除对象 •人工智能技术有助于立即清除不必要的物体 •轻…

激光雷达生成的图像检测关键点用来辅助里程计的方案

文章:LiDAR-Generated Images Derived Keypoints Assisted Point Cloud Registration Scheme in Odometry Estimation 作者:Haizhou Zhang , Xianjia Yu, Sier Ha , Tomi Westerlund 编辑:点云PCL 欢迎各位加入知识星球,获取PDF…

springboot 整合 Spring Security+JWT 实现token 认证和校验

1.大概是这个样子 JWT 是什么? Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准((RFC 7519).该token被设计为紧凑且安全的,特别适用于分布式站点的单点登录(SSO)场景。JWT的声明…

有源滤波器在矿区配电网中的应用

针对目前有源滤波器应用于矿区谐波治理时电网频率适应能力较低的问题,针对定采样点数字控制系统提出了一种具有频率自适应能力的谐振控制策略。该策略不仅可以实现对电网频率波动的自适应,提高滤波器补偿效果,而且不需要在线对控制器参数进行…

Apipost版IDEA插件

Apipost-Helper是由Apipost推出的IDEA插件,写完接口可以进行快速调试,且支持搜索接口、根据method跳转接口,还支持生成标准的API文档,注意:这些操作都可以在代码编辑器内独立完成,非常好用!这里…

设计原则 | 依赖转置原则

一、依赖转置原则(DIP:Dependence Inversion Principle) 1、原理 高层模块不应该依赖低层模块,二者都应该依赖于抽象抽象不应该依赖于细节,细节应该依赖于抽象 2、层次化 Booch曾经说过:所有结构良好的面…

丢包问题定位(一)

1,原理图 从上图我们分两个部分,一部分是host测(靠近交换sdk测) ,一部分是line测(靠近光模块测) 这里我们靠近交换(与交换测连接的是retimer芯片)。 当设备丢包时我们怎么定位呢! 先弄清楚设备的连接情况,确认是模块问题,设备问题,还是参数问题,前两种是个例,…

利用udev 修改 网卡名称 的方法和规则文件不生效 可能的查找方法

为什么要修改? 服务器通常有多块网卡,有板载集成的,同时也有插在PCIe插槽的。Linux系统的命名原来是eth0,eth1这样的形式,但是这个编号往往不一定准确对应网卡接口的物理顺序。我们也希望能跟设备外部的丝印对的上 方法: 利用udev 机制。 在 /etc/udev/rules.d/ 下增加…

指针(二)

这里写目录标题 字符指针字符指针与常量字符串的区别: 指针数组数组指针两者的区别:&数组名 ,sizeof(arr)数组指针的使用数组参数,指针参数一维数组传参整型数组:整型指针数组: 一级指针传参二级指针传…

配置REST API数据访问

大家好,才是真的好。 我希望你看过前一篇内容《Domino REST API安装和运行》。没有看过也没有关系,毕竟你可以点击上面的链接再去看一遍。 至于这一篇,趁热打铁,我们主要来讲述如何配置Domino Rest API的数据访问。 首先这里有…

电子学会C/C++编程等级考试2021年03月(四级)真题解析

C/C++等级考试(1~8级)全部真题・点这里 第1题:酒鬼 Santo刚刚与房东打赌赢得了一间在New Clondike 的大客厅。今天,他来到这个大客厅欣赏他的奖品。房东摆出了一行瓶子在酒吧上。瓶子里都装有不同体积的酒。令Santo高兴的是,瓶子中的酒都有不同的味道。房东说道:“你可以…