win10下使用hive时遇到的错误集锦_coder_szc的博客-CSDN博客
win10下使用hive时遇到的错误集锦
coder_szc
于 2019-06-14 20:13:13 发布
5366
收藏
分类专栏：
大数据组件
数据库
文章标签：
hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37475168/article/details/92001830
版权
大数据组件
同时被 2 个专栏收录
58 篇文章
5 订阅
订阅专栏
数据库
16 篇文章
0 订阅
订阅专栏
背景
老子不知道hive在win10下怎么就这么多错.....不想用虚拟机，想换成mac，但是mac上没有实况19...真的是，我去年买了个表。
hive建表报错Column length too big for column 'PARAM_VALUE' (max = 21845); use BLOB or TEXT instead
   解决方法：用navicat创建hive数据库，设置编码为latin1
不能和spark远程共享一张表
解决方法：1、把两者的hive-site.xml中hive.metastore.local的值改为false，hive.metastore.schema.verification值改为false
                  2、在spark的xml中加上一个配置
　<property>
　 <name>hive.metastore.uris</name>
　　　<value>thrift://localhost:9083</value>
　　　<description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
　</property>
ConnectionException:Call from ... to localhost:9000 failed on connection exception:Connection refused no further information
解决方法：先启动hadoop
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException):user is not allowed to impersonate hive
解决方法：hadoophome\etc\hadoop\core-site.xml文件里，添加如下内容：
<property>
<name>hadoop.proxyuser.123.groups</name>
<value>*</value>
<description>Allow the superuser oozie to impersonate any members of the group group1 and group2</description>
</property>
<property>
<name>hadoop.proxyuser.123.hosts</name>
<value>*</value>
<description>The superuser can connect only from host1 and host2 to impersonate a user</description>
</property>
把123换成自己的用户名 ，然后重启hadoop和hiveserver
插入数据时org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: SemanticException [Error 10293]: Unable to create temp file for insert values Expression of type TOK_TABLE_OR_COL not supported in insert/values
 解决方法：
客户端插入时不要用
insert into table_name(id, name) values(1， "szc")
要用
insert into table_name select 1 id, "szc" name
修改删除数据时报错org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: SemanticException [Error 10294]: Attempt to do update or delete using transaction manager that does not support these operations.
解决方法：在hiveHome\conf\hive-site.xml中，增加如下配置：
<property>
<name>hive.support.concurrency</name>
<value>true</value>
</property>
<property>
<name>hive.enforce.bucketing</name>
<value>true</value>
</property>
<property>
<name>hive.exec.dynamic.partition.mode</name>
<value>nonstrict</value>
</property>
<property>
<name>hive.txn.manager</name>
<value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>
<property>
<name>hive.compactor.initiator.on</name>
<value>true</value>
</property>
<property>
<name>hive.compactor.worker.threads</name>
<value>1</value>
</property>
修改删除数据时报错oorg.apache.hadoop.hive.ql.parse.SemanticException: Attempt to do update or delete on table default.student that does not use an AcidOutputFormat or is not bucketed
 采用这种方法建表：
create table teammates(id int ,name string， position string )clustered by (id) into 2 buckets stored as orc TBLPROPERTIES('transactional'='true');
Database access problem.Killing off this connection and all remaining connections in the connection pool SQL state = HY000
unable to transaction database Incorrect String value '\xE8\x80\x81\xE5\xAE\x8B...' from HL_HOST at row 1
解决方法： 把电脑名改成全英文，而后重启
Table 'sparktest.aux_table' doesn`t exist
解决方法：把sql脚本文件hiveHome\scripts\metastore\upgrade\mysql\hive-txn-schema-2.3.0.mysql.sql拖入Navicat中对应数据库里执行
schematool.cmd -dbType mysql -initSchema命令语法不正确。
解决方法同上，把sql文件拖入Navicat中执行
NestedThrowablesStackTrace:
java.lang.ClassCastException: org.datanucleus.identity.DatastoreIdImpl cannot be cast to org.datanucleus.identity.OID
at org.datanucleus.identity.OIDFactory.getInstance
解决方法：把sparkHome\jars\下的datanucleus-**.jar换成和hiveHome\lib\下对应的jar包
(datanucleus-api-jdo-3.2.6.jar、datanucleus-core-3.2.10.jar和datanucleus-rdbms-3.2.9.jar三个)
Exception in thread "org.apache.hadoop.util.JvmPauseMonitor$Monitor@1bd0e69"
Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "org.apache.hadoop.util.JvmPauseMonitor$Monitor@1bd0e69"
在文件hadoopHome\etc\hadoop\hadoop-env.cmd中，增大HADOOP_CLIENT_OPTS的值
set HADOOP_CLIENT_OPTS=4096
Failed:Error in acquiring locks:error communicating with the metastore
解决方法：查看hive日志，日志路径是hiveHome\conf\hive-log4j2.properties文件的property.hive.log.dir值，可用System.properties()获取java.io.tmpdir和user.name的值，组成路径切过去就是hive日志所在的目录
win10是C:\Users\用户名\AppData\Local\Temp\123,文件名为hive.log
打开后发现最近的异常如下
2019-06-11 11:58:36,756 ERROR [main]: ql.Driver (SessionState.java:printError(960)) - FAILED: Error in acquiring locks: Error communicating with the metastore
org.apache.hadoop.hive.ql.lockmgr.LockException: Error communicating with the metastore
....
Caused by: MetaException(message:Unable to update transaction database java.sql.SQLException: Field 'TC_OPERATION_TYPE' doesn't have a default value
.....
说明communicating with metastore这个异常由tc_operation_type没有默认值引起，我们在mysql里找到简拼为tc的表txn_components(数据库是hiveHome\conf\hive-site.xml里javax.jdo.option.ConnectionURL指定的数据库)，用navicat打开数据库，右击txn_components表，点击设计表，在tc_operation_type一行的允许空值列打上勾，保存，重启hive即可
beeline连接hiveserver2报错：
org.apache.thrift.protocol.TProtocolException: Missing version in readMessageBegin, old client?
解决方法：1、打开hiveHome\conf\hive-site.xml，加入如下配置
<property>
<name>hive.server2.transport.mode</name>
<value>http</value>
</property>
<property>
<name>hive.server2.thrift.http.port</name>
<value>10001</value>
</property>
<property>
<name>hive.server2.thrift.http.path</name>
<value>cliservice</value>
</property>
2、启动metastore
hive --service metastore &
 3、启动hiveserver2
hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10001
 4、beeline连接hiveserver2
!connect jdbc:hive2://localhost:10001/hive;transportMode=http;httpPath=cliservice
以后我们用任何方式连接hive，都要用这个新url(jdbc:hive2://localhost:10001/hive;transportMode=http;httpPath=cliservice)了
metasore报错：com.mysql.cj.core.exceptions.InvalidConnectionAttributeException: The server time zone value '�й���׼ʱ��' is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the serverTimezone configuration property) to use a more specifc time zone value if you want to utilize time zone support.
解决方法：在mysql命令行下，改变时区设置
set global time_zone='+8:00';
然后重启metastore
结语
如果里面没有自己遇到的错误，可以看看我其他的关于win10下hive、hadoop报错的文章。
光环境就搭了半个月，我觉得大数据可比安卓水深多了...
coder_szc
关注
关注
点赞
收藏
打赏
评论
win10下使用hive时遇到的错误集锦
背景老子不知道hive在win10下怎么就这么多错.....不想用虚拟机，想换成mac，但是mac上没有实况19...真的是，我去年买了个表。hive建表报错Column length too big for column 'PARAM_VALUE' (max = 21845); use BLOB or TEXT instead 解决方法：用navicat创建hive数据库，...
复制链接
扫一扫
专栏目录
Hive查询问题（卡住）
小菜
07-27
2578
一、现象
几乎全部SQL语句都不能查，卡死在那里，过很久之后可能会报
FAILED: Error in acquiring locks: Error communicating with the metastore
但是查看后台hive的日志，没有任何异常
SQL语句比如：
select 1；
show tables；
二、定位原因
1、重启hiveserver2，MetaStore等服务都没有效果
2、考虑是hive元数据的问题
查看hive元数据表的使用情况
show OPEN
Hive常见问题汇总
热门推荐
邹中凡
04-02
5万+
这里小编汇集，使用Hive时遇到的常见问题。
1，执行#hive命令进入Hive CLI时报如下错误：Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHi
评论 1
您还未登录，请先
登录
后发表或查看评论
Apache Atlas删除元数据实体
最新发布
沧浪之水的博客
11-17
265
Apache Atlas如何删除元数据实体
hive常见错误及解决方案
qqyang_的博客
07-15
2135
1）SecureCRT 7.3出现乱码或者删除不掉数据，免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT
2）连接不上mysql数据库
（1）导错驱动包，应该把mysql-connector-java-5.1.27-bin.jar导入/opt/module/hive/lib的不是这个包。错把mysql-connector-java-5.1.27.tar.gz导入hive/lib包下。
（2）修改user表中的主机名称没有都修改为%，而是修改为localhost
win10用jdbc连接hive遇到的问题
四国棋客
06-05
867
目录
背景
error starting hiveServer2
java.lang.NoSuchMethodError: org.eclipse.jetty.server.Server.setThreadPool(Lorg/eclipse/jetty/util/thread/ThreadPool;)V
ConnectionException:Call from ... to localh...
【已解决】Hive常见错误解决方案
雷恩Layne
05-09
5627
在学习和工作过程中，遇到的一些Hive常见错误，在此记录下来。
文章目录错误1：guava包冲突错误错误2：Hive启动报错错误3：执行Hive命令报错错误4：使用beeline启动报错错误5：Hive配置tez报错
错误1：guava包冲突错误
Hive3启动报错，Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditio
[wxler@wxler1 hive]$ bin/schem
org.apache.thrift.protocol.TProtocolException: Missing version in readMessageBegin, old client?
DraGon_HooRay的博客
07-02
2048
使用beeline连接到hiveserver2报错
报错内容为：
2020-07-02 14:39:18,655 ERROR org.apache.thrift.server.TThreadPoolServer: [HiveServer2-Handler-Pool: Thread-64]: Thrift error occurred during processing of message.
org.apache.thrift.protocol.TProtocolException: Missing ver
org.apache.hive.service.cli.HiveSQLException: Error while processing statement:
徐磊的博客
03-12
8071
详细错误
Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask
简单解决方法
hive重启
...
HiveSQLException: Error while compiling statement: No privilege 'Create' found for outputs{database}
努力的凹凸曼的博客
05-24
1万+
今天用Hive的JDBC实例时出现了HiveSQLException: Error while compiling statement: No privilege ‘Create’ found for outputs { database:default }的错误，日志如下。
**org.apache.hive.service.cli.HiveSQLException: Error whil...
Database access problem. Killing off this connection and all remaining connections in the connection
long13631的博客
06-07
5348
<property name="connectionTimeoutInMs" value="10000"/>
<property name="maxConnectionAgeInSeconds" value="600"/>
连接池最大连接时间要小于数据库中最大连接保持时间（wait_timeout连接等待时间）。否则数据库超时时，会断开连接，BoneCP连接池依然会把已...
hive update和delete报错Attempt to do update or delete using transaction manager
victorzzzz的专栏
08-17
1万+
转载自@levy_cui
默认在hive中没有默认开启支持单条插入（update）、更新以及删除（delete）操作，需要自己配置。而在默认情况下，当用户如果使用update和delete操作时，会出现如下情况：
hive>update dp set name='beijing' where id=1159;
FAILED:SemanticException [Error1029...
Hive常见错误总结
weixin_41589448的博客
10-31
3096
1.temp表中时间字段不为null，写入正式表后却出现了null值。原因如下： 因为同步的时候对time字段使用了to_date('2021-10')函数后导致的。
2.hive sql中子查询需要定义别名，否则报错。
3.hive执行报错Cannot allocate memory（集群有别人在跑大任务导致资源不够用，需要更换服务器执行）
4. Cannot insert into target table because column number/types are different 'dt':
hive-hue:无法删除表数据报错，Error while compiling statement: FAILED: SemanticException [Error 10294]:
毛毛的博客
07-05
2965
Error while compiling statement: FAILED: SemanticException [Error 10294]:
Attempt to do update or delete using
transaction manager that does not support these operations.
解决方法一：
创建hive表是添加：
'transactional'='true'
例如：创建hive表指向hbase
CREATE EXTERNAL T..
hive使用中常见错误
奋斗的小鸟专栏
09-06
3万+
1.1. hive错误
1.1.1. hive2.3初始化mysql不起作用
[root@localhost65bin]# schematool -initSchema -dbType mysql--verbose
Metastore connectionURL: jdbc:derby:;databaseName=metastore_db;create=true
Metastor
hive安装及使用过程中的bug
WangYouJin321的博客
12-15
1966
hive bug1:
Exception in thread "org.apache.hadoop.hive.common.JvmPauseMonitor$Monitor@34a2d6e0" java.lang.OutOfMemoryError: GC overhead limit exceeded
at java.util.ArrayList.<init>(ArrayList.java:153)
at sun.management.ManagementFacto...
Hadoop2.9.2+hive2.3.4 windows下安装及报错解决
a1041646584的博客
03-11
2458
参考文章
https://blog.csdn.net/csdn_fzs/article/details/78985586
http://www.cnblogs.com/yifengjianbai/p/8260064.html
准备文件
apache-hive-2.3.4-bin.tar.gz
hadoop-2.9.2.tar.gz
自行官网下载
其他人共享的hadoop和hive在w...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：书香水墨
设计师：CSDN官方博客
返回首页
coder_szc
CSDN认证博客专家
CSDN认证企业博客
码龄6年
暂无认证
254
原创
1万+
周排名
3242
总排名
35万+
访问
等级
5416
积分
686
粉丝
192
获赞
215
评论
802
收藏
私信
关注
分类专栏
Gradle
4篇
安卓开发
84篇
大数据组件
58篇
JVM
18篇
Linux
20篇
CPU-GPU
18篇
ElasticSearch
11篇
图算法
3篇
版本管理
9篇
数据库
16篇
docker
9篇
go
2篇
代码重构
1篇
TensorFlow
2篇
python
8篇
杂记
6篇
求职
1篇
考研
3篇
最新评论
数据集成框架SeaTunnel学习笔记
coder_szc:
找不到flink的方法，十之八九是Flink和SeaTunnel之间的版本问题
数据集成框架SeaTunnel学习笔记
shens16:
java.lang.NoSuchMethodError:'org.apache.flink.table.api.EnvironmentSettings$Builder org.apache.flink.table.api.EnvironmentSettings$Builder.useOldPlanner()'
这是咋回事啊大哥
在idea中修改git的提交信息
Y丶OU:
看不到本地修改的话重启一下idea之后就可以在version Control下的 Local Changes 里看见本地修改了，然后右键commit提交就好了
记CentOS7下升级gcc到9.3.0
coder_szc:
哦吼，没有cc1plus这个可执行文件，解决方法参考：
通过命令
[code=plain]
locate cc1plus
[/code]
看看有没有这个东西，有的话把cc1plus的路径设置到PATH环境变量里，否则网上搜索cc1lplus的安装方法，然后尝试进行安装
记CentOS7下升级gcc到9.3.0
牧牛童子:
xgcc: 致命错误：cannot execute ‘cc1plus’: execvp: 没有那个文件或目录
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
Gradle学习笔记之任务
Gradle学习笔记之项目生命周期及settings文件
Gradle学习笔记之Groovy简单使用
2022
12月
3篇
11月
4篇
10月
3篇
09月
3篇
08月
4篇
07月
5篇
06月
4篇
05月
3篇
04月
4篇
03月
4篇
02月
4篇
01月
5篇
2021年39篇
2020年55篇
2019年47篇
2018年67篇
目录
目录
分类专栏
Gradle
4篇
安卓开发
84篇
大数据组件
58篇
JVM
18篇
Linux
20篇
CPU-GPU
18篇
ElasticSearch
11篇
图算法
3篇
版本管理
9篇
数据库
16篇
docker
9篇
go
2篇
代码重构
1篇
TensorFlow
2篇
python
8篇
杂记
6篇
求职
1篇
考研
3篇
目录
评论 1
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
coder_szc
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值