主页 > 知识库 > linux系统下批量转换UTF8到GB2312并处理UTF8的BOM标记

linux系统下批量转换UTF8到GB2312并处理UTF8的BOM标记

热门标签:家政服务网络 美团 电话机器人搭建 解决方案 硅谷的囚徒呼叫中心 外呼系统 服务器配置 百度竞价点击价格的计算公式

  背景

  本人在使用oracle的sqlplus批量导入UTF8编码的sql脚本时,由于不了解如何设置让sqlplus识别UTF8格式,导致出现乱码、错行等错误,而使工作无法继续,在google无果的情况下只好想办法转换编码。

  由于文件较多,手动转换太麻烦,于是想到用脚本批量转换,幸好网上相关脚本比较多,实现起来唯一的麻烦是UTF8的BOM标记。

  内容:


复制代码
代码如下:
  #!/bin/bash
  for loop in `find . -type f -name "*.sql" -print`do
  echo $loop
  mv -f $loop $loop.tmp
  dos2unix $loop.tmp
  file_check_utf8='file_check_utf8.log'
  sed -n '1l' $loop.tmp >$file_check_utf810. if grep '^\\357\\273\\277' $file_check_utf8 >/dev/null 2>111. then
echo 'UTF-8 BOM'
sed -n -e '1s/^...//' -e 'w intermediate.txt' $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt
rm -rf $loop.tmp
  elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>118. then
echo 'UTF-8'
   iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp
   else
echo 'ANSI'
mv -f $loop.tmp $loop
  fi
  rm -rf $file_check_utf8
   #模拟unix2dos,要求文本文件最后一行必须有换行符28. sed -n -e 's/$/\r/g' -e 'w '$loop.tmp $loop29. mv -f $loop.tmp $loop
  done
  
  #!/bin/bash
  for loop in `find . -type f -name "*.sql" -print`do
  echo $loop
  mv -f $loop $loop.tmp
  dos2unix $loop.tmp
  file_check_utf8='file_check_utf8.log'
  sed -n '1l' $loop.tmp >$file_check_utf810. if grep '^\\357\\273\\277' $file_check_utf8 >/dev/null 2>111. then
echo 'UTF-8 BOM'
sed -n -e '1s/^...//' -e 'w intermediate.txt' $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt
rm -rf $loop.tmp
  elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>118. then
echo 'UTF-8'
   iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp
   else
echo 'ANSI'
mv -f $loop.tmp $loop
  fi
  rm -rf $file_check_utf8
   #模拟unix2dos,要求文本文件最后一行必须有换行符28. sed -n -e 's/$/\r/g' -e 'w '$loop.tmp $loop29. mv -f $loop.tmp $loop
  done

  解释

  1.处理UTF8的BOM,本人没有找到好的办法,最后用sed+grep判断了一下,如果前三个字节是\\357\\273\\277,则文件必定是UTF8,用sed去掉这三个字节再转换

  2.为了避免重复或者遗漏,脚本中用iconv对没有BOM的文件尝试转换了一把,转换成功说明文件是UTF8,否则说明是ANSI也就是GB2312

  3.关于最后的sed命令,那是因为本人的系统上没有unix2dos命令,所以进行了模拟,目的是为了方便自己在windows下查看和编辑

  以上就是linux 批量转换UTF8到GB2312并处理UTF8的BOM标记 的方法,谢谢阅读,希望能帮到大家,请继续关注脚本之家,我们会努力分享更多优秀的文章。

标签:乌兰察布 邢台 北海 南昌 抚州 防城港 韶关 临沂

巨人网络通讯声明:本文标题《linux系统下批量转换UTF8到GB2312并处理UTF8的BOM标记》,本文关键词  ;如发现本文内容存在版权问题,烦请提供相关信息告之我们,我们将及时沟通与处理。本站内容系统采集于网络,涉及言论、版权与本站无关。
  • 相关文章
  • 收缩
    • 微信客服
    • 微信二维码
    • 电话咨询

    • 400-1100-266