Python读写Json涉及到中文的处理方法

发表于 5年以前 | 总阅读数：1164 次

今天在帮前端准备数据的时候，需要把数据格式转成json格式，说实话，涉及到中文有时候真的是很蛋疼，除非对Python的编码规则比较了解，不然处理起来真的很蛋疼。

整个逻辑

我们需要处理的是把一些文章处理，生成多个html文件，然后用json来显示文章的列表，图片，摘要和标题。

思路

为了以后的数据扩展，那必须有一个数据库，我的想法就是自己写一个简单的网页做为提交输入，然后post到后台以后录入到数据库中，再写一个展示文章的页面，展示效果正确后，写一个requests动态的把所有的数据都爬下来生成一个一个的html文档。最后的json数据我只要从数据库把数据抽出来生成就行了。

前端

其实前端的东西很简单，最近一直在写网页，所以前端的东西分分钟就搞定了。代码如下：


    urls.py

    from django.conf.urls import url, include
    from . import views


    urlpatterns = {
      url(r'^$', views.index, name='index'),
      url(r'add_article/', views.add_article, name='add_article'),
      url(r'^article/(?P<main_id>\S+)/$', views.article, name='article'),
    }
    views.py

    # coding=utf-8
    from django.shortcuts import render
    from .models import Tzxy

    # Create your views here.


    def index(request):
      return render(request, 'index.html')


    def add_article(request):
      error = 'error'
      if request.method == 'POST':
        # 获取前段request的内容
        main_id = request.POST['main_id']
        img_url = request.POST['img_url']
        title = request.POST['title']
        content = request.POST['content']
        abstract = content[:50]
        print main_id
        indb = Tzxy(
              main_id=main_id,
              img_url=img_url,
              title=title,
              content=content,
              abstract=abstract
              )
        indb.save()
        error = 'success'
        return render(request, 'index.html', {'error': error})
      return render(request, 'index.html')


    def article(request, main_id):
      article_detial = Tzxy.objects.get(main_id=main_id)
      return render(request, 'views.html', {'content': article_detial})

    models.py

    from __future__ import unicode_literals
    from django.db import models
    from django.contrib import admin


    class Tzxy(models.Model):
      main_id = models.CharField(max_length=10)
      img_url = models.CharField(max_length=50, null=True)
      title = models.CharField(max_length=50)
      content = models.TextField()
      abstract = models.CharField(max_length=200)

    admin.site.register(Tzxy)

模板我就随便写了一个简单的表单

index.html


    <!DOCTYPE html>
    <html lang="en">
    <head>
      <meta charset="UTF-8">
      <title>Title</title>
      <link href="http://libs.baidu.com/bootstrap/3.0.3/css/bootstrap.min.css" rel="stylesheet">
      <script src="http://libs.baidu.com/jquery/2.0.0/jquery.min.js"></script>
      <script src="http://libs.baidu.com/bootstrap/3.0.3/js/bootstrap.min.js"></script>
    </head>
    <body>
    <form method="post" action="/tzxy/add_article/">
    {% csrf_token %}
    main_id: <input type="text" name="main_id"><br>
    img_url: <input type="text" name="img_url"><br>
    title: <input type="text" name="title"><br>
    {% if error == 'success' %}
      <div class="alert alert-success">{{ error }}</div>
    {% endif %}
    <textarea name="content" rows="25" style="width: 600px;"></textarea><br>
      <input type="submit" name="Submit">
    </form>
    </body>
    </html>

展示的页面


    {% load custom_markdown %}
    <!DOCTYPE html>
    <html lang="zh-cn">
    <head>
      <meta charset="UTF-8">
      <meta name="viewport" content="initial-scale=1.0,maximum-scale=1.0,minimum-scale=1.0,user-scalable=no" />
      <meta name="apple-touch-fullscreen" content="yes" />
      <meta name="apple-mobile-web-app-capable" content="yes" />
      <meta name="format-detection" content="telephone=no">
      <meta http-equiv="Cache-Control" content="no-store" />
      <meta http-equiv="Pragma" content="no-cache" />
      <meta http-equiv="Expires" content="0" />
      <title>{{ content.title }}</title>
      <link rel="stylesheet" href="../../css/cssreset.min.css">
      <link rel="stylesheet" href="../../css/fx_tzxy_content.min.css">
    </head>
    <body>

      <div class="page">
        <h1>{{ content.title }}</h1>
        <div class="content">
          {{ content.content | custom_markdown | linebreaksbr }}
        </div>
      </div>

    </body>
    </html>

当然，我里面使用了markdown来处理了一些数据。有关markdown的集成，可以移步《Django开发博客（六）――添加markdown支持》
爬数据的小脚本如下，需要使用到requests模块


    # coding=utf-8
    import sys
    import requests
    reload(sys)
    sys.setdefaultencoding('utf8')


    def tohtml(file_name, startpos, endpos):
      """
      请求网页数据后把网页源码存储为html格式,启动脚本时要先启动Django的Server
      :param file_name:生成文件名的前缀,最后一位用传入的数字来代替
      :param startpos:开始的数字
      :param endpos:结束的数字
      :return:None
      """

      for x in range(startpos, endpos):
        r = requests.get('http://127.0.0.1:8000/tzxy/article/' + file_name + str(x))
        with open('/Users/SvenWeng/Desktop/test/' + file_name + str(x) + '.html', 'w') as f:
          f.write(r.text)
      print 'success'


    if __name__ == '__main__':
      tzhtl_name = 'tzxy_tzhtl_h_'
      djjyy_name = 'tzxy_djjyy_h_'
      tohtml(djjyy_name, 1, 39)

里面的一些命名自己可以根据需要去修改。

生成json

说实话，json的使用方式很简单，Python对json的支持也很好，不过涉及到中文就有点蛋疼了，我的代码是这样的：


    # coding=utf-8
    import sqlite3
    import json
    import sys
    reload(sys)
    sys.setdefaultencoding('utf8')

    list_json = []

    conn = sqlite3.connect('db.sqlite3')
    c = conn.cursor()
    sql = 'select * from Tzxy_tzxy'
    c.execute(sql)
    all_thing = c.fetchall()

    for x in all_thing:
      dic_member = {'id': x[1].split('_')[3],
             'img': x[2],
             'title': x[3],
             'abstract': ''}
      list_json.append(dic_member)
    conn.close()

    final_json = json.dumps(list_json, sort_keys=True, indent=4)
    with open('test.json', 'w') as f:
      f.write(final_json)

代码逻辑是：定义一个空列表，用来装生成的字典信息，然后从sqlite里面把之前存的数据全部抓出来。把数据循环生成自己想要的格式的字典，一个一个的插到列表中。再用Python提供的json.dumps方法把数据转成json格式，再写入文件就行了。
逻辑看上去是没什么问题，实现起来也很完美，但是最后我打开json文件检查的时候发现所有的中文都变成Unicode了。这简直是坑爹啊。

大致查了一下，好像网络上对这块说的内容并不详细，举得例子也都是非常非常简单的那种，直接给中文的，并不是我想要的，最后只能硬着头皮去看官方的说明，最后找到了这么一个东西ensure_ascii=False，在Python转Json的时候带上这个方法，也就是


    final_json = json.dumps(list_json, sort_keys=True, indent=4, ensure_ascii=False)

这样处理之后，写入文件就是正常的中文了。

以上这篇Python读写Json涉及到中文的处理方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

扫码在手机上访问

为您提供高质量的文档

Android插件化方案 5年以前 | 237229次阅读

前端录屏 + 定位源码，帮你快速定位线上 bug 1年以前 | 27776次阅读

飞书里面给链接生成一个预览是怎么做到的？ 3年以前 | 10012次阅读

vscode超好用的代码书签插件Bookmarks 2年以前 | 8063次阅读

raw.githubusercontent.com被污染的解决办法 4年以前 | 7879次阅读

Python读写Json涉及到中文的处理方法

刘强东夫妇：“移民美国”传言被驳斥

博主曝三大运营商，将集体采购百万台华为Mate60系列

ASML CEO警告：出口管制不是可行做法，不要“逼迫中国大陆创新”

抖音中长视频App青桃更名抖音精选，字节再发力对抗B站

威马CDO：中国每百户家庭仅17户有车

研究发现维生素 C 等抗氧化剂会刺激癌症生长和转移

苹果据称正引入3D打印技术，用以生产智能手表的钢质底盘

千万级抖音网红秀才账号被封禁

亚马逊股东起诉公司和贝索斯，称其在购买卫星发射服务时忽视了 SpaceX

苹果上线AppsbyApple网站，以推广自家应用程序

特斯拉美国降价引发投资者不满：“这是短期麻醉剂”

光刻机巨头阿斯麦：拿到许可，继续对华出口

马斯克与库克首次隔空合作：为苹果提供卫星服务

𝕏（推特）调整隐私政策，可拿用户发布的信息训练 AI 模型

荣耀CEO谈华为手机回归：替老同事们高兴，对行业也是好事

AI操控无人机能力超越人类冠军

AI生成的蘑菇科普书存在可致命错误

社交媒体平台𝕏计划收集用户生物识别数据与工作教育经历

国产扫地机器人热销欧洲，国产割草机器人抢占欧洲草坪

罗永浩吐槽iPhone15和14不会有区别，除了序列号变了

Python读写Json涉及到中文的处理方法

登录后可以享受更多权益