feat: accept camelcase for config keys (#2651)
* feat: accept camelcase for config keys * chore: refactor * chore: refactor * chore: add more tests * chore: refactor * fix: map elements of arraymaster
parent
b7052854bb
commit
dcfc9b79f1
@ -1,29 +1,27 @@
|
|||||||
package mapping
|
package mapping
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"bytes"
|
|
||||||
"encoding/json"
|
|
||||||
"io"
|
"io"
|
||||||
|
|
||||||
"github.com/pelletier/go-toml/v2"
|
"github.com/zeromicro/go-zero/internal/encoding"
|
||||||
)
|
)
|
||||||
|
|
||||||
// UnmarshalTomlBytes unmarshals TOML bytes into the given v.
|
// UnmarshalTomlBytes unmarshals TOML bytes into the given v.
|
||||||
func UnmarshalTomlBytes(content []byte, v interface{}) error {
|
func UnmarshalTomlBytes(content []byte, v interface{}, opts ...UnmarshalOption) error {
|
||||||
return UnmarshalTomlReader(bytes.NewReader(content), v)
|
b, err := encoding.TomlToJson(content)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
// UnmarshalTomlReader unmarshals TOML from the given io.Reader into the given v.
|
return UnmarshalJsonBytes(b, v, opts...)
|
||||||
func UnmarshalTomlReader(r io.Reader, v interface{}) error {
|
|
||||||
var val interface{}
|
|
||||||
if err := toml.NewDecoder(r).Decode(&val); err != nil {
|
|
||||||
return err
|
|
||||||
}
|
}
|
||||||
|
|
||||||
var buf bytes.Buffer
|
// UnmarshalTomlReader unmarshals TOML from the given io.Reader into the given v.
|
||||||
if err := json.NewEncoder(&buf).Encode(val); err != nil {
|
func UnmarshalTomlReader(r io.Reader, v interface{}, opts ...UnmarshalOption) error {
|
||||||
|
b, err := io.ReadAll(r)
|
||||||
|
if err != nil {
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
return UnmarshalJsonReader(&buf, v)
|
return UnmarshalTomlBytes(b, v, opts...)
|
||||||
}
|
}
|
||||||
|
@ -1,101 +1,27 @@
|
|||||||
package mapping
|
package mapping
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"encoding/json"
|
|
||||||
"errors"
|
|
||||||
"io"
|
"io"
|
||||||
|
|
||||||
"gopkg.in/yaml.v2"
|
"github.com/zeromicro/go-zero/internal/encoding"
|
||||||
)
|
|
||||||
|
|
||||||
// To make .json & .yaml consistent, we just use json as the tag key.
|
|
||||||
const yamlTagKey = "json"
|
|
||||||
|
|
||||||
var (
|
|
||||||
// ErrUnsupportedType is an error that indicates the config format is not supported.
|
|
||||||
ErrUnsupportedType = errors.New("only map-like configs are supported")
|
|
||||||
|
|
||||||
yamlUnmarshaler = NewUnmarshaler(yamlTagKey)
|
|
||||||
)
|
)
|
||||||
|
|
||||||
// UnmarshalYamlBytes unmarshals content into v.
|
// UnmarshalYamlBytes unmarshals content into v.
|
||||||
func UnmarshalYamlBytes(content []byte, v interface{}) error {
|
func UnmarshalYamlBytes(content []byte, v interface{}, opts ...UnmarshalOption) error {
|
||||||
return unmarshalYamlBytes(content, v, yamlUnmarshaler)
|
b, err := encoding.YamlToJson(content)
|
||||||
}
|
if err != nil {
|
||||||
|
|
||||||
// UnmarshalYamlReader unmarshals content from reader into v.
|
|
||||||
func UnmarshalYamlReader(reader io.Reader, v interface{}) error {
|
|
||||||
return unmarshalYamlReader(reader, v, yamlUnmarshaler)
|
|
||||||
}
|
|
||||||
|
|
||||||
func cleanupInterfaceMap(in map[interface{}]interface{}) map[string]interface{} {
|
|
||||||
res := make(map[string]interface{})
|
|
||||||
for k, v := range in {
|
|
||||||
res[Repr(k)] = cleanupMapValue(v)
|
|
||||||
}
|
|
||||||
return res
|
|
||||||
}
|
|
||||||
|
|
||||||
func cleanupInterfaceNumber(in interface{}) json.Number {
|
|
||||||
return json.Number(Repr(in))
|
|
||||||
}
|
|
||||||
|
|
||||||
func cleanupInterfaceSlice(in []interface{}) []interface{} {
|
|
||||||
res := make([]interface{}, len(in))
|
|
||||||
for i, v := range in {
|
|
||||||
res[i] = cleanupMapValue(v)
|
|
||||||
}
|
|
||||||
return res
|
|
||||||
}
|
|
||||||
|
|
||||||
func cleanupMapValue(v interface{}) interface{} {
|
|
||||||
switch v := v.(type) {
|
|
||||||
case []interface{}:
|
|
||||||
return cleanupInterfaceSlice(v)
|
|
||||||
case map[interface{}]interface{}:
|
|
||||||
return cleanupInterfaceMap(v)
|
|
||||||
case bool, string:
|
|
||||||
return v
|
|
||||||
case int, uint, int8, uint8, int16, uint16, int32, uint32, int64, uint64, float32, float64:
|
|
||||||
return cleanupInterfaceNumber(v)
|
|
||||||
default:
|
|
||||||
return Repr(v)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func unmarshal(unmarshaler *Unmarshaler, o, v interface{}) error {
|
|
||||||
if m, ok := o.(map[string]interface{}); ok {
|
|
||||||
return unmarshaler.Unmarshal(m, v)
|
|
||||||
}
|
|
||||||
|
|
||||||
return ErrUnsupportedType
|
|
||||||
}
|
|
||||||
|
|
||||||
func unmarshalYamlBytes(content []byte, v interface{}, unmarshaler *Unmarshaler) error {
|
|
||||||
var o interface{}
|
|
||||||
if err := yamlUnmarshal(content, &o); err != nil {
|
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
return unmarshal(unmarshaler, o, v)
|
return UnmarshalJsonBytes(b, v, opts...)
|
||||||
}
|
|
||||||
|
|
||||||
func unmarshalYamlReader(reader io.Reader, v interface{}, unmarshaler *Unmarshaler) error {
|
|
||||||
var res interface{}
|
|
||||||
if err := yaml.NewDecoder(reader).Decode(&res); err != nil {
|
|
||||||
return err
|
|
||||||
}
|
}
|
||||||
|
|
||||||
return unmarshal(unmarshaler, cleanupMapValue(res), v)
|
// UnmarshalYamlReader unmarshals content from reader into v.
|
||||||
}
|
func UnmarshalYamlReader(reader io.Reader, v interface{}, opts ...UnmarshalOption) error {
|
||||||
|
b, err := io.ReadAll(reader)
|
||||||
// yamlUnmarshal YAML to map[string]interface{} instead of map[interface{}]interface{}.
|
if err != nil {
|
||||||
func yamlUnmarshal(in []byte, out interface{}) error {
|
|
||||||
var res interface{}
|
|
||||||
if err := yaml.Unmarshal(in, &res); err != nil {
|
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
*out.(*interface{}) = cleanupMapValue(res)
|
return UnmarshalYamlBytes(b, v, opts...)
|
||||||
return nil
|
|
||||||
}
|
}
|
||||||
|
@ -0,0 +1,75 @@
|
|||||||
|
package encoding
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bytes"
|
||||||
|
"encoding/json"
|
||||||
|
|
||||||
|
"github.com/pelletier/go-toml/v2"
|
||||||
|
"github.com/zeromicro/go-zero/core/lang"
|
||||||
|
"gopkg.in/yaml.v2"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TomlToJson(data []byte) ([]byte, error) {
|
||||||
|
var val interface{}
|
||||||
|
if err := toml.NewDecoder(bytes.NewReader(data)).Decode(&val); err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
var buf bytes.Buffer
|
||||||
|
if err := json.NewEncoder(&buf).Encode(val); err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
return buf.Bytes(), nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func YamlToJson(data []byte) ([]byte, error) {
|
||||||
|
var val interface{}
|
||||||
|
if err := yaml.Unmarshal(data, &val); err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
val = toStringKeyMap(val)
|
||||||
|
|
||||||
|
var buf bytes.Buffer
|
||||||
|
if err := json.NewEncoder(&buf).Encode(val); err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
return buf.Bytes(), nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func convertKeyToString(in map[interface{}]interface{}) map[string]interface{} {
|
||||||
|
res := make(map[string]interface{})
|
||||||
|
for k, v := range in {
|
||||||
|
res[lang.Repr(k)] = toStringKeyMap(v)
|
||||||
|
}
|
||||||
|
return res
|
||||||
|
}
|
||||||
|
|
||||||
|
func convertNumberToJsonNumber(in interface{}) json.Number {
|
||||||
|
return json.Number(lang.Repr(in))
|
||||||
|
}
|
||||||
|
|
||||||
|
func convertSlice(in []interface{}) []interface{} {
|
||||||
|
res := make([]interface{}, len(in))
|
||||||
|
for i, v := range in {
|
||||||
|
res[i] = toStringKeyMap(v)
|
||||||
|
}
|
||||||
|
return res
|
||||||
|
}
|
||||||
|
|
||||||
|
func toStringKeyMap(v interface{}) interface{} {
|
||||||
|
switch v := v.(type) {
|
||||||
|
case []interface{}:
|
||||||
|
return convertSlice(v)
|
||||||
|
case map[interface{}]interface{}:
|
||||||
|
return convertKeyToString(v)
|
||||||
|
case bool, string:
|
||||||
|
return v
|
||||||
|
case int, uint, int8, uint8, int16, uint16, int32, uint32, int64, uint64, float32, float64:
|
||||||
|
return convertNumberToJsonNumber(v)
|
||||||
|
default:
|
||||||
|
return lang.Repr(v)
|
||||||
|
}
|
||||||
|
}
|
@ -0,0 +1,118 @@
|
|||||||
|
package encoding
|
||||||
|
|
||||||
|
import (
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"github.com/stretchr/testify/assert"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestTomlToJson(t *testing.T) {
|
||||||
|
tests := []struct {
|
||||||
|
input string
|
||||||
|
expect string
|
||||||
|
}{
|
||||||
|
{
|
||||||
|
input: "a = \"foo\"\nb = 1\nc = \"${FOO}\"\nd = \"abcd!@#$112\"",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
input: "a = \"foo\"\nb = 1\nc = \"${FOO}\"\nd = \"abcd!@#$112\"",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
input: "a = \"foo\"\nb = 1\nc = \"${FOO}\"\nd = \"abcd!@#$112\"",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
input: "a = \"foo\"\nb = 1\nc = \"${FOO}\"\nd = \"abcd!@#$112\"",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
input: "a = \"foo\"\nb = 1\nc = \"${FOO}\"\nd = \"abcd!@#$112\"",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
input: "a = \"foo\"\nb = 1\nc = \"${FOO}\"\nd = \"abcd!@#$112\"\n",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
input: "a = \"foo\"\nb = 1\nc = \"${FOO}\"\nd = \"abcd!@#$112\"\n",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, test := range tests {
|
||||||
|
test := test
|
||||||
|
t.Run(test.input, func(t *testing.T) {
|
||||||
|
t.Parallel()
|
||||||
|
got, err := TomlToJson([]byte(test.input))
|
||||||
|
assert.NoError(t, err)
|
||||||
|
assert.Equal(t, test.expect, string(got))
|
||||||
|
})
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestTomlToJsonError(t *testing.T) {
|
||||||
|
_, err := TomlToJson([]byte("foo"))
|
||||||
|
assert.Error(t, err)
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestYamlToJson(t *testing.T) {
|
||||||
|
tests := []struct {
|
||||||
|
input string
|
||||||
|
expect string
|
||||||
|
}{
|
||||||
|
{
|
||||||
|
input: "a: foo\nb: 1\nc: ${FOO}\nd: abcd!@#$112",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
input: "a: foo\nb: 1\nc: ${FOO}\nd: abcd!@#$112",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
input: "a: foo\nb: 1\nc: ${FOO}\nd: abcd!@#$112",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
input: "a: foo\nb: 1\nc: ${FOO}\nd: abcd!@#$112",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
input: "a: foo\nb: 1\nc: ${FOO}\nd: abcd!@#$112",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
input: "a: foo\nb: 1\nc: ${FOO}\nd: abcd!@#$112\n",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
input: "a: foo\nb: 1\nc: ${FOO}\nd: abcd!@#$112\n",
|
||||||
|
expect: "{\"a\":\"foo\",\"b\":1,\"c\":\"${FOO}\",\"d\":\"abcd!@#$112\"}\n",
|
||||||
|
},
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, test := range tests {
|
||||||
|
test := test
|
||||||
|
t.Run(test.input, func(t *testing.T) {
|
||||||
|
t.Parallel()
|
||||||
|
got, err := YamlToJson([]byte(test.input))
|
||||||
|
assert.NoError(t, err)
|
||||||
|
assert.Equal(t, test.expect, string(got))
|
||||||
|
})
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestYamlToJsonError(t *testing.T) {
|
||||||
|
_, err := YamlToJson([]byte("':foo"))
|
||||||
|
assert.Error(t, err)
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestYamlToJsonSlice(t *testing.T) {
|
||||||
|
b, err := YamlToJson([]byte(`foo:
|
||||||
|
- bar
|
||||||
|
- baz`))
|
||||||
|
assert.NoError(t, err)
|
||||||
|
assert.Equal(t, `{"foo":["bar","baz"]}
|
||||||
|
`, string(b))
|
||||||
|
}
|
Loading…
Reference in New Issue