개발/Python

[파이썬] 바이트 문자열을 정수로 변환하는 방법은 무엇입니까?

MinorMan 2021. 4. 17. 12:52
반응형

<질문>

파이썬에서 바이트 문자열을 정수로 어떻게 변환 할 수 있습니까?

이렇게 말하세요 :'y\xcc\xa6\xbb'

나는 그것을하는 영리하고 어리석은 방법을 생각해 냈습니다.

sum(ord(c) << (i * 8) for i, c in enumerate('y\xcc\xa6\xbb'[::-1]))

나는 이것을 더 간단하게 수행하는 내장 또는 표준 라이브러리에 무언가가 있어야한다는 것을 알고 있습니다 ...

이것은converting a string of hex digitsint (xxx, 16)를 사용할 수 있지만 대신 실제 바이트 값의 문자열을 변환하고 싶습니다.

최신 정보:

나는 다른 모듈을 가져올 필요가 없기 때문에 James의 대답을 조금 더 좋아하지만 Greg의 방법이 더 빠릅니다.

>>> from timeit import Timer
>>> Timer('struct.unpack(">> Timer("int('y\xcc\xa6\xbb'.encode('hex'), 16)").timeit()
1.1432669162750244

내 해키 방법 :

>>> Timer("sum(ord(c) << (i * 8) for i, c in enumerate('y\xcc\xa6\xbb'[::-1]))").timeit()
2.8819329738616943

추가 업데이트 :

누군가 다른 모듈을 가져올 때 문제가 무엇인지 의견에 물었습니다. 글쎄, 모듈을 가져 오는 것이 반드시 저렴하지는 않습니다.

>>> Timer("""import struct\nstruct.unpack(">L", "y\xcc\xa6\xbb")[0]""").timeit()
0.98822188377380371

모듈 가져 오기 비용을 포함하면이 방법이 갖는 거의 모든 이점이 무효화됩니다. 여기에는 전체 벤치 마크 실행에 대해 한 번만 가져 오는 비용이 포함됩니다. 매번 강제로 다시로드하면 어떻게되는지보세요.

>>> Timer("""reload(struct)\nstruct.unpack(">L", "y\xcc\xa6\xbb")[0]""", 'import struct').timeit()
68.474128007888794

말할 필요도없이 한 번의 가져 오기에 대해이 메서드를 많이 실행하는 경우 이보다 비례 적으로 문제가 덜 발생합니다. 또한 CPU가 아닌 I / O 비용 일 수 있으므로 특정 시스템의 용량 및 부하 특성에 따라 달라질 수 있습니다.


<답변1>

당신은 또한 사용할 수 있습니다struct이를 수행하는 모듈 :

>>> struct.unpack("

<답변2>

Python 3.2 이상에서는

>>> int.from_bytes(b'y\xcc\xa6\xbb', byteorder='big')
2043455163

또는

>>> int.from_bytes(b'y\xcc\xa6\xbb', byteorder='little')
3148270713

에 따르면endianness바이트 문자열의.

이것은 또한 임의 길이의 바이트 문자열 정수와 다음을 지정하여 2의 보수 부호있는 정수에 대해서도 작동합니다.signed=True. 참조docs for from_bytes.


<답변3>

Greg가 말했듯이 이진 값을 처리하는 경우 struct를 사용할 수 있지만 "16 진수"만 있지만 바이트 형식 인 경우 다음과 같이 변환 할 수 있습니다.

s = 'y\xcc\xa6\xbb'
num = int(s.encode('hex'), 16)

... 이것은 다음과 같습니다.

num = struct.unpack(">L", s)[0]

... 모든 바이트 수에 대해 작동한다는 점을 제외하고.


<답변4>

다음 함수를 사용하여 int, hex 및 바이트간에 데이터를 변환합니다.

def bytes2int(str):
 return int(str.encode('hex'), 16)

def bytes2hex(str):
 return '0x'+str.encode('hex')

def int2bytes(i):
 h = int2hex(i)
 return hex2bytes(h)

def int2hex(i):
 return hex(i)

def hex2int(h):
 if len(h) > 1 and h[0:2] == '0x':
  h = h[2:]

 if len(h) % 2:
  h = "0" + h

 return int(h, 16)

def hex2bytes(h):
 if len(h) > 1 and h[0:2] == '0x':
  h = h[2:]

 if len(h) % 2:
  h = "0" + h

 return h.decode('hex')

출처:http://opentechnotes.blogspot.com.au/2014/04/convert-values-to-from-integer-hex.html


<답변5>

import array
integerValue = array.array("I", 'y\xcc\xa6\xbb')[0]

경고 : 위의 내용은 플랫폼에 따라 다릅니다. "I"지정자와 string-> int 변환의 endianness는 모두 특정 Python 구현에 따라 다릅니다. 그러나 한 번에 많은 정수 / 문자열을 변환하려는 경우 배열 모듈이 빠르게 수행합니다.


<답변6>

Python 2.x에서는 형식 지정자를 사용할 수 있습니다.<B부호없는 바이트의 경우<b부호있는 바이트의 경우struct.unpack/struct.pack.

예 :

허락하다x='\xff\x10\x11'

data_ints = struct.unpack('<' + 'B'*len(x), x) # [255, 16, 17]

과:

data_bytes = struct.pack('<' + 'B'*len(data_ints), *data_ints) # '\xff\x10\x11'

* 가 필요합니다!

보다https://docs.python.org/2/library/struct.html#format-characters형식 지정자 목록을 참조하십시오.


<답변7>

>>> reduce(lambda s, x: s*256 + x, bytearray("y\xcc\xa6\xbb"))
2043455163

테스트 1 : 역 :

>>> hex(2043455163)
'0x79cca6bb'

테스트 2 : 바이트 수> 8

>>> reduce(lambda s, x: s*256 + x, bytearray("AAAAAAAAAAAAAAA"))
338822822454978555838225329091068225L

테스트 3 : 1 씩 증가 :

>>> reduce(lambda s, x: s*256 + x, bytearray("AAAAAAAAAAAAAAB"))
338822822454978555838225329091068226L

테스트 4 : 1 바이트를 추가하고 'A'라고 말하세요.

>>> reduce(lambda s, x: s*256 + x, bytearray("AAAAAAAAAAAAAABA"))
86738642548474510294585684247313465921L

테스트 5 : 256으로 나누기 :

>>> reduce(lambda s, x: s*256 + x, bytearray("AAAAAAAAAAAAAABA"))/256
338822822454978555838225329091068226L

결과는 예상대로 테스트 4의 결과와 같습니다.


<답변8>

Python 2.x에서 작동하는 임의 길이 바이트 시퀀스에 대한 솔루션을 찾기 위해 고군분투했습니다. 마지막으로 나는 이것을 썼습니다. 그것은 문자열 변환을 수행하기 때문에 약간 해키이지만 작동합니다.

def signedbytes(data):
    """Convert a bytearray into an integer, considering the first bit as
    sign. The data must be big-endian."""
    negative = data[0] & 0x80 > 0

    if negative:
        inverted = bytearray(~d % 256 for d in data)
        return -signedbytes(inverted) - 1

    encoded = str(data).encode('hex')
    return int(encoded, 16)

이 기능에는 두 가지 요구 사항이 있습니다.

  • 입력 data bytearray 이어야합니다. 다음과 같이 함수를 호출 할 수 있습니다.

    s = 'y\xcc\xa6\xbb' n = signedbytes(s)
  • 데이터는 빅 엔디안이어야합니다. 리틀 엔디안 값이있는 경우 먼저 반전해야합니다.

    n = signedbytes(s[::-1])
    

물론 임의의 길이가 필요한 경우에만 사용해야합니다. 그렇지 않으면 더 표준적인 방법 (예 :struct).


<답변9>

int.from_bytes는 버전이 3.2 이상인 경우 최상의 솔루션입니다. "struct.unpack"솔루션에는 문자열이 필요하므로 바이트 배열에 적용되지 않습니다. 다음은 또 다른 해결책입니다.

def bytes2int( tb, order='big'):
    if order == 'big': seq=[0,1,2,3]
    elif order == 'little': seq=[3,2,1,0]
    i = 0
    for j in seq: i = (i<<8)+tb[j]
    return i

hex (bytes2int ([0x87, 0x65, 0x43, 0x21]))는 '0x87654321'을 반환합니다.

크고 작은 엔디안을 처리하며 8 바이트로 쉽게 수정할 수 있습니다.


<답변10>

위에서 언급했듯이unpack기능구조체좋은 방법입니다. 자체 기능을 구현하려면 다른 솔루션이 있습니다.

def bytes_to_int(bytes):
    result = 0
    for b in bytes:
        result = result * 256 + int(b)
return result

<답변11>

내가 얼마 동안 사용해온 array.array를 활용하는 상당히 빠른 방법 :

사전 정의 된 변수 :

offset = 0
size = 4
big = True # endian
arr = array('B')
arr.fromstring("\x00\x00\xff\x00") # 5 bytes (encoding issues) [0, 0, 195, 191, 0]

int : (읽기)

val = 0
for v in arr[offset:offset+size][::pow(-1,not big)]: val = (val<<8)|v

int에서 : (쓰기)

val = 16384
arr[offset:offset+size] = \
    array('B',((val>>(i<<3))&255 for i in range(size)))[::pow(-1,not big)]

그래도 더 빠를 수 있습니다.

편집하다:
일부 숫자의 경우 다음과 비교하여 안정적인 읽기 평균을 보여주는 성능 테스트 (Anaconda 2.3.0)가 있습니다.reduce():

========================= byte array to int.py =========================
5000 iterations; threshold of min + 5000ns:
______________________________________code___|_______min______|_______max______|_______avg______|_efficiency
⣿⠀⠀⠀⠀⡇⢀⡀⠀⠀⠀⠀⠀⠀⡇⠀⠀⠀⡀⠀⢰⠀⠀⠀⢰⠀⠀⠀⢸⠀⠀⢀⡇⠀⢀⠀⠀⠀⠀⢠⠀⠀⠀⠀⢰⠀⠀⠀⢸⡀⠀⠀⠀⢸⠀⡇⠀⠀⢠⠀⢰⠀⢸⠀
⣿⣦⣴⣰⣦⣿⣾⣧⣤⣷⣦⣤⣶⣾⣿⣦⣼⣶⣷⣶⣸⣴⣤⣀⣾⣾⣄⣤⣾⡆⣾⣿⣿⣶⣾⣾⣶⣿⣤⣾⣤⣤⣴⣼⣾⣼⣴⣤⣼⣷⣆⣴⣴⣿⣾⣷⣧⣶⣼⣴⣿⣶⣿⣶
    val = 0 \nfor v in arr: val = (val<<8)|v |     5373.848ns |   850009.965ns |     ~8649.64ns |  62.128%
⡇⠀⠀⢀⠀⠀⠀⡇⠀⡇⠀⠀⣠⠀⣿⠀⠀⠀⠀⡀⠀⠀⡆⠀⡆⢰⠀⠀⡆⠀⡄⠀⠀⠀⢠⢀⣼⠀⠀⡇⣠⣸⣤⡇⠀⡆⢸⠀⠀⠀⠀⢠⠀⢠⣿⠀⠀⢠⠀⠀⢸⢠⠀⡀
⣧⣶⣶⣾⣶⣷⣴⣿⣾⡇⣤⣶⣿⣸⣿⣶⣶⣶⣶⣧⣷⣼⣷⣷⣷⣿⣦⣴⣧⣄⣷⣠⣷⣶⣾⣸⣿⣶⣶⣷⣿⣿⣿⣷⣧⣷⣼⣦⣶⣾⣿⣾⣼⣿⣿⣶⣶⣼⣦⣼⣾⣿⣶⣷
                  val = reduce( shift, arr ) |     6489.921ns |  5094212.014ns |   ~12040.269ns |  53.902%

이것은 원시 성능 테스트이므로 endian pow-flip이 생략됩니다.
그만큼shift표시된 함수는 for 루프와 동일한 shift-oring 연산을 적용합니다.arr그냥array.array('B',[0,0,255,0])가장 빠른 반복 성능을dict.

효율성은 평균 시간에 대한 정확도로 측정된다는 점도 주목해야합니다.


<답변12>

파이썬 3에서는 다음과 같이 바이트 문자열을 정수 목록 (0..255)으로 쉽게 변환 할 수 있습니다.

>>> list(b'y\xcc\xa6\xbb')
[121, 204, 166, 187]
반응형