Conversione di stringhe in datetime

Ho un enorme elenco di date-time come questo come stringhe:

Jun 1 2005  1:33PM
Aug 28 1999 12:00AM

Li riporterò in campi di data e ora appropriati in un database, quindi ho bisogno di inserirli in oggetti di data e ora reali.

Questo sta attraversando l'ORM di Django, quindi non posso usare SQL per eseguire la conversione in insert.

datetime.strptimeè la routine principale per l'analisi delle stringhe in periodi di dati. Può gestire tutti i tipi di formati, con il formato determinato da una stringa di formato che gli dai:

from datetime import datetime

datetime_object = datetime.strptime('Jun 1 2005  1:33PM', '%b %d %Y %I:%M%p')

L' datetimeoggetto risultante è ingenuo rispetto al fuso orario.

link:

• Documentazione Python per strptime: Python 2 , Python 3

• Documentazione Python per stringhe strptime/ strftimeformato: Python 2 , Python 3

• strftime.org è anche un bel riferimento per strftime

Appunti:

• strptime = "tempo di analisi stringa"
• strftime = "ora formato stringa"
• Pronuncialo ad alta voce oggi e non dovrai cercarlo di nuovo tra 6 mesi.

Utilizzare la libreria di dateutil di terze parti :

from dateutil import parser
parser.parse("Aug 28 1999 12:00AM")  # datetime.datetime(1999, 8, 28, 0, 0)

Può gestire la maggior parte dei formati di data, incluso quello che devi analizzare. È più conveniente di strptimecome può indovinare il formato corretto per la maggior parte del tempo.

È molto utile per scrivere test, in cui la leggibilità è più importante delle prestazioni.

Puoi installarlo con:

pip install python-dateutil

Dai un'occhiata a strptime nel modulo orario . È l'inverso dello strftime .

$ python
>>> import time
>>> my_time = time.strptime('Jun 1 2005  1:33PM', '%b %d %Y %I:%M%p')
time.struct_time(tm_year=2005, tm_mon=6, tm_mday=1,
                 tm_hour=13, tm_min=33, tm_sec=0,
                 tm_wday=2, tm_yday=152, tm_isdst=-1)

timestamp = time.mktime(my_time)
# convert time object to datetime
from datetime import datetime
my_datetime = datetime.fromtimestamp(timestamp)
# convert time object to date
from datetime import date
my_date = date.fromtimestamp(timestamp)

Ho messo insieme un progetto in grado di convertire alcune espressioni davvero pulite. Dai un'occhiata al timestring .

Ecco alcuni esempi di seguito:

>>> import timestring
>>> timestring.Date('monday, aug 15th 2015 at 8:40 pm')
<timestring.Date 2015-08-15 20:40:00 4491909392>
>>> timestring.Date('monday, aug 15th 2015 at 8:40 pm').date
datetime.datetime(2015, 8, 15, 20, 40)
>>> timestring.Range('next week')
<timestring.Range From 03/10/14 00:00:00 to 03/03/14 00:00:00 4496004880>
>>> (timestring.Range('next week').start.date, timestring.Range('next week').end.date)
(datetime.datetime(2014, 3, 10, 0, 0), datetime.datetime(2014, 3, 14, 0, 0))

Ricorda questo e non hai dovuto confonderti di nuovo nella conversione del datetime.

String to datetime object = strptime

oggetto datetime in altri formati = strftime

Jun 1 2005 1:33PM

è uguale a

%b %d %Y %I:%M%p

% b Mese come nome abbreviato della locale (giu)

% d Giorno del mese come numero decimale con riempimento zero (1)

% Anno Y con secolo come un numero decimale (2015)

% I Hour (orologio a 12 ore) come numero decimale con spaziatura zero (01)

% M Minuto come numero decimale con spaziatura zero (33)

% p equivalente di Locale di AM o PM (PM)

quindi hai bisogno di strptime, ovvero conversione stringa

>>> dates = []
>>> dates.append('Jun 1 2005  1:33PM')
>>> dates.append('Aug 28 1999 12:00AM')
>>> from datetime import datetime
>>> for d in dates:
...     date = datetime.strptime(d, '%b %d %Y %I:%M%p')
...     print type(date)
...     print date
... 

Produzione

<type 'datetime.datetime'>
2005-06-01 13:33:00
<type 'datetime.datetime'>
1999-08-28 00:00:00

E se hai un diverso formato di date puoi usare panda o dateutil.parse

>>> import dateutil
>>> dates = []
>>> dates.append('12 1 2017')
>>> dates.append('1 1 2017')
>>> dates.append('1 12 2017')
>>> dates.append('June 1 2017 1:30:00AM')
>>> [parser.parse(x) for x in dates]

Produzione

[datetime.datetime(2017, 12, 1, 0, 0), datetime.datetime(2017, 1, 1, 0, 0), datetime.datetime(2017, 1, 12, 0, 0), datetime.datetime(2017, 6, 1, 1, 30)]

In Python> = 3.7.0,

per convertire la stringa AAAA-MM-GG in oggetto datetime , è datetime.fromisoformatpossibile utilizzare.

>>> from datetime import datetime

>>> date_string = "2012-12-12 10:10:10"
>>> print (datetime.fromisoformat(date_string))
>>> 2012-12-12 10:10:10

Molti timestamp hanno un fuso orario implicito. Per garantire che il codice funzioni in ogni fuso orario, è necessario utilizzare UTC internamente e collegare un fuso orario ogni volta che un oggetto estraneo entra nel sistema.

Python 3.2+:

>>> datetime.datetime.strptime(
...     "March 5, 2014, 20:13:50", "%B %d, %Y, %H:%M:%S"
... ).replace(tzinfo=datetime.timezone(datetime.timedelta(hours=-3)))

Ecco due soluzioni che utilizzano Panda per convertire le date formattate come stringhe in oggetti datetime.date.

import pandas as pd

dates = ['2015-12-25', '2015-12-26']

# 1) Use a list comprehension.
>>> [d.date() for d in pd.to_datetime(dates)]
[datetime.date(2015, 12, 25), datetime.date(2015, 12, 26)]

# 2) Convert the dates to a DatetimeIndex and extract the python dates.
>>> pd.DatetimeIndex(dates).date.tolist()
[datetime.date(2015, 12, 25), datetime.date(2015, 12, 26)]

Tempi

dates = pd.DatetimeIndex(start='2000-1-1', end='2010-1-1', freq='d').date.tolist()

>>> %timeit [d.date() for d in pd.to_datetime(dates)]
# 100 loops, best of 3: 3.11 ms per loop

>>> %timeit pd.DatetimeIndex(dates).date.tolist()
# 100 loops, best of 3: 6.85 ms per loop

Ed ecco come convertire gli esempi di data e ora originali del PO:

datetimes = ['Jun 1 2005  1:33PM', 'Aug 28 1999 12:00AM']

>>> pd.to_datetime(datetimes).to_pydatetime().tolist()
[datetime.datetime(2005, 6, 1, 13, 33), 
 datetime.datetime(1999, 8, 28, 0, 0)]

Esistono molte opzioni per la conversione dalle stringhe in Timasamp di Panda usando to_datetime, quindi controlla i documenti se hai bisogno di qualcosa di speciale.

Allo stesso modo, i timestamp hanno molte proprietà e metodi a cui è possibile accedere oltre.date

Personalmente mi piace la soluzione usando il parsermodulo, che è la seconda risposta a questa domanda ed è bellissimo, dato che non devi costruire letterali di stringa per farlo funzionare. MA , un aspetto negativo è che è più lento del 90% rispetto alla risposta accettata strptime.

from dateutil import parser
from datetime import datetime
import timeit

def dt():
    dt = parser.parse("Jun 1 2005  1:33PM")
def strptime():
    datetime_object = datetime.strptime('Jun 1 2005  1:33PM', '%b %d %Y %I:%M%p')

print(timeit.timeit(stmt=dt, number=10**5))
print(timeit.timeit(stmt=strptime, number=10**5))
>10.70296801342902
>1.3627995655316933

Finché non lo farai più di un milione di volte, penso ancora che il parsermetodo sia più conveniente e gestirà automaticamente la maggior parte dei formati temporali.

Qualcosa che non è menzionato qui ed è utile: aggiungere un suffisso alla giornata. Ho disaccoppiato la logica del suffisso in modo da poterla utilizzare per qualsiasi numero che ti piace, non solo per le date.

import time

def num_suffix(n):
    '''
    Returns the suffix for any given int
    '''
    suf = ('th','st', 'nd', 'rd')
    n = abs(n) # wise guy
    tens = int(str(n)[-2:])
    units = n % 10
    if tens > 10 and tens < 20:
        return suf[0] # teens with 'th'
    elif units <= 3:
        return suf[units]
    else:
        return suf[0] # 'th'

def day_suffix(t):
    '''
    Returns the suffix of the given struct_time day
    '''
    return num_suffix(t.tm_mday)

# Examples
print num_suffix(123)
print num_suffix(3431)
print num_suffix(1234)
print ''
print day_suffix(time.strptime("1 Dec 00", "%d %b %y"))
print day_suffix(time.strptime("2 Nov 01", "%d %b %y"))
print day_suffix(time.strptime("3 Oct 02", "%d %b %y"))
print day_suffix(time.strptime("4 Sep 03", "%d %b %y"))
print day_suffix(time.strptime("13 Nov 90", "%d %b %y"))
print day_suffix(time.strptime("14 Oct 10", "%d %b %y"))​​​​​​​

In [34]: import datetime

In [35]: _now = datetime.datetime.now()

In [36]: _now
Out[36]: datetime.datetime(2016, 1, 19, 9, 47, 0, 432000)

In [37]: print _now
2016-01-19 09:47:00.432000

In [38]: _parsed = datetime.datetime.strptime(str(_now),"%Y-%m-%d %H:%M:%S.%f")

In [39]: _parsed
Out[39]: datetime.datetime(2016, 1, 19, 9, 47, 0, 432000)

In [40]: assert _now == _parsed

Esempio di oggetto datetime consapevole di Django Timezone.

import datetime
from django.utils.timezone import get_current_timezone
tz = get_current_timezone()

format = '%b %d %Y %I:%M%p'
date_object = datetime.datetime.strptime('Jun 1 2005  1:33PM', format)
date_obj = tz.localize(date_object)

Questa conversione è molto importante per Django e Python quando hai USE_TZ = True:

RuntimeWarning: DateTimeField MyModel.created received a naive datetime (2016-03-04 00:00:00) while time zone support is active.

Crea una piccola funzione di utilità come:

def date(datestr="", format="%Y-%m-%d"):
    from datetime import datetime
    if not datestr:
        return datetime.today().date()
    return datetime.strptime(datestr, format).date()

Questo è abbastanza versatile:

• Se non passi alcun argomento restituirà la data odierna.
• C'è un formato data come predefinito che puoi sovrascrivere.
• Puoi facilmente modificarlo per restituire un datetime.

Sarebbe utile per convertire la stringa in datetime e anche con il fuso orario

def convert_string_to_time(date_string, timezone):
    from datetime import datetime
    import pytz
    date_time_obj = datetime.strptime(date_string[:26], '%Y-%m-%d %H:%M:%S.%f')
    date_time_obj_timezone = pytz.timezone(timezone).localize(date_time_obj)

    return date_time_obj_timezone

date = '2018-08-14 13:09:24.543953+00:00'
TIME_ZONE = 'UTC'
date_time_obj_timezone = convert_string_to_time(date, TIME_ZONE)

freccia offre molte funzioni utili per date e orari. Questo bit di codice fornisce una risposta alla domanda e mostra che la freccia è anche in grado di formattare facilmente le date e visualizzare informazioni per altre localizzazioni.

>>> import arrow
>>> dateStrings = [ 'Jun 1  2005 1:33PM', 'Aug 28 1999 12:00AM' ]
>>> for dateString in dateStrings:
...     dateString
...     arrow.get(dateString.replace('  ',' '), 'MMM D YYYY H:mmA').datetime
...     arrow.get(dateString.replace('  ',' '), 'MMM D YYYY H:mmA').format('ddd, Do MMM YYYY HH:mm')
...     arrow.get(dateString.replace('  ',' '), 'MMM D YYYY H:mmA').humanize(locale='de')
...
'Jun 1  2005 1:33PM'
datetime.datetime(2005, 6, 1, 13, 33, tzinfo=tzutc())
'Wed, 1st Jun 2005 13:33'
'vor 11 Jahren'
'Aug 28 1999 12:00AM'
datetime.datetime(1999, 8, 28, 0, 0, tzinfo=tzutc())
'Sat, 28th Aug 1999 00:00'
'vor 17 Jahren'

Vedi http://arrow.readthedocs.io/en/latest/ per ulteriori informazioni.

Puoi usare easy_date per semplificare:

import date_converter
converted_date = date_converter.string_to_datetime('Jun 1 2005  1:33PM', '%b %d %Y %I:%M%p')

Se vuoi solo il formato della data, puoi convertirlo manualmente passando i tuoi campi individuali come:

>>> import datetime
>>> date = datetime.date(int('2017'),int('12'),int('21'))
>>> date
datetime.date(2017, 12, 21)
>>> type(date)
<type 'datetime.date'>

Puoi passare i valori della stringa divisa per convertirla nel tipo di data come:

selected_month_rec = '2017-09-01'
date_formate = datetime.date(int(selected_month_rec.split('-')[0]),int(selected_month_rec.split('-')[1]),int(selected_month_rec.split('-')[2]))

Otterrai il valore risultante nel formato data.

Puoi anche dare un'occhiata dateparser

dateparser fornisce moduli per analizzare facilmente date localizzate in quasi tutti i formati di stringa che si trovano comunemente nelle pagine Web.

Installare:

$ pip install dateparser

Questo è, credo, il modo più semplice per analizzare le date.

Il modo più semplice è utilizzare la dateparser.parsefunzione, che avvolge la maggior parte delle funzionalità del modulo.

Codice di esempio:

import dateparser

t1 = 'Jun 1 2005  1:33PM'
t2 = 'Aug 28 1999 12:00AM'

dt1 = dateparser.parse(t1)
dt2 = dateparser.parse(t2)

print(dt1)
print(dt2)

Produzione:

2005-06-01 13:33:00
1999-08-28 00:00:00

Vedere la mia risposta .

Nei dati del mondo reale questo è un vero problema: formati di data multipli, non corrispondenti, incompleti, incoerenti e multilingua / regione, spesso mescolati liberamente in un unico set di dati. Non va bene che il codice di produzione fallisca, figuriamoci che fa eccezione, come una volpe.

Dobbiamo provare ... catturare più formati datetime fmt1, fmt2, ..., fmtn e sopprimere / gestire le eccezioni (da strptime()) per tutti quelli che non corrispondono (e in particolare, evitare di aver bisogno di una scala di prova con rientro yukky n-deep ..catch clauses). Dalla mia soluzione

def try_strptime(s, fmts=['%d-%b-%y','%m/%d/%Y']):
    for fmt in fmts:
        try:
            return datetime.strptime(s, fmt)
        except:
            continue

    return None # or reraise the ValueError if no format matched, if you prefer

emp = pd.read_csv("C:\\py\\programs\\pandas_2\\pandas\\employees.csv")
emp.info()

mostra la colonna "Ora data inizio" e "Ora ultimo accesso" sono entrambi "oggetto = stringhe" nel frame di dati

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1000 entries, 0 to 999
Data columns (total 8 columns):
First Name           933 non-null object
Gender               855 non-null object

Start Date           1000 non-null object

Last Login Time      1000 non-null object

Salary               1000 non-null int64
Bonus %              1000 non-null float64
Senior Management    933 non-null object
Team                 957 non-null object
dtypes: float64(1), int64(1), object(6)
memory usage: 62.6+ KB

Usando l' parse_datesopzione read_csvmenzionata puoi convertire il tuo datetime di stringa nel formato datetime di Panda.

emp = pd.read_csv("C:\\py\\programs\\pandas_2\\pandas\\employees.csv", parse_dates=["Start Date", "Last Login Time"])
emp.info()


<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1000 entries, 0 to 999
Data columns (total 8 columns):
First Name           933 non-null object
Gender               855 non-null object

Start Date           1000 non-null datetime64[ns]
Last Login Time      1000 non-null datetime64[ns]

Salary               1000 non-null int64
Bonus %              1000 non-null float64
Senior Management    933 non-null object
Team                 957 non-null object
dtypes: datetime64[ns](2), float64(1), int64(1), object(4)
memory usage: 62.6+ KB