Cómo Construir Rápidamente Un Sistema De Comercio De Alta Frecuencia

Diseño de sistemas de comercio de alta frecuencia y gestión de procesos Diseño de sistemas de comercio de alta frecuencia y gestión de procesos Asesor: Roy E. Welsch. Departamento: Programa de Diseño y Gestión de Sistemas. Las empresas comerciales hoy en día son muy dependientes de la minería de datos, modelado por computadora y desarrollo de software. Los analistas financieros realizan muchas tareas similares a las del software y las industrias manufactureras. Sin embargo, la industria financiera aún no ha adoptado completamente los sistemas de ingeniería de sistemas de alto estándar y los enfoques de gestión de procesos que han tenido éxito en las industrias de software y manufactura. Muchas de las metodologías tradicionales de diseño de productos, control de calidad, innovación sistemática y mejora continua que se encuentran en las disciplinas de ingeniería pueden aplicarse al campo de las finanzas. Esta tesis muestra cómo los conocimientos adquiridos en las disciplinas de ingeniería pueden mejorar el diseño y la gestión de procesos de los sistemas de negociación de alta frecuencia. Los sistemas de negociación de alta frecuencia se basan en el cálculo. Estos sistemas son sistemas de software automáticos o semiautomáticos que son inherentemente complejos y requieren un alto grado de precisión de diseño. El diseño de un sistema de comercio de alta frecuencia vincula múltiples campos, incluyendo finanzas cuantitativas, diseño de sistemas e ingeniería de software. En el sector financiero, donde las teorías matemáticas y los modelos comerciales son relativamente bien investigados, la capacidad de implementar estos diseños en las prácticas comerciales reales es uno de los elementos clave de la competitividad de las empresas de inversión. La capacidad de convertir ideas de inversión en sistemas de negociación de alto rendimiento de manera eficaz y eficiente puede dar a una empresa de inversión una gran ventaja competitiva (cont.) Esta tesis proporciona un estudio detallado compuesto de alta frecuencia sistema de comercio de diseño, Para el desarrollo del sistema. Se hace especial hincapié en el backtesting y la optimización, que se consideran las partes más importantes en la construcción de un sistema comercial. Esta investigación construye modelos de ingeniería de sistemas que guían el proceso de desarrollo. También utiliza sistemas de comercio experimental para verificar y validar los principios tratados en esta tesis. Finalmente, esta tesis concluye que los principios y marcos de ingeniería de sistemas pueden ser la clave del éxito para la implementación de sistemas de negociación de alta frecuencia o de inversión cuantitativa. Tesis (S. M.) - Instituto de Tecnología de Massachusetts, Diseño de Sistemas y Programa de Gestión, 2009. Catalogado a partir de la versión en PDF de la tesis. Incluye referencias bibliográficas (páginas 78-79). Palabras clave: Programa de Diseño y Gestión de Sistemas. Examinar Mi CuentaEste post detallará lo que hice para hacer aprox. 500k de comercio de alta frecuencia de 2009 a 2010. Desde que estaba negociando de forma totalmente independiente y ya no estoy ejecutando mi programa Irsquom feliz de contar a todos. Mi negociación fue principalmente en Russel 2000 y contratos de futuros DAX. Creo que la clave de mi éxito no fue en una sofisticada ecuación financiera, sino en el diseño general del algoritmo, que unió muchos componentes simples y utilizó el aprendizaje automático para optimizar la rentabilidad máxima. Usted wonrsquot necesidad de conocer cualquier terminología sofisticada aquí porque cuando configuro mi programa todo se basa en la intuición. (Andrew Ngrsquos increíble aprendizaje de la máquina curso todavía no estaba disponible - btw si hace clic en ese enlace yoursquoll ser llevado a mi proyecto actual: CourseTalk, un sitio de revisión de MOOCs) En primer lugar, sólo quiero demostrar que mi éxito no fue simplemente el resultado de suerte. Mi programa hizo 1000-4000 oficios por día (medio largo, medio corto) y nunca llegó a posiciones de más de unos pocos contratos a la vez. Esto significaba que la suerte al azar de cualquier comercio en particular era bastante rápida. El resultado fue que nunca perdí más de 2000 en un día y nunca tuve un mes perdedor: (EDIT Estas cifras son después de pagar comisiones) Y herersquos un gráfico para darle una idea de la variación diaria. Tenga en cuenta que esto excluye los últimos 7 meses porque - como las cifras dejaron de subir - perdí mi motivación para entrar en ellos. Mi fondo de comercio Antes de configurar mi programa de comercio automatizado Irsquod tenía 2 años de experiencia como un comerciante de día ldquomanualrdquo. Esto fue en 2001 - fueron los primeros días del comercio electrónico y hubo oportunidades para ldquoscalpersrdquo para hacer buen dinero. Sólo puedo describir lo que estaba haciendo como parecido a jugar un juego de video / juego con un supuesto borde. Ser exitoso significaba ser rápido, ser disciplinado y tener una buena capacidad intuitiva de reconocimiento de patrones. Fui capaz de hacer alrededor de 250k, pagar mis préstamos estudiantiles y tener dinero restante. Win Durante los próximos cinco años me lanzaría dos startups, recoger algunas habilidades de programación en el camino. No sería hasta finales de 2008 que volvería a entrar en el comercio. Con el dinero corriendo bajo de la venta de mi primera puesta en marcha, el comercio ofrece esperanzas de un poco de dinero rápido, mientras que descubrí mi siguiente movimiento. En 2008 fui ldquomanuallyrdquo día de comercio de futuros utilizando software llamado T4. Irsquod quería algunas teclas de acceso de entrada de pedido personalizadas, así que después de descubrir que T4 tenía una API, tomé el reto de aprender C (el lenguaje de programación requerido para usar la API) y seguí adelante y construí algunas teclas de acceso rápido. Después de mojarse los pies con la API pronto tuve mayores aspiraciones: quería enseñar a la computadora para el comercio para mí. La API proporcionó una corriente de datos de mercado y una forma fácil de enviar órdenes al intercambio - todo lo que tenía que hacer era crear la lógica en el medio. A continuación se muestra una captura de pantalla de una ventana de negociación T4. Lo que era cool es que cuando conseguí mi programa de trabajo que era capaz de ver el comercio de equipo en esta misma interfaz. Ver órdenes reales apareciendo y saliendo (por sí mismos con mi dinero real) era emocionante y aterrador. El diseño de mi algoritmo Desde el principio mi objetivo era configurar un sistema tal que podría estar razonablemente confiado Irsquod ganar dinero antes de hacer cualquier comercio en vivo. Para lograr esto, necesitaba construir un marco de simulación comercial que pudiera simular, en la medida de lo posible, el comercio en vivo. Mientras que el comercio en modo en vivo requería actualizaciones del mercado de procesamiento transmitidas a través de la API, el modo de simulación requería la lectura de las actualizaciones del mercado desde un archivo de datos. Para recopilar estos datos configuro la primera versión de mi programa para simplemente conectarme a la API y registrar las actualizaciones del mercado con marcas de tiempo. Terminé usando 4 semanas de datos de mercado recientes para entrenar y probar mi sistema. Con un marco básico en su lugar todavía tenía la tarea de averiguar cómo hacer un sistema comercial rentable. Como resulta que mi algoritmo se dividiría en dos componentes distintos, que Irsquoll explorar a su vez: Predecir los movimientos de precios y Hacer operaciones rentables Predecir los movimientos de precios Tal vez un componente obvio de cualquier sistema de comercio es poder predecir dónde se moverán los precios. Y la mía no fue la excepción. Definí el precio actual como el promedio de la oferta interior y la oferta interior y establecí el objetivo de predecir dónde estaría el precio en los próximos 10 segundos. Mi algoritmo tendría que llegar a esta predicción momento por momento durante todo el día de negociación. Creación de indicadores de optimización de amplificadores Creé un puñado de indicadores que demostraron tener una capacidad significativa para predecir movimientos de precios a corto plazo. Cada indicador produjo un número que era positivo o negativo. Un indicador fue útil si más a menudo que un número positivo correspondió con el mercado subiendo y un número negativo correspondió con el mercado bajando. Mi sistema me permitió determinar rápidamente cuánta capacidad predictiva tenía cualquier indicador, así que pude experimentar con muchos indicadores diferentes para ver qué funcionaba. Muchos de los indicadores tenían variables en las fórmulas que los producían y pude encontrar los valores óptimos para esas variables al hacer comparaciones lado a lado de los resultados logrados con valores variables. Los indicadores que resultaron más útiles fueron relativamente simples y se basaron en hechos recientes en el mercado en el que operaba, así como en los mercados de valores correlativos. Hacer predicciones exactas de movimiento de precios Tener indicadores que simplemente predijo un movimiento ascendente o descendente de precios no era suficiente. Necesitaba saber exactamente cuánto se predijo el movimiento de precios por cada posible valor de cada indicador. Necesitaba una fórmula que convirtiera un valor indicador en una predicción de precios. Para lograr esto, rastreé los movimientos de precios predichos en 50 cubos que dependían del rango en el que el valor del indicador se redujo. Esto produjo predicciones únicas para cada cubo que luego pude graficar en Excel. Como puede ver, el aumento esperado del precio aumenta a medida que aumenta el valor del indicador. Basándome en un gráfico como este, pude hacer una fórmula para ajustar la curva. En el principio hice este ldquocurve fittingrdquo manualmente pero pronto escribí un poco de código para automatizar este proceso. Observe que no todas las curvas del indicador tenían la misma forma. Observe también que los cubos se distribuyeron logarítmicamente para separar los puntos de datos uniformemente. Por último, se observó que los valores de los indicadores negativos (y sus correspondientes predicciones de precios a la baja) se voltearon y se combinaron con los valores positivos. (Mi algoritmo tratado arriba y abajo exactamente igual.) Combinación de indicadores para una sola predicción Una cosa importante a considerar era que cada indicador no era totalmente independiente. No podía simplemente agregar todas las predicciones que cada indicador hizo individualmente. La clave era calcular el valor predictivo adicional que cada indicador tenía más allá de lo que ya estaba previsto. Esto no era difícil de implementar, pero sí significaba que si yo estaba ldquocurve fittingdocuatro indicadores al mismo tiempo tuve que ser cuidadoso cambiando uno afectaría las predicciones de otro. Con el fin de ldquocurve fitrdquo todos los indicadores al mismo tiempo que configurado el optimizador para el paso sólo 30 de la manera hacia las nuevas curvas de predicción con cada paso. Con este salto de 30 encontré que las curvas de predicción se estabilizarían en unos pocos pasos. Con cada indicador que ahora nos da itrsquos previsión de precios adicionales que simplemente podría sumar para producir una sola predicción de donde el mercado sería en 10 segundos. Por qué la predicción de los precios no es suficiente Usted podría pensar que con esta ventaja en el mercado que era de oro. Pero usted necesita tener en cuenta que el mercado se compone de ofertas y ofertas - itrsquos no sólo un precio de mercado. El éxito en el comercio de alta frecuencia se reduce a conseguir buenos precios y itrsquos no es tan fácil. Los siguientes factores hacen la creación de un sistema rentable difícil: con cada comercio tuve que pagar comisiones tanto a mi corredor como al intercambio. La difusión (diferencia entre la oferta más alta y la oferta más baja) significaba que si simplemente comprar y vender al azar Irsquod estar perdiendo una tonelada de dinero. La mayor parte del volumen del mercado eran otros bots que sólo ejecutarían un comercio conmigo si pensaban que tenían algún borde estadístico. Ver una oferta no garantiza que podría comprarla. En el momento en que mi orden de compra llegó al intercambio era muy posible que esa oferta hubiera sido cancelada. Como un pequeño jugador del mercado no había manera de que yo pudiera competir en velocidad solo. La construcción de una simulación de comercio completo Así que tenía un marco que me permitió backtest y optimizar los indicadores. Pero yo tenía que ir más allá de esto - yo necesitaba un marco que me permitiría backtest y optimizar un sistema de comercio completo en el que estaba enviando órdenes y conseguir en posiciones. En este caso, Irsquod estará optimizando para la PampL total y en cierta medida la PampL promedio por comercio. Esto sería más complicado y de alguna manera imposible de modelar exactamente, pero hice lo mejor que pude. Éstos son algunos de los problemas que tuve que tratar: Cuando una orden fue enviada al mercado en simulación tuve que modelar el tiempo de retraso. El hecho de que mi sistema vio una oferta no significaba que pudiera comprarla de inmediato. El sistema enviaría la orden, esperaría aproximadamente 20 milisegundos y entonces solamente si la oferta todavía estaba allí fue considerado como un comercio ejecutado. Esto era inexacto porque el tiempo de retraso real era inconsistente y no declarado. Cuando hice ofertas o ofertas tuve que mirar el flujo de ejecución de comercio (proporcionado por el API) y utilizarlas para medir cuándo mi orden se habría ejecutado contra. Para hacer esto bien tuve que rastrear la posición de mi orden en la cola. (Itrsquos un sistema first-in-first-out.) Una vez más, no podía hacer esto perfectamente, pero hice una mejor aproximación. Para refinar mi simulación de ejecución de órdenes lo que hice fue tomar mis archivos de registro de comercio en vivo a través de la API y compararlos con los archivos de registro producido por el comercio simulado desde el mismo período de tiempo. Pude obtener mi simulación hasta el punto de que era bastante exacta y para las partes que eran imposibles de modelar con exactitud me aseguré de por lo menos producir resultados que eran estadísticamente similares (en las métricas que pensé que eran importantes). Haciendo negocios rentables Con un modelo de simulación de pedidos en su lugar, ahora podría enviar pedidos en modo de simulación y ver un simulador de PampL. Pero, cómo iba a saber mi sistema cuándo y dónde comprar y vender? Las predicciones de movimiento de precios fueron un punto de partida, pero no toda la historia. Lo que hice fue crear un sistema de puntuación para cada uno de los 5 niveles de precios de la oferta y la oferta. Éstos incluyeron un nivel sobre la oferta interior (para una orden de compra) y un nivel debajo de la oferta interior (para una orden de venta). Si la puntuación a cualquier nivel de precios dado estaba por encima de un cierto umbral que significaría que mi sistema debería tener una oferta / oferta activa allí - por debajo del umbral, entonces cualquier pedido activo debería ser cancelado. Basado en esto no era infrecuente que mi sistema destellara una oferta en el mercado entonces inmediatamente la cancelaría. (Aunque traté de minimizar esto como itrsquos molesto como heck a cualquiera que mira la pantalla con ojos humanos - incluyendo a mí.) Las puntuaciones de nivel de precios se calcularon sobre la base de los siguientes factores: La predicción de movimiento de precios (que discutimos anteriormente). El nivel de precios en cuestión. (Los niveles internos significaban que se requerían mayores predicciones de movimiento de precios). El número de contratos delante de mi orden en la cola. (Menos fue mejor.) El número de contratos detrás de mi pedido en la cola. (Más era mejor.) Esencialmente, estos factores sirvieron para identificar ldquosaferdquo lugares de oferta / oferta. La predicción de movimiento de precios por sí sola no era adecuada porque no explicaba el hecho de que al realizar una oferta no estaba automáticamente llena, sólo me llené si alguien me vendía allí. La realidad era que el mero hecho de que alguien me vendiera a un precio determinado cambiaba las probabilidades estadísticas del oficio. Las variables utilizadas en este paso fueron todas sujetas a optimización. Esto se hizo de la misma manera que las variables optimizadas en los indicadores de movimiento de precios, excepto en este caso yo estaba optimizando para la línea de fondo PampL. Lo que mi programa ignoró Cuando operamos como humanos, a menudo tenemos emociones y sesgos poderosos que pueden conducir a decisiones menos que óptimas. Claramente no quería codificar estos sesgos. Aquí hay algunos factores que mi sistema ignoró: El precio que se introdujo una posición - En una oficina de comercio itrsquos bastante común para escuchar la conversación sobre el precio al que alguien es largo o corto como si que debe afectar su toma de decisiones futuras. Si bien esto tiene alguna validez como parte de una estrategia de reducción de riesgos que realmente no tiene relación con el curso futuro de los acontecimientos en el mercado. Por lo tanto, mi programa completamente ignorado esta información. Itrsquos el mismo concepto que ignorando los costes hundidos. Ir corto vs salir de una posición larga - Por lo general, un comerciante tendría diferentes criterios que determina dónde vender una posición larga frente a dónde ir corto. Sin embargo, desde mi perspectiva de algoritmos no había razón para hacer una distinción. Si mi algoritmo esperaba un movimiento hacia abajo de venta era una buena idea, independientemente de si era actualmente largo, corto o plano. A ldquoubling uprdquo estrategia - Esta es una estrategia común donde los comerciantes comprarán más acciones en el caso de que el comercio original va en contra de ellos. Esto se traduce en su precio de compra promedio es menor y significa que cuando (o si) la acción gira alrededor de yoursquoll ser configurado para hacer su dinero de vuelta en ningún momento. En mi opinión, esta es realmente una estrategia horrible a menos que Warren Buffet. Yoursquore engañado en el pensamiento que usted está haciendo bien porque la mayoría de sus oficios serán ganadores. El problema es cuando pierdes pierdes grande. El otro efecto es que hace difícil juzgar si realmente tienes una ventaja en el mercado o simplemente tienes suerte. Ser un objetivo importante era poder monitorear y confirmar que mi programa tenía una ventaja. Dado que mi algoritmo tomó las decisiones de la misma manera, independientemente de dónde entró en un comercio o si era actualmente largo o corto que ocasionalmente sentarse en (y tomar) algunos grandes operaciones perdedoras (además de algunas grandes operaciones ganadoras). Pero, no debe pensar que no había ninguna gestión de riesgos. Para manejar el riesgo, apliqué un tamaño de posición máximo de 2 contratos a la vez, ocasionalmente subí en días de alto volumen. También tuve un límite máximo de pérdidas diarias para protegerme contra cualquier condición inesperada del mercado o un error en mi software. Estos límites se aplicaron en mi código, pero también en el backend a través de mi corredor. Como sucedió nunca encontré problemas significativos. Ejecución del algoritmo Desde el momento en que comencé a trabajar en mi programa me tomó unos 6 meses antes de que lo lleve al punto de la rentabilidad y comenzó a correr en vivo. Aunque para ser justos una cantidad significativa de tiempo era aprender un nuevo lenguaje de programación. A medida que trabajaba para mejorar el programa vi aumentar los beneficios para cada uno de los próximos cuatro meses. Cada semana me volvería a entrenar mi sistema basado en el valor de 4 semanas anteriores de datos. Encontré esto golpeó el equilibrio correcto entre capturar tendencias recientes del comportamiento del mercado y asegurar mi algoritmo tenía bastante datos para establecer patrones significativos. A medida que el entrenamiento comenzó a tomar cada vez más tiempo lo dividí para que pudiera ser realizado por 8 máquinas virtuales usando Amazon EC2. Los resultados se fusionaron en mi máquina local. El punto culminante de mi comercio fue octubre de 2009, cuando hice casi 100k. Después de esto continué pasando los próximos cuatro meses intentando mejorar mi programa a pesar de la disminución de ganancias cada mes. Desafortunadamente por este punto supongo que Irsquod implementó todas mis mejores ideas porque nada de lo que probé parecía ayudar mucho. Con la frustración de no ser capaz de hacer mejoras y no tener un sentido de crecimiento comencé a pensar en una nueva dirección. He enviado 6 diferentes empresas de alta frecuencia de comercio para ver si theyrsquod estar interesado en la compra de mi software y contratación de mí para trabajar para ellos. Nadie contestó. Tuve algunas nuevas ideas de inicio que quería trabajar, así que nunca lo seguí. ACTUALIZACIÓN - he publicado esto en Hacker News y ha recibido mucha atención. Sólo quiero decir que no abogo a nadie que intente hacer algo así ahora. Usted necesitaría un equipo de personas realmente inteligentes con una gama de experiencias para tener cualquier esperanza de competir. Incluso cuando estaba haciendo esto creo que era muy raro que las personas para lograr el éxito (aunque había oído hablar de otros.) Hay un comentario en la parte superior de la página que menciona las estadísticas manipuladas y se refiere a mí como un london de la inversión que quants Ldquogleefully escoger offrdquo. Este es un comentario bastante desafortunado thatrsquos simplemente no basado en la realidad. Estableciendo que aparte therersquos algunos comentarios interesantes: news. ycombinator / itemid4748624 UPDATE 2 - Irsquove publicado un seguimiento de preguntas frecuentes que responde a algunas preguntas comunes Irsquove recibido de los comerciantes acerca de este post. Por favor, tenga en cuenta: Parte 1 de este ensayo apareció en la edición de febrero de 2015 De Contributoria. Se publica y modifica aquí bajo una licencia Creative Commons. En el tiempo que tarda en leer esta oración, un algoritmo de negociación de alta frecuencia (HFT), conectado a una bolsa de valores a través de la infraestructura de intercambio de información, podría hacer , Tal vez, 1.000 operaciones. Digo quizás, porque realmente depende de cuánto tiempo se detiene en las comas que pongo en la oración. Si usted es un individuo con gran respeto por comas, puede darle al algoritmo la oportunidad de lanzar unos cientos de pedidos más. Sólo voy a aclarar esto. Esto significa que las computadoras poseídas (o alquiladas) por una empresa en algún lugar pueden: 1) chupar los datos de una bolsa de valores; 2) procesarla a través de un sistema de reglas paso a paso codificado (algoritmo) para tomar una decisión sobre si negociar o no , 3) enviar un mensaje de vuelta a la bolsa con un pedido de acciones de propiedad en una empresa 8211, por ejemplo, una empresa que hace child8217s juguetes 8211 4) obtener la orden ejecutada y confirmada, y 5) repetir esto tal vez 250 veces por segundo . Bueno, podría ser más o menos que eso, también, y para ser honesto, pocas personas parecen saber realmente la velocidad de estos motores algorítmicos de comercio. Pero incluso si sólo negocia 50 veces por segundo, o incluso sólo 10 veces por segundo, sigue siendo inhumanamente rápido. Después de haber trabajado en los mercados de comercio financiero 8211, aunque en mucho más lento de los mercados de swash over-the-counter 8211 y haber trabajado en una variedad de campañas de promoción relacionadas con el comercio financiero, este es un tema que me fascina. El propósito de esta pieza, sin embargo, no es necesariamente para convencerte de si o no HFT es una cosa buena o mala. Más bien, es proporcionar algunos marcos a través de los cuales mirar el fenómeno, ya través de los cuales entender los debates e historias de noticias que indudablemente seguirán escribiéndose en los próximos años. 1.1: HFT en el contexto HUMANOS: SO SLOOOWWWW Hubo un tiempo, en el lejano pasado de la década de 1970, cuando los oficios en las bolsas de valores eran básicamente el dominio exclusivo de los actores humanos. Si el inversionista prudente y de largo plazo compraba una cartera de acciones para un fondo de jubilación, o el especulador vaquero comprando y vendiendo en rápida sucesión, el proceso siempre estaba limitado por la velocidad de la mente humana y el tiempo que tomaba para Recoger un teléfono y poner una orden a través de. Incluso el especulador más rápido todavía tomar un número de minutos para completar los oficios. Hoy en día, esto ya no es el caso. La confluencia de la tecnología informática, las técnicas de codificación y la infraestructura de comunicaciones han permitido a los comerciantes automatizar los procesos de pensamiento humano convirtiéndolos en algoritmos que pueden ejecutarse utilizando haces de luz en cables de fibra óptica. El tiempo que se tarda en completar un comercio se ha reducido a milisegundos e incluso a microsegundos, miles y miles de segundos. Esto ha dado vida al surrealismo del comercio de alta frecuencia. Ha sido un largo tiempo en desarrollo, desde los primeros días de 8220program de comercio 8221 en los años 80, poco a poco cada vez más rápido y más rápido 8211, pero es sólo en los últimos años que la gente ha comenzado a tomar nota. En particular, salió a la luz durante la crisis de Flash de 2010, cuando el mercado de valores de Estados Unidos inexplicablemente se estrelló y luego enderezó a sí mismo dentro de unos pocos minutos, un evento atribuido a muchos algoritmos HFT que se va. 1.2: Cómo me siento acerca de esto? No pretendo saber cómo se debe sentir acerca de esto. La gente está rutinariamente preocupada por las cosas inofensivas, y rutinariamente completamente despreocupado acerca de cosas increíblemente perjudiciales. Lo que podemos decir, sin embargo, es que para muchas personas corriendo sobre el trabajo cotidiano que implica el trabajo real de algún tipo, el concepto de un robot comerciante haciendo 100 oficios en el tiempo que les lleva a tomar una taza de té hace Ellos se sienten incómodos. La práctica puede parecer antinatural, o compleja, o fuera de control, o simplemente extraño. Incluso si parece no hacer daño, es difícil incluso conceptualizar lo que es. Quiero decir, los ingenieros aeroespaciales hacen algo bastante complejo y no puedo decirte cómo lo hacen técnicamente, pero entiendo lo que hacen en principio: diseñan máquinas voladoras que permiten a la gente viajar largas distancias. Por otra parte, un diseñador de algoritmos de negociación de alta frecuencia hace lo mismo. Bueno, sabemos que ganan dinero, pero normalmente la gente gana dinero haciendo algo que tiene algún valor de uso para la sociedad, como instalar tuberías en el inodoro o diseñar su negocio Tarjeta o sacrificio de ganado para hacer hamburguesas. Si tuviéramos que preguntar cuál es el propósito de HFT por otro lado, la gente probablemente se detendría un rato antes de intentar responder. La oscuridad de la técnica y la meta plantea naturalmente la sospecha de que este es sólo otro esquema de las elites financieras hinchadas para extraer más de la sociedad. O, por supuesto, para aquellos profesionales financieros que trabajan en HFT, las personas que se asustan con ella podrían verse un poco como los campesinos supersticiosos e ignorantes que no entienden los mercados. Ellos quieren que la gente pase por alto ese sentido intuitivo de que hay algo extraño en HFT, y simplemente relajarse: 8220 Somos científicos, raquíticos raquíticos, detenemos su infundada confusión sobre esto. It8217s perfectamente natural. No encontraríamos aliados con ciertos economistas de mercado y frecuentemente agregamos un borde de indignación explícitamente moral: 8220 Estamos ayudando a los mercados ofreciendo un valioso servicio de liquidez y descubrimiento de precios. Si usted nos detiene, todos sufrirán.8221 1.3: El comercio, el comercio técnico, el comercio de algo, HFT Let8217s dar un paso atrás, y tratar de poner esta actividad en su contexto. Los mercados financieros como una bolsa de valores facilitan la compra y venta de instrumentos financieros, que son contratos que le dan derecho a recibir devoluciones con el tiempo. Tienden a acoger a diferentes jugadores con diferentes horizontes temporales. En los anillos exteriores se obtienen los grandes inversores institucionales, como los fondos de pensiones. Llegan ocasionalmente al mercado y realizan grandes inversiones, adquiriendo grandes cantidades de acciones, a menudo con el fin de mantenerlas durante varios años. Luego, en los anillos interiores, se obtienen jugadores más rápidos y más volátiles que los llamamos comerciantes 8211 que ganan dinero saltando dentro y fuera de los mercados, como tiburones ágiles nadando entre las vainas más lentas de grandes ballenas. No todo el comercio es el mismo sin embargo. Si desea conceptualizar el camino hacia el comercio de alta frecuencia. Comience por entender el concepto general de comercio. Los comerciantes financieros compran y venden instrumentos financieros, tales como acciones en compañías. Esperan comprar a un precio inferior al que venden, con lo que obtienen ganancias. Ahora entienda el Trading Técnico. Los comerciantes tienen diferentes técnicas de especulación. Pueden, por ejemplo, pasar horas investigando los registros de una empresa en particular para hacer evaluaciones, una práctica llamada negociación fundamental. Alternativamente, pueden analizar las actividades de otros comerciantes en un mercado para tomar decisiones. Este análisis técnico de los datos de precios, pedidos y volúmenes generados por otros comerciantes conduce al comercio técnico. Ahora imagine que automatizado en Algorithmic Trading. Uno podría decidir automatizar el proceso de negociación técnica, de tal manera que un algoritmo analiza una corriente entrante de datos de precios, pedidos y volúmenes y hace operaciones bajo ciertas condiciones. Lo llamamos trading algorítmico. (Nota: es posible hacer una distinción entre el algoritmo y el comercio automatizado, pero para la facilidad permite asumir que estos son los mismos) Entonces imaginar que se aceleró en el comercio de alta frecuencia. Si usted acelera ese proceso de trading algorítmico automatizado a velocidades extremas, está haciendo transacciones de alta frecuencia. HFT es, por lo tanto, mejor inicialmente pensado como un algoritmo muy rápido de comercio. Que en sí mismo es el comercio automatizado técnico, que en sí es una sub-rama de comercio más amplio. Se puede contrastar con, por ejemplo, el comercio más lento, fundamental, que es lo que la gente como George Soros hacer (él y sus analistas en realidad se sientan en una habitación y ver el mundo y luego hacer grandes apuestas en él). Por último, recuerde que podemos volver a contrastar este mundo entero de comercio con el mundo de la inversión a largo plazo. Que es lo que hacen los grandes y lentos fondos de pensiones. Para volver a la anterior analogía del ecosistema, entonces, las empresas de HFT son como las pirañas entre los tiburones entre las ballenas. Nota: Si ha disfrutado de esto hasta ahora, puede que le guste mi libro 1.4: Cómo configurar una empresa HFT debe. SER. MÁS RÁPIDO Las diferentes organizaciones comerciales pueden tener razones ligeramente diferentes para participar en HFT. Algunos grandes bancos, por ejemplo, lo usan como una herramienta para tomar un gran pedido y fragmentarlo en un montón de pequeñas órdenes, como usar una boquilla de dispersión para convertir un chorro de manguera en una fina niebla del mercado que la gente no nota fácilmente. Muchos jugadores de HFT, sin embargo, son puramente especuladores de corto plazo, empresas comerciales especializadas y fondos de cobertura. Si usted quería establecer uno de estos, aquí hay algunas cosas que hacer. En primer lugar, obtener algo de dinero de arranque - ya sea la suya o de algunas personas realmente ricas. En segundo lugar, incorporar y capitalizar una empresa (tal vez crear una empresa de gestión en Londres, donde usted realmente se sienta y trabajar, y luego crear una empresa separada en las Islas Caimán que realmente tiene el dinero, y luego elaborar un contrato que dice que el Londres uno trabaja para el Cayman uno). Entonces usted contrata a algunas personas, tal vez a través de una agencia especializada de contratación, o tal vez por pop en LinkedIn para buscar profesionales de HFT. Tal vez le gustaría contratar a Steve. Que sabe cómo hacer que el hardware HFT sea costoso para usted, o Fabio que puede escribir código C y construir su arquitectura de software. Mark aquí no tiene casi nada escrito en su perfil, lo que sugiere que trabaja exclusivamente a través de headhunters, típico de ex-Cambridge, ex empleados de Goldman Sachs. Ofrezca mucho dinero a este gran talento, y pídales que diseñen algunos algoritmos. Comience con el diseño conceptual y luego obtener su chico C para codificar para usted. Incluso puede querer patentar sus algoritmos. O la arquitectura de sistemas que ha diseñado. Sin embargo, esto no es un pedante artículo técnico sobre la naturaleza exacta de la tecnología HFT. Hay enormes cantidades de jerga llena de bumf y geeky discusiones en Internet si you8217re realmente interesado en la tecnología, pero la esencia de lo que tienes que hacer es esto: debe cortar algún tipo de un acuerdo con una empresa de corretaje y un stock Intercambio para obtener su algoritmo impresionante tan cerca de la bolsa como sea posible. Debe minimizar la distancia física entre el ordenador en el que se encuentra el algoritmo y el ordenador en el que se encuentra el sistema de comparación de pedidos de intercambio, de modo que los dos puedan entrar en un diálogo intenso y de velocidad ligera entre sí. Hay un sub-campo técnico completamente arcano alrededor de tal infraestructura de acceso directo al mercado de baja latencia. Normalmente, si una persona quiere comprar o vender acciones, tiene que ir a través de un corredor que es un miembro del intercambio que quieren comprar o vender acciones. Eso toma waaaaaaay demasiado largo para un comerciante de HFT sin embargo. Tornillo que, usted necesita ir directamente en el corazón del intercambio sin pasar a través de los procesos normales de corretaje. Idealmente, usted quiere encontrar una manera de co-localizar directamente con un intercambio, que es una manera elegante de decir que usted necesita literalmente configurar su computadora en la habitación al lado de sus computadoras. Para ordenar la ubicación conjunta, consulte los servicios ofrecidos por NYSE. Nasdaq. La Bolsa de Londres. Eurex. CME e incluso la Bolsa de Johannesburgo. Aquí está la bolsa de valores de Toyko describiendo la diferencia entre su área de co-ubicación y su área de proximidad (ambas le dan una fuente de alimentación de 100-200v, pero el área de co-ubicación tiene una mayor capacidad de refrigeración de 8kVa, por lo que puede que desee utilizar Que si su algoritmo es probable que la computadora se derrita). Aquí hay un video promocional que hicieron al respecto. Los intercambios tienen toda una balsa de 8220 servicios de conexión 8221. Tal vez esto implica darle agradable de alta especificación de cable y sistemas de refrigeración, mientras que también la configuración de datos premium con feeds. Huelga decir que toda la matriz viene con una matriz (inicialmente) desconcertante de jerga - una gran parte de ella asociada con la pila de tecnología - pero al final se reduce a una fórmula bastante simple: Usted alquila una computadora al lado del intercambio. Usted instala sus algoritmos en él. El intercambio entonces envía sus algoritmos un gran alimentador de datos a través de un cable, sus algoritmos lo procesan y disparan órdenes de vuelta a través del cable. E intenta diseñar su plataforma para que haga todo esto más rápido que cualquier otra persona. Tal vez you8217ll sentarse en una oficina a pocos kilómetros de seguimiento de todo, la construcción de una nueva versión de su sistema. Si necesita ayuda para configurar todo esto, puede recoger algunas de baja latencia de infraestructura de comercio de apoyo y consultoría de la talla de Sungard. Cisco. Algospan. Datos Interactivos. Y Lato Networks. De lo contrario, aprender de los maestros existentes, las empresas reales HFT que ya han conseguido estas cosas. Al igual que las instituciones más poderosas, detrás de las cámaras, estas firmas a menudo tienen nombres oscuros, no reconocidos y sitios web poco informativos y ligeramente vago. Echa un vistazo, por ejemplo, Virtu. ATD. KCG. Bono de cambio. Tradeworx Capital líquido. Chopper Trading. Fondo de comercio táctico de Citadel8217s. Torre de Investigación y RGM. 1.5: Perfecto el arte electrónico de la guerra PIMP MY ALGORITHM Ahora, no es como estas empresas todas utilizan las mismas estrategias. Algunos utilizan el análisis estadístico y el arbitraje de varios tipos, mientras que otros operan exclusivamente en las estrategias de la microestructura del mercado, que parecen implicar conocer las entrañas electrónicas íntimas de los sistemas de intercambio y cómo se pueden aprovechar. Uno podría participar en el comercio flash. Que algunos argumentan es una forma de legalizar el front-running. Usted podría golpear a los mercados con órdenes a través de 8221order relleno 8243 (lo que apunta HFT Dave Lauer llaman un ataque DDOS financieros). You may layer orders across a market like fairy dust, perhaps trying to incite outbreaks of 8221momentum ignition 8220, which appears to be a form of subtle market manipulation. Some have aggressive trading strategies aimed at proactively following trends and taking opportunities, while others might be more passive, like electronic Aikido - bots using minimal exertion of energy. It8217s worth taking a read of this piece by Irene Aldridge if you8217re interested in some of the strategies. This introduction here is also useful. As an aside, if you wish to get a feel for the language and spirit of the scene, it8217s always worth browsing the techie discussions of the professional finance quants on places like the Wilmott Forums. Such people are immersed in the nitty gritty of day-to-day finance and generally have a decent knowledge of this stuff. If you8217re game for grappling with jargon, check out a user like Quantumar, who likes to lay down a stream of financial cowboy speak (It doesn8217t matter if you don8217t understand it, but it8217s useful to mine these conversations for clues): 8220Most of HFT is a very simple speed game of arbitrage. They either arb cash vs futures markets or in equities they get hit/taken in one ECN and sell/buy on somewhere else, either all or most of the money is made from a fraction of rebates in market making equities. Some few firms do milliseconds momentum trading, they realise someone is coming in with orders and they jump ahead of the orders (because they are faster to reach the market) they push the market one cent and sell back to the original buyer8230 They also use flash orders to jump ahead of big orders. Some also look into depth of book and try to trade as well. There are a few more strategies they use in equities. Also some firms look at options markets and arb the delta hedgers. Most of the strategies are not mathematical but related to microstructure of the markets8230 These shops are ultra high frequency shops, there could be up to millions of orders a day depending on how many markets and how actively they trade. They require mostly really good C skill sets, API connectivity knowledge on the software side. Hardware side they require really low level hardware knowledge such as bypassing the stack and tricking kernels. They also look for lan/wan guys who can push data a few microseconds faster in the network. They use very expensive and specialised equipment. A simple switch that is decently fast costs 50K8230 All the data that is available to HF groups is available to all traders, the difference is they trade on that information before you can even receive it in your computer. How fast they can get it and react in the market is the difference. They are dealing with single-digit microsecond latencies in their networks and computers, not milliseconds.8221 1.6: The (narrow) academic debate Away from all the Youtube video explanations. journalistic reporting and forum discussions on HFT, there is obviously also a body of academic research. If you8217re looking for robust arguments rather than Quantumar8217s gunslinging 82208217let me tell you how it is8221 street-smarts, the research-oriented individual might browse the academic journals. There is research emerging from finance and economics departments, unsurprisingly, but also from a few other disciplines. A friend of mine who teaches university-level finance noted that a potential problem in HFT research is that researchers rely on HFT firms to give them data and hence are always at risk of being intellectually captured by the firms they rely upon, perhaps even engaging in forms of self-censorship. To add to that, the research often seems to try be as dry and technical as possible it sounds like it emerges in a world without politics, culture or history, or, for that matter, actual people, making it deathly dull and hard to read. The research questions are narrow, with an obsessive focus on questions like HFT8217s impact on liquidity and price discovery . In essence, liquidity refers to how easy it is to trade. If I arrive in a market and I8217m immediately able to sell or buy, there is high liquidity. If, on the other hand, it takes me a long time to buy or sell, there is low liquidity. Some of the debate around HFT and liquidity concerns whether HFT adds to, or just absorbs, liquidity. In other words, do HFT firms, on net, help other participants to trade more easily, or do they get in the way This debate includes questions of whether the liquidity they might offer is real or not. For example, the robot traders may constantly signal that they8217re willing to trade, and then run away. Price discovery is a somewhat fetishised term for the process whereby the apparently correct price for something is figured out through a group of market participants 1) reacting to information by 2) placing buy and sell orders that are 3) mediated through some market infrastructure. So if it8217s announced that a firm is about to go bankrupt and the stock price suddenly rockets upwards, it8217s likely that something has gone wrong with the price discovery process. The question is, does HFT help reveal the true sentiment in a market, or does it just cause instability and weird anomalies like the Flash Crash There is also an emergent body of research on whether what HFT firms do is legal, or constitutes some form of market manipulation or 8220front-running8221 at the expense of other market participants. And, finally, we are starting to see a trickle of articles about the human dimensions of HFT, the actual people who run these operations, the politics of it all, the anthropology and how it reflects the broader trajectory of the global economy. at a later date I will hopefully update this with a proper database of this research 1.7: Research, and lobbying, informs a regulatory debate PRESENT YOUR IMPARTIAL EVIDENCE Much of the news on HFT is about the political battles and the threats of regulators to clamp down on it. Theoretically, the regulatory debate is supposed to be informed by the academic research, but of course we might also suspect that the regulatory debates are equally informed by lobbying . Lobbying itself often takes the form of groups picking particular academic research pieces to showcase to regulators. The Modern Markets Initiative. for example, has curated a heartwarming selection of friendly research articles to back up its claim that HFT creates a market utopia that 8220saves individual investors8217 money by lowering the cost of trades8221 and that it 8220democratises today8217s marketplace8221. When not getting spammed by such transparently self-serving groups, the regulatory bodies have been putting a fair amount of research into this themselves, churning out papers and briefings. They might also receive submissions from those firms and reforms groups that are on the warpath against HFT. This includes groups like Themis Trading. who, in the words of author Michael Lewis, have 8220done more than anyone to explain and publicise the predation in the new stock market8221 (see their extensive collection of critical HFT research ). Other critics include data provider Nanex and the aforementioned David Lauer. There is also a whole raft of renegade financial pundits from the financial blogosphere who speak out against it. Types of regulations that are being suggested include taxation of HFT (something along the lines of a financial transaction tax), and regulations concerning the speed of trading, the order size, and order-to-trade ratio (how many orders a trader can put in, relative to how many times they actually trade). These debates are at various stages in the US, the EU and Asia. Take a look, for example, at the German High-Frequency Trading Act . Incidentally, it8217s worth looking at the dynamics of similar regulatory battles over commodity market speculation. Commodity exchanges like CME Group pointed to a single study by a dude at the University of Illinois to argue for why speculation didn8217t negatively destabilise commodity prices, despite the fact that many other studies argued it did. HFT firms, like commodity trading firms, take advantage of the complexity of the situation and slowness of regulators. They implicitly take the position that 8220until it8217s proven wrong, it8217s right8221, rather than 8220until it8217s proven right, we should take precautions8221. NOTE: If youd like to support my ongoing Creative Commons writing, please consider buying me a virtual beer PART 2 (4500 words) Five frames through which to view HFT WHAT DO YOU WANT TO SEE To some extent, I am indifferent as to whether or not HFT disrupts markets. Partly this is because I don8217t take markets to be some kind of holy construct that obviously serve humankind, and that thus cannot be defiled. I mean markets have long been institutions of systematised abuse, where those with more power can use the apparently apolitical act of exchange to extract advantage. But, let8217s for a moment imagine that market infrastructures do generate some kind of mysterious holy force that always makes society better off. What exactly does HFT do to help this Well, the refrain from the proponents is that HFT facilitates liquidity in markets for financial instruments. This statement comes complemented by wrath-of-god like warnings about what will happen if this liquidity is reduced. If you allow liquidity to go down, your grandmothers pension will suffer Goddamn LIQUIDITY is always trotted out like it8217s the greatest service to humankind since fire was invented. Now, I don8217t like to be (too) judgmental, but in the grand scale of societal injustices, 8216slightly lower liquidity in Microsoft shares8217 barely ranks, and in the grand scale of human achievements, 8216slightly higher liquidity in Microsoft shares8217 barely ranks either. It8217s not like the creator of the algorithm has invented a new way to harvest energy from lightning bolts. And certainly, using your university degree in advanced computing to contribute to microscopically more accurate 8216price discovery8217 doesn8217t mean you get to go down in the grand book of human virtue. But of course, this whole appeal to morality from the lobbyists is obviously completely disingenuous. It8217s not like people are getting jobs in HFT firms because theyre possessed with an evangelical desire to improve liquidity to help pensioners. Creating an epic light-speed infrastructure array to exploit microscopic price discrepancies has got about as much to do with helping pensioners as Formula 1 racing has to do with improving transportation for the elderly. 2.1: The unstoppable progress of rational agents without agency WERE INDEPENDENT AGENTS, RESPONDING RATIONALLY TO INCENTIVES Regardless of appeals to the morality of HFT, there is another more subtle line. Note the name of the aforementioned pro-HFT lobby group 8211 The Modern Markets Initiative . The name is a deliberate attempt to paint anyone who is concerned about HFT as an enemy of modern progress, standing in the way of the inevitable triumph of a more efficient, rational world. The tech-as-progress dogma is widely entrenched in our society, like a hard-to-remove piece of social malware that disarms peoples critical impulses. The luddite impulse is ridiculed, rather than celebrated as a healthy skepticism towards tools of the powerful. But this tech fetishism becomes even more entrenched when it meets with the mainstream economics belief in the virtue and inevitability of rational economic agents pursuing self-interest . It8217s here that the dual utopian visions of tech-as-unstoppable-progress and markets-as-unstoppable-progress merge into one stream. If the technology can be built, and provided that some kind of profit can be made by entrepreneurs taking the short-term opportunity to build it, an inertia sets in, an imagined inability to stop the 8216progress8217, regardless of whether it is actually useful in the long term or not. Attempting to stand in the way of such a stream of individual actions is seen as futile, and even unjust, like trying to stop a river flowing down a hill. Indeed, this is part of the implicit background thinking that leads to terms like 8216arms race8217 being used to describe the development of HFT (and other technologies). If one entrepreneur doesn8217t do it, another will . Ever heard a tech person saying you cannot stop technology There is a deep irony to this vision. Above all, there is a distinct lack of agency projected when people insist that 8216this cannot be stopped8217, but it gets coupled with a vision of thousands of entrepreneurs all individually impelled through 8216agency8217 towards something that will occur regardless of whether they choose to make it occur or not. In other words, a kind of agency towards executing a preordained plan. This vision of the rational-agent-without-agency is something that plagues much mainstream thinking on economics, a strange blend of extolling the virtue of the risk-taking individual whilst simultaneously asserting that they8217re irrelevant, mere puppets acting out the will of 8216the market8217. Here, for example, is big-shot venture capitalist Mark Cuban explaining his take on HFT: 8216If you know the game is rigged and that it is legal to participate in this rigged game, would you do everything possible to participate if you could Of course you would . Its a statement dripping in contradictory ambiguity, a vision of independent agents acting like pre-programmed robots that have to abide by some imagined law of economics. MUST. PARTICIPATE. IN. RIGGED. GAME. In reply Id say: No Mark, I am not a character out of an Econ 101 textbook. I am perfectly capable of overriding the impulse to play the rigged game, and to decide to not play it. In saying it is inevitable, you8217re just trying to justify your own inability to do that. The problem, though, is that provided enough people think like Mark, the inertia continues to be presented as natural . a collective action problem portrayed as a liberator of previously unrealised human potential. 2.2: Automation: People create robots to crunch (big) data GOOD DOG, GO FETCH To be one of the aforementioned economic agents in the HFT space, you need to master three things. Firstly, you need to master the physical hardware: the actual wires, cables and microwave towers. Then, you must be able to master the data streams travelling through those wires, to collect it and arrange it in an efficient manner. Then you must be master of the algorithm that knows what to do based on that data. The algorithm is your automated avatar in the marketplace, 8216thinking8217 and acting on your behalf. Your algos must work with lots of data, but it8217s worth noting that not everyone perceives HFT as a realm of 8216big data8217. The hype around big data, to some extent, concerns the growing capability to do real-time processing of huge dams of data (like modelling of climate on supercomputers), but 8216real-time8217 doesn8217t necessarily mean microsecond-level speed. It makes no difference whether it takes you 5 minutes or 20 microseconds to know a hurricane is forming. Much HFT, on the other hand, is more about brute reaction time to a high pressure hose of data, rather than a dam. That said, being able to react at microsecond speed to colossal dams of data is emerging. The HFT company Tradebot (based in this building in Kansas City), has been known to trade a billion shares in one day, making millions of individual trades. In their own words, 8220Market data changes trigger our system to produce new orders in a few hundred nanoseconds. We collect and analyze billions of data rows to find the edge. Our Hadoop cluster is over two petabytes.8221 A Hadoop cluster is an array for holding massive amounts of data, and two petabytes is 2 million gigabytes. How many gigabytes is your computer Regardless of whether all HFT strategies should be considered a realm of Big Data, HFT is a subset of the broader realm of algorithmic trading, which is on the cutting edge of financial data science more generally. To create financial algorithms often first involves 8216back-testing8217 potential algorithms on huge banks of historical market data, essentially engaging in 8220what if I8217d done this between 1980 and the present8221 time-travel exercises. If you find an algo that seems to work on past data, you can crystalise it, then send it to work on real-time data in the present. John Fawcett of Quantopian notes with a certain amount of joy how automated algorithms 8220remove human emotion and bias from trading decisions8221, opening up a brave new world of emotionless finance. You use statistical back-testing to find the most 8216rational8217 strategy, then lock it in a hard-coded shell that 8220never falls prey to sentimental pitfalls8221. You too can now isolate and strip away your emotion from your rationality, automating your rational self in the form of your very own algorithm that you can keep like a pet, or a slave, to do things for you. 2.3: Automation: Robots create (big) data to crunch people NETWORK, OR SPIDERS WEB We tend to understand the concept of actively using technology to achieve certain ends (exercising agency), but we find it harder to conceptualise the potential loss of agency that technology can bring. It8217s a phenomenon perhaps best demonstrated with email . I can use email to exercise my agency in this world, to send messages that make things happen. At the same time, it8217s not like I truly have the option to not use email. In fact, if I did not have an email account, I would be severely disabled. There is a contradiction at play: The email empowers me, whilst simultaneously threatening me with disempowerment if I refuse to use it. In HFT and algorithmic trading more generally, we have a range of disparate players each individually working on building little pieces of the infrastructure and single algorithms that they control. When we zoom out though, we might see the outlines of something bigger. While individual algorithms appear as isolated, individual slaves to creative masters, the collective array of algos can begin to seem like a spiders web displaying emergent properties that are not under the control of any particular human master. Or, lets put it this way: Traditional sci-fi depictions of artificial intelligence always show an individual mad genius building and unleashing an overlord computer that then kind of behaves like a hyper-powerful human. In reality, if an overlord technological system was to be built, it would not be a single computer, and neither would it be built by a single mad genius, and it wouldnt really look or feel anything like a human. It would be an interwoven mesh of technology, brought to life by individuals who never explicitly designed it, with no obvious human face or interface. In reality we already see these emergent forms all around us, but are not well trained to recognise them. They emerge whenever humans 8216lock themselves in8217 to reliance on a technological infrastructure, and lock themselves in to a point where they cannot pull back out due to the interconnections and dependencies that subsequently emerge. Those infrastructures then, have a certain power over society, even though their individual nodes may be under the control of particular people. I have previously referred to this concept 8211 albeit in a different context 8211 as the Techno-Leviathan. technological infrastructures that seem passive and neutral but that contain a kind of latent organising force over the people who seemingly contract into using them. So, the question to ponder is whether, when viewed collectively . we might begin to imagine the high speed mesh of individual algorithms as resembling one a giant robot, brought to life by hapless human agents-without-agency, all believing themselves to be shit-hot independent gunslingers of the market, but actually just a disconnected workforce for an emergent AI. Or at least that8217s what Stephen Hawking might argue . Even if you dont buy that abstract concept, we might look into the more concrete realm of individual algorithms to see the shifting power dynamics: there is much excitement about 8216machine-learning8217, the creation of self-teaching algorithms that seek constant enlightenment and self-improvement, creating their own personalities. Artificial intelligence is not just being able to process stuff, it8217s the ability to learn. Indeed, the FT8217s Sally Davies notes that 8220GFT, which works with big global investment banks, has partnered with Massive Analytic, a big data start-up, to develop trading software based on 8220artificial precognition8221. Even if it doesnt end up in the realm of Minority Report, it stands to be a total mindfuck for regulators. 2.4: Disconnected boys with dangerous toys NERD CULTURE MEETS JOCK CULTURE Having detoured into the possibilities for an emergent rise of the machines, we might go back down to earth and look into the human world of HFT. Who are the individual people involved, and what are the cultural dynamics Obviously there are many different types of people involved in HFT. Im sure many of them are lovely, but the last algo trader-boy I met was a guy from Ronin Capital who happened to be one of the most condescending assholes I8217ve experienced in a while, coming packaged with one of those heavy-set wrist-watches and a shirt with expensive fibres, both marking out a rising member of the financial elite. He spent a lot of time in the gym, because you dont develop big muscles from sitting behind a computer. This seemed to fit quite well with the pseudo Samurai aesthetic of his firm. If you enter Ronin8217s website, there are gong sounds and pictures of swords, as if the traders behind the interface of the computers want to imagine themselves engaged in hand-to-hand combat with a vicious opponent that could actually kill them. Of course, given that they are probably educated at elite universities, it is unlikely that they8217ve ever had any exposure to actual bodily harm, and probably never will. This is a dynamic in the financial sector more broadly: highly educated people, frequently male, induced into believing they8217re engaged in some kind of mortal combat, despite the fact that they8217re surrounded with abundant opportunities and money, and despite the fact that they8217re sitting in an air-conditioned office at a computer engaged in nothing remotely like combat or physical hardship. This pseudo-battle is perhaps best exemplified by TradeBot, who without a trace of irony state that: The stock market is tough. It owes us nothing. It punishes our mistakes. Others have more money, more power, more connections. We are underdogs. We keep learning. We innovate. Every day is a new fight. Technology is our weapon. We make millions of small trades. We cut losses. We identify opportunities. We focus. The market can be beaten. We love the game. When assessing these banal market-as-mortal-combat statements, I like to use the WWII Grandfather Test . which involves me asking myself what my grandfather would say about it. He was a bomber pilot during WWII and got shot down over Germany, crash-landing a flaming heap of metal on the coastline after probably killing a lot of people with incendiary bombs. Ask your granddad: what do you think about Tradebot8217s battle with the 8216the market8217 I don8217t know about your granddad, but I like to think mine would have said, 8216I have no bloody idea what they are doing, but I know it has no connection to real people living in real places8217 . Seriously Tradebot, if you really think you8217re so tough, go do some shipbreaking in Bangladesh. and you8217ll quickly discover that an actual battle isn8217t a 8216game8217. Indeed, you can always sense something is a realm of cushioned elites when the language is all about 8216players8217 jostling with each other. Sports and games are simulacrums of combat, not actual combat. You only perceive the real world as a 8216game8217 when you8217re in certain types of environments that provide a big cushion to protect you 8211 like an elite, global city, for example. There is a particular urban geography to these infantile computer games. When one is sitting in a nice modern city full of other fairly superficial activities, things like HFT gain a certain legitimacy. They are creatures of urban, tech-centric society, where couches, excel-spreadsheets and lattes abound. It8217s only in such a setting that you can imagine grown adults bickering with each other over the meterage of cable connecting them to a stock exchange. Imagine the furious exec shouting at the co-location manager, 8216Our cable is a metre longer than Tradebot8217s cable, why the fuck did you allow that We8217ve lost a nanosecond8217 It8217s kind of embarrassingly juvenile when you stand back a moment, look through granddad8217s eyes, and watch a serious-faced discussion about whether C or Java will achieve the holy grail of zero latency. We8217re not talking about old-school realpolitik here, where some tycoon is battling another tycoon for control of some vast mining territory. Regardless of whether HFT is damaging or not, its just kind of. Um lame. 2.5: HFT and the financialisation of meaningless noise AS YOU CAN SEE, OUR PRODUCT CAPTURES MEANINGFUL MARKET MOVEMENTS 8216Financialisation8217 is a term laden with various interpretations, but it tends to refer to the increasing importance of the financial sector in overall economic life, the infusion of financial sector norms and morality into everyday culture, and the process by which previously uncommoditised things get turned into financial products that can be traded on financial markets. That8217s a pretty broad description, so I prefer to initially think of financialisation as the end result of things being made 1) ownable 2) investable and 3) tradable. The greater the intensity and extent of these elements, the greater the degree of financialisation of that thing. Ownable means the thing can be claimed by someone, and that they can exclude others from its use. 8216Ownability8217 relies on being able to isolate and separate something off from things around it. For example, the enclosure movement involved turning land into demarcated parcels that could be separated from each other and privately owned Investable means turning the thing owned into an asset that delivers returns over time. While a piece of land might be something that you can own, and have an emotional connection too, you might begin to view it as an asset when it is used to produce yields over time. It might be perceived as a generic investment, rather than a piece of land with a particular history and life Tradable means that asset can be passed on to others Still, moving land from person to person is slow and personal. Land only really gets financialised with it is turned into a generic 8216asset class8217 that disconnected investors can quickly buy into or out of. So, imagine a financialisation process in this sequence: I own a farm. I can use it to make food I own a share in my neighbour8217s farm. I can claim a portion of the produce I own a share in a small private farming company. I get annual monetary dividends and read the reports I own a share in a large publicly traded farming corporation. I get monetary dividends and can sell my shares to others at any point on the stock exchange I own a share in a huge agriculture exchange-traded fund (ETF) that owns shares of farming corporations all over the world I own a share in a hedge fund that rapidly trades a portfolio of such ETFs, and bets on such ETFs via derivatives We might say that financialisation is the creeping process by which new frontiers of ownership are isolated, and turned into investable products that a wide, disconnected range of dispassionate investors can emotionlessly slide into and trade with each other. The more distant you are from the thing you8217re invested in, and the easier it is to trade, and the faster the trading, the more disconnection you can experience. But, there is a point when the speed of trading hits a tipping point, and takes you into a realm that is no longer about the farm, or anything real for that matter, at all . This is where HFT take us. While it ostensibly seems to be about the trading of shares on stock-markets (and other things like currencies), in reality HFT has nothing to do with shares. The 8216thing8217, or object that is being traded is not actually a financial instrument, but rather it is the microscopic tremblings of a financial instrument. This is a subtle point to convey. Much normal speculative trading is done fast, with a trader quickly buying something and then trying to sell it to someone else. Nevertheless, there is always a sense of a thing being manipulated in some way. Just like when you are flipping a hot potato, there is always a brief moment of being invested in the heat of the real world, even if fleeting, and there is always some residual awareness that there is some reality to the thing. In the case of a BP share, for example, the share has a reality based the fact that it is a legal claim upon what BP owns. It is thus directly connected to the real world outlook of those oil fields and pipelines. We call traders who make assessments of that reality fundamental traders: They might say I think OPEC is going to decrease supply and thereby boost the price of oil, and thereby boost BPs profit. I will therefore buy this BP share that allows me to benefit from any perceived increase in the value of BP8217s collective assets. The actions of such fundamental traders give rise to a second-degree reality that is exploited by traders who watch the data they generate. We call this technical trading. Such traders may say Market data suggests that a lot of people are currently buying BP shares. I am going to ride with this sentiment. Both of these techniques rely on a type of sentience, an awareness of some external reality and an ability to reason about it. In the case of fundamental trading, its the awareness about some new development in the world of oil. In the case of technical trading, its the awareness of some new trend that is developing among other traders. For something to contain meaning, in the human sense of the word, it should be something that is open to human experience . There are many things that are not open to human experience - for example, perceiving radio waves - and in a sense that takes them out of the realm of meaning. Sure, we can use instruments to detect radiowaves, and try make meaning out of the resultant observations, but radio waves cannot ever really mean anything to us in their raw state. The key thing about a radiowave though, is that its existence does not depend upon human observation. It exists regardless of whether you can perceive it or not. A share is nothing like this. A share, by definition, is a politically constructed claim on a politically constructed company that is run by humans, doing things that are perceivable by humans. Its value does not exist outside of human assessment of how well that is being done, and there is no hidden reality to a company that operates outside the realm of human experience. We cannot say something like well, we cannot see BP, but we know it exists through experiments at CERN . BP, unlike radio-waves, has no microsecond reality. In other words, nothing can meaningfully change in such a legally constructed entity in the imperceptible space of microseconds. Thus, when you in fact do dip into the realm of microseconds, it is highly implausible that an automated trading algorithm is actually being exposed to external 8216outside information8217 that has anything to do with either BPs operations, or observation of an emergent trend in people trading BP shares. At that level, all youre doing is highly precise arbitrage activities in microscopic inconsistencies in peoples perceptions, or perceptions of perceptions, of reality. The activity going on at the molecular microsecond level is by definition, not about the thing being traded. The sheer emotional disconnection engendered by the technological medium, combined with the sheer speed means that this certainly cannot be thought of as trading in things at all. This is the isolation of, and subsequent trading of microscopic, subconscious instability. It is the financialisation of meaningless noise, something that previously wasnt subjected to commodification. The algos have an internal world, like the internal world we see in those electron microscope pictures where tiny, imperceptible flakes of dust appears as a whole landscape with valleys and hills. From the perspective of an atom, that world means a lot, but from the perspective of humans, the internal contours of a speck of dust are irrelevant and meaningless. Likewise, at microsecond level, you8217re trading meaninglessness. In closing: Parasitic algorithmic surrealism One common problem in thinking about HFT, though, is that people8217s minds run away with them. They feel panicked by how alien it seems, having visions of extreme market meltdown as rogue algorithms run everything in a giant psychedelic orgy of routers. Its worth taking a breath before stressing out too much. While it8217s true that the algorithms might exist in serene, unreal bubbles, at some point they are constrained by the reality of the world. Take, for example, the Flash Crash. It was a momentary breach where rogue algorithms painted a warped picture of reality, but minutes later the real world kicked back in and the algos had their collective wills bent back. If Wallmart goes bankrupt, the value of a Wallmart share will tank, and if an algorithm says otherwise, it will be crushed by the legal reality that the shareholders of Wallmart are going to get blasted out of the water. There are probably limits on how much HFT can proliferate. I mean, a parasite relies upon an ecosystem to survive, and in the end, HFT algos have to feed off something. In this case, it8217s probably the big institutional investors - the whales that make up the baseload order flow of the market - that host the HFT parasite. The question is not so much whether HFTs can 8216take over8217 a market, but rather whether they disrupt it, exert a new cost on it, or otherwise cause a nuisance. (of course, if youre an industry lobbyist, you might alternatively suggest that they 8216offer useful services8217 and improve the ecosystem) To me, though, the really interesting question about HFT is not this banal fixation on whether it disrupts markets or not. Its the cultural and political elements. Its how such a ridiculous thing can be viewed as legitimate . And, its the sheer physicality of it, the fact that it appears ephermeral yet relies upon huge real world infrastructure to engage in the essentially meaningless activity. And, it is the geography. Its a technology set that attempts to eliminate distance and time, but perception of distance and time are two main components of a sense of difference between places. Eliminate the sense of distance and the time it takes to get there, and you can create the homogenising illusion of being in many places at once simultaneously. The computer interface at a global HFT firm, presiding over multiple global markets, is an agent of bland homogenisation. Above all, though, HFT is an agent of financial surrealism. We make electricity by burning real fossil fuels dredged out of the Niger Delta, and then waste that running servers doing something that cannot even be represented. Serious-faced men have serious-faced meetings about it, but they might just as well be wearing pink unicorn outfits in a Neverland dream. Seriously, WTF are you doing Further reading: People to follow for up-to-date HFT info And finally. These pieces take me ages to write, so if youd like to support my ongoing Creative Commons writing, please consider buying me a virtual beer. Cheers The funny bit about this statement: quotI mean, aerospace engineers do something that8217s pretty complex and I can8217t tell you how they technically do it, but I nevertheless understand what they do in principlequot Is that computers design the flying machines now, and engineers direct the machines which design them. This is a decent overview: aero. stanford. edu/reports/vkievolutionarykrooa. pdf I39m sure they do Mason. My point here wasn39t so much whether or not computers are involved in aerospace engineering, but rather the fact that we have an intuitive grasp of the end goal of aerospace engineering (which we often don39t have with HFT) Well written and you make some thought-provoking points at the end. I don39t think your understanding of automated trading is particularly nuanced (I run a trading firm) but it does not necessarily detract from your point. Keep in mind that these trading firms are able to make money because there are eager and willing counterparties looking to trade. If you want to argue that the world would be better off if all this short term trading could be somehow abolished, I could be persuaded to agree. Unfortunately no one involved (the buyers -- or more likely agents thereof -- or the sellers, in this market for instantaneous liquidity) are particularly interested in that scenario. Best Introduction of High Frequency trading I have ever read. Gran artículo. Paul Great piece, thanks Would just question your claim about there being no legal or political reality in the microsecond realm. We can make authority over any social category rest with whatever we like, even if that state of affairs is never observed. About Me Brett Scott I explore economic systems.160I wrote160 The Heretic39s Guide to Global Finance: Hacking the Future of Money 160 (Pluto Press: 2013).160I39ve written for publications like The Guardian . Wired, New Scientist, 160 Aeon Mag160 amp CNN 160and have appeared on shows such as BBC World Update . BBC Newsday . the Keiser Report . and Arte TV . 160I39ve worked as a broker, barman and blues musician, and I39m a Fellow at the160Finance Innovation Lab .160I160tweet as160Suitpossum. View my complete profile