Publicidad


Tema resuelto
Este tema está marcado como resuelto y, como tal, no requiere atención a menos que desee solucionar este problema.

Bajar datos de una web moderna 221222

Publicado por Rafaelpa, 27 Diciembre de 2022, 09:55

Tema anterior - Siguiente tema

0 Usuarios y 1 Visitante están viendo este tema.

Rafaelpa

Aprovecho para presentarme, me llamo Rafael.
Me encanta Python, desde hace muchos años programo a diario algoritmos y sus necesidades. Por no entrenerme en reformar tontadas como raw_input sigo usando mayoritariamente el 2.7.

El problema que trato de resolver - lo que venia haciendo
Lo que venia haciendo para bajar los datos historicos de cualquier valor de la bolsa española. Pongamos por caso, Telefónica me bastaba hacer algo más o menos así de simple:

#!/usr/bin/python
# bajadatosWC.py              # este es el nombre que le pongo al código (webscraping)
# -*- coding: utf-8 -*-       # para evitar los caracteres raros

def HolaDatos():
    from urllib import urlibopen
    VUrl="la_pagina_antigua_de_la_bolsa_de_madrid/ISIN_de_Telefonica"

    # por saber si falla algo (la conexión, intenet... yo que sé 1000 cosas)
    try:
        VEstar=urlibopen(VUrl)        # Me conecto a la web pública 
        VCodigo=VEstar.read()         # Aquí guardo em una variable todo el código, datos históricos incluidos
        VEstar.close()                # Adeu
    except:
        VCodigo="Miraver, algo falló!"

    return VCodigo

# Para arrancar
VCodigo=HolaDatos()
           
Del VCodigo extraigo los datos y arreglo los formatos comas para los decimales que en python son puntos de modo automàtico. Limpio lo meto en una lista:

L3DTelefonica=[[ayer,aper,max,min,cierre,vol,efectivo],[anteayer...

El problema que trato de resolver - en el punto donde me encuentro
Me interesan automatizar la bajada de datos para calcular sus trayectorias.

Bueno como regalo de navidad desde hace hace dos semanas las bolsas españolas están si cabem más centralizadas y los datos más escondidos en el código. Aun no se han atrevido a retirar la informacion OFICIAL Y PÚBLICA de los movimentos de cada uno de los valores negociados de la web para que se tenga alguna informacion que pueda ser útil para invertir los ahorros o no en ellos, pero se lo curran.

https://www.bolsasymercados.es/bme-exchange/es/Mercados-y-Cotizaciones/Acciones/Mercado-Continuo/Ficha/Telefonica-ES0178430E18

Así que trato de hacer lo mismo y obtener los datos tal como los ofrecen para los propios cálculos.

De ella lo que más me interesa más son los resultados historicos, pestaña "Información historica" para seguir haciendo lo mismo.

He probado con import requests, con urlib3, he intentado con mechanize... por los códigos bajados... sospecho las tablas directamente pueden estar en el css... no sé.

Quiero agradecer la paciencia de leer hasta este punto y tambien cualquier ayuda que hayan visto que funcione. Caso que logremos entre los presentes solucionar el problema creo que lo justo es que ponga en este misma línia código para copìar y pegar de lo que hago cuando lo recibo esos datos.

Un saludo y feliz año nuevo
En los 90 nos decian que Internet conectaría al agricultor con el consumidor. Que cualquier persona podria competir con una multinacional mediante una página web simple. La información libre y accesible implicaría que Intermediarios y paises se diluirian. Por primera vez un planeta con las mismas oportunidades.

2023: Internet son 10 aplicaciones privativas y plataformas globales de poder inimaginables en la historia. Estados y fronteras privativas. Informacion intrusiva, repetitiva y escasa. Hipervigilados. La propiedad es intelectual, nuestra la mente, y las oportunidades, es de otros

Rock Lee

Bueno hace tiempo toco varios códigos y te cambien las cosas realmente es molesto tener re-adaptar código pero suelen mantener una cierta linea... Lo primero seria ver si realmente te esta dando los valores o si tienen un cupo (suelen hacerlo para evitar sobre carga del servidor o para ellos mismos no tirar abajo por tantas consultas) pero como comentan esta algo mas escondido la información dudo den tan fácilmente esa información. ¿Es necesario sea desde antes? ¿No puede ser a partir del punto recolectas datos? ... tratare de probar pero como estamos en visperas de año nuevo no tengo tanto tiempo pero investigare a ver que averiguo, por cierto bienvenido por estos lados Rafaelpa espero encuentres algo interesante y estés cómodo :D


Saludos Familia!

Rafaelpa

Muchas gracias Rock Lee por la bienvenida y por el interés.

Es cierto que las fechas navideñas son más absorventes, pero bueno al menos en mi caso son fechas para la família y amigos que también son merecedoras de nuestro tiempo. Hay cosas importantes y también está la bolsa de valores o la informática ;-)

Esta web en concreto a estas alturas la veo ya como un reto... eso o que no soy capaz de ver más allá de mi propia nariz para solucionar este problema.

La información que contiene la página oficial es y ha de ser necesariamente pública y requiere ser analizada en mucho o poco para que pueda teer algún tipo de interés que no sea el de "jugar a la bolsa" que creo es la mejor manera de perder el dinero. Debe ser una entidad imparcial ya que cobran un pastón a cada una de las compañias y por cada una de las operaciones que se hagan. Los que intervienen deben estar normalmente informados. Al menos al nivel de lo que se publica en primer término.

Por poner un ejemplo, para saber si el precio de un valor sube o baja con números. Lo mínimo es poner en una lista, tupla, diccionario o algo unos cuantos para poder aplicarle una media aritmética con una funcion, con un for lista 3d o con módulos ya hechos matemáticos o visuales como math, mattplotlib o algo así.

Pero no logro bajar los datos desde ningún punto directamente. Podría discriminar si son muchos o pocos.

En la pestaña histórico de la ficha web muestra el último més de un valor concreto. Se pueden hacer consultas de hasta un año de antiguedad con un motor que tiene. Recicle un spider casero de los inicios de linux casi que tenia pero tampoco he logrado introducir y recuperar los datos de consulta y recogerlos aunque sea en un > .txt

No creo sea un tema de cupo del servidor. Tampoco de un bloqueo de htcacces que a veces ponen para evitar accesos a la web con robots o scripts.

Lo cierto es que algo nuevo para mí. Hasta ahora solo he logrado bajar usando algunas funciones de requests un poco del código base html que no me sirve de mucho estimo.

En navidd me suelen regalar libros las personas que no saben que regalarme porque me gusta leer. Para este caso en concreto creo que he aplicado la mayoria del libro "Haking ético con herramientas Python" de Jose Manuel Ortega Candel, editorial Ra-ma que aunque yo no lo he logrado aplicar aquí, lo recomiendo.

Ya digo que este parece un problema de examen gordo y que cualquier ayuda la agradezco por supuesto.

Creo que el conocimento es el modo en que unos no se aprovechen de los otros. El conocimiento es la suma de informaciones y esta a su vez es la suma de datos. Todos deberiamos tener acceso a los datos.

Gracias otra vez


PD.
Tengo también el libro "Vision artificial aplicaciones prácticas con opencv - python" ...que seguramente será lo siguiente si no logro la bajada mas directa.

Con eso imagino podria una vez clicada la web con una macro de esas del navegador o buscando algo de control del ratón en python o en Linux. En la pestaña de datos hacer una captura de pantalla automática y tras eso convertir la imagen en datos... pero es pesado porque para comenzar necesito encender la pantalla del ordenador que hasta ahora no y estino que ha de ser un entretenimiento y tampoco sé si la fiabilidad de captura es suficiente.

Pero que si no logro bajar los datos directamente que es en lo que estoy inmerso probaré... en cualquier caso más adelante seguramente también, por aprender que es lo que me gusta.

Saludos y gracias por leer hasta este punto en concreto
En los 90 nos decian que Internet conectaría al agricultor con el consumidor. Que cualquier persona podria competir con una multinacional mediante una página web simple. La información libre y accesible implicaría que Intermediarios y paises se diluirian. Por primera vez un planeta con las mismas oportunidades.

2023: Internet son 10 aplicaciones privativas y plataformas globales de poder inimaginables en la historia. Estados y fronteras privativas. Informacion intrusiva, repetitiva y escasa. Hipervigilados. La propiedad es intelectual, nuestra la mente, y las oportunidades, es de otros

Rock Lee

Si aunque estos lados el calor esta sofocante lo que me deja alejado de la PC la verdad estoy posponiendo varias cosas por ello pero bueno esto no para se tiene que seguir. Ahora lo que respecta a la bolsa tiene su tiempo y forma, yo he ganado algo con ello pero es muy complicado si no sabes seguir el ritmo (muy acelerado) donde podes ganar mucho o perder todo... por lo poco investigue/trabaje en una web similar usaban Cobol para recuperar los valores al ser algo impredecible es complejo tener un gráfico al menos al milisegundo (mucha sobre carga) por eso tiene un retardo pero a fines prácticos lo hacen con números que deben salir de algún lado confiable.

Con lo que me cuentas creo va mas por ese lado debido ciertos datos tienen leyes o reglamentos se deben cumplir, esto se puso muy duro para evitar paginas fraudulentas que manipulaban estos datos, por lo que deberías analizar de donde toma el valor quitando todo tercero en el asunto (esto puede ser mejor para tomar valores). Aunque todo parece difícil al principio cuando lo logras entiendes era sencillo, me topado con mas frases "no se puede lograr" de lo que deseo pero encontraba la vuelta aunque no fuera lo mas limpio. No estoy seguro pero ahora lo pienso un poco por medio de socket (o capas con C) apuntando a la cabecera y hacer el pasamano a python... un consejo es no centrarte en un solo lado a veces necesitas mezclar un poco los lenguajes para conseguir información. En su momento adulteraba el js de las páginas que copiara la información cada x tiempo, sabiendo que valores tener que buscar, pero yo recomendaría ver los archivos js o react buscando algo de donde poder sacar información porque como es la web debe pasar si o si por algunos de esos archivos.


Saludos Familia!

Rafaelpa

Buneos días

Buenos días Rock desde la Macaronesia. Las islas de la eterna primavera... bueno al menos era como se llamaban a las Islas Canarias antes del cambio climático, habrá que ir pensando en un nombres nuevos.

Citarinvestigue/trabaje en una web similar usaban Cobol para recuperar los valores al ser algo impredecible es complejo tener un gráfico al menos al milisegundo

Cobol?? El de la tortuga agüita!! Me ha gustado. Personalmente la de años que no escuchaba de ese lenguaje que inicialmente era para que los niños aprendiésemos informática. Eso es de la época del Sinclair ZX, Spectrum de 16k ampliabe a 48K. En mi primer ordenador se programaba en basic y antes del gwbasic, qbasic, código máquina, visual basic...etc. Ya veo que llevas un montón de años en esto!

Intenciones
Las intenciones al bajar los datos creo sinceramente son poco relevantes y dependerá de cada persona que haga lo mismo y cumpla con las mismas reglas públicas.

Personalmente no trato de poner los datos que se encuentras allí a terceros. Tampoco hacer operaciones al mili segundo(#1). Para eso existen algunas plataformas programables. Pero yo creo que no vale la pena el estrés para las personas normales que simplemente quieren obtener una rentabilidad a sus ahorrillos y donde normalmente no saben cómo(#2) Estimo que operar así no es rentable si no es apalancando(#3) donde normalmente es en corto(#4) y ni así ganan muchas veces los profesionales aunque alardeen de ello. Contra el mito no vale la pena entrar en el intradía. Normalmente salir con beneficio es complicado o precario si no hablamos de cifras grandes y sostenibles por operación.

Hace muchos años que le dedico a la bolsa y mis intenciones son seguir aprendiendo y enseñar a todo aquel que quiera aprender algo a través de la informática que ya es imprescindible al menos para no perder, por falta de formación. De ahí tratar de extraer los datos que se muestran en la ficha de cada valor al cierre de cada sesion e ir publicando cosas de informática. Nada más simple y más complicado ahora parece ser.

Los brokers o cualquier banco que tenga entre sus productos la bolsa suelen dar también esa información parcialemnte que también suelo cruzar sin problemas para evitar los errores que se dan. Antes eran tantos que permitia hacer incluso arbitrajismo. Que consiste en operar en dos mercados con precios diferentes de un mismo valor.


Los gráficos
Visualmente son básicos para entender que es: un canal, una directriz; un dibujito como una bandera, o triangulo, lo de los números áureos; estudio como bollinger, estocástico o lo que sea. Pero yo no uso muchos gráficos.

CitarCon lo que me cuentas creo va mas por ese lado debido ciertos datos tienen leyes o reglamentos se deben cumplir, esto se puso muy duro para evitar paginas fraudulentas que manipulaban estos datos, por lo que deberías analizar de donde toma el valor quitando todo tercero en el asunto

Legalidad y fraude
Evitar datos fraudulentos y prestar información oficiales es obligacion de las autoridades. De otro modo. No solo es legal bajar los datos publicados en webs oficiales sino que especialmente las autoridades deberian estar implicadas en ello. Si alguien intemedia y tima por ejemplo. Podrá darse por la falta de transparencia abusando del desconocimient del ciudadanoo.

Más claro, será porque BME no hace su trabajo poniendo un API como es su obligación velando por la transparencia y el conocimiento al inversor o posible a través de la web, con intención de apropiarse de lo que no es suyo.

¿Consideras es ilegal en tu pais poder analizar la información oficial públicada en algún sitio? Las leyes en cualquier pais son claras. Para que no quede duda solo trato de obtener los datos que se muestran públicamente como ficha oficial en formato txt csv html...etc. de un valor concreto para poder hacer sumas,restas, multiplicaciones y derivadas si creo hace falta... para que se pueda hacer algo con ellos. Como he hecho normalmente durante años es además necesario. Es que no queda otra.

Disculpa amigo la parrafada pero espero que nadie que nos lea se quede con la mini duda que analizar lo leido pueda ser un delito. Por mucho que traten de comernos a todos el coco en un estado perpetuo de miedo a hacer algo ilegal o inmoral en la que vivimos todos como sociedad. Desde que se controló Internet.

El asunto
CitarNo estoy seguro pero ahora lo pienso un poco por medio de socket (o capas con C) apuntando a la cabecera y hacer el pasamano a python... un consejo es no centrarte en un solo lado a veces necesitas mezclar un poco los lenguajes para conseguir información. En su momento adulteraba el js de las páginas que copiara la información cada x tiempo, sabiendo que valores tener que buscar, pero yo recomendaría ver los archivos js o react buscando algo de donde poder sacar información porque como es la web debe pasar si o si por algunos de esos archivo

Por eso digo que esta es una web que no habia visto hasta ahora. El tema es poder parsearla. Claro por algún sitio deben pasar los datos pero no doy con ello. Tengo nociones de Javascript... a la cabecera no se que quieres decir, un socker en C no es una pasarela de python? ... la págna no tiene nada de php... ya digo que parece que las tablas están inclusas en el css de estilo directamente, al que no puedo acceder haciendo un clásico wget en la consola de bash... no sé.

Por eso me dije, Rafa, escribe en algún foro al viejo y puro estilo de Internet a ver alguien sabe. Puse en Google cuales eran los mejores foros y aquí estoy.

Un saludo


(#1) Para tener una rentabilidad a los ahorrillos o han de hacer un plan de pensiones que es dejar el dinero en manos de otros... o meterse en comprar un piso para alquilar o un plaza de aparcamiento que les rente.
(#2) Milisegundo: O operaciones de alta frecuencia. Yo creo en el medio o largo plazo, que no quiere decir invertir y mirar como va de vez en cuando
(#3) Apalancando = operar a crédido por una cantidad superior a la garantia entregada/recibida y la comision: Con derivados como opciones, futuros o Warrans
(#4) En Corto: En direción a la valor bajada del valor subyacente (#5)
(#5) Valor subyacente: El que está contemplado en la ficha que tratamos de bajar los datos
En los 90 nos decian que Internet conectaría al agricultor con el consumidor. Que cualquier persona podria competir con una multinacional mediante una página web simple. La información libre y accesible implicaría que Intermediarios y paises se diluirian. Por primera vez un planeta con las mismas oportunidades.

2023: Internet son 10 aplicaciones privativas y plataformas globales de poder inimaginables en la historia. Estados y fronteras privativas. Informacion intrusiva, repetitiva y escasa. Hipervigilados. La propiedad es intelectual, nuestra la mente, y las oportunidades, es de otros

Rock Lee

Bueno en su momento trabaje en varios bancos en el área de informática (soporte, programación, testing, y demás) es arcaico pero no se cambia porque es fiable... cuando se trato de hacer el cambio salia muy caro pero no tenían el mismo resultado. La verdad llevo mas tiempo de lo que pienso, paso mucha agua bajo el rió ::).

En cuando a la legalidad no tiene problema tomar los datos el problema era adulterar y engañar a base de ello. Cuando atendía el banco descubrí una pagina tomaba valores correctos pero como hacia de intermediario inflaba precios o bajaba mucho para comprarlo, generando perdidas y por eso mismo empezamos a restringir quien podía tomar datos. No es totalmente pero parcialmente y mas abarcativo, lo del GDPR y SOPA fue para cubrir esta brecha aparte de salvar a las grandes donde se equivocaron... aunque estos lados tardo mas en aplicar pero se fueron implementando la protección de datos e información que se comparte.

Lo explique algo rápido pero creo con lo anterior queda claro pero volver a decir no es problema la información extraida sino como lo usas, es algo mas fino pero conozco varios sitios aplican esto. Y estoy con algo de sueño por eso puede mi coherencia al momento de escribir no es buena... toda información se muestra via web debe pasar por alguna cabecera si o si (a si funciona un sitio web) porque es lo que solicita el explotador para saber que debe mostrar como por ejemplo A > B > C son los pasos haces normalmente para ver dicha pagina lo que haces es intervenir en B tomando la informacion manda a C que siempre funciona muy pocas webs veo bloqueen esto por que sino restringen la web de forma pasiva. Ahora lo dices tengo trabajar mas tema del SEO del foro expandir de forma mas dura que temas abarcamos :P por ahora solo programacion junto a SMF es lo que mas fuerte salta en google pero todavia no pude dedicarle duro a ello.


Saludos Familia!

Rafaelpa

Amigo Rock

Caminante no hay camino, se hace camino al andar
Citartoda información se muestra via web debe pasar por alguna cabecera si o si (a si funciona un sitio web) porque es lo que solicita el explotador para saber que debe mostrar como por ejemplo A > B > C son los pasos haces normalmente para ver dicha pagina lo que haces es intervenir en B tomando la informacion manda a C que siempre funciona muy pocas webs veo bloqueen esto por que sino restringen la web de forma pasiva

La verdad es que no entiendo bien porque no sé sobre eso... Te refieres al DOM de la web? DOM tree? La verdad el concepto han caido frente a mis ojos alguna vez. Pero me entretenido en otras cosas y no he estudiado sobre eso. Como se hace o accede a un árbol de esos ABC y de ahí como puedo obtener de los archivos mostrados  los datos.

Cómo hacerlo?

Legalidad y legitimidad de la información
CitarEn cuando a la legalidad no tiene problema tomar los datos el problema era adulterar y engañar a base de ello. Cuando atendía el banco descubrí una pagina tomaba valores correctos pero como hacia de intermediario inflaba precios o bajaba mucho para comprarlo, generando perdidas y por eso mismo empezamos a restringir quien podía tomar datos.


Para mi, decidir quien sí y quien no es un abuso por parte del banco. Me explico: El derecho romano In dubio pro reo. Es la intención donde reside el delito. El servicio que presta quien sea (el banco) no es un posible delito a menos que la intención no sea esa. Aun cuando es posible que alguien use algo de otro modo para dañar a terceros, por ejemplo datos adulterados. El productor se restringe a su intención y para detener los delitos ya pagamos impuestos(#1).

El grueso de los clientes seguramente lo que desean es adquirir justamente lo que el oferente en el modo en que este lo hace. Si el banco lo hace selecticamente o parcialmente su intencion conterra otros los daña a ellos. Contra la delincuencia ya tenemos lo público que nos cobra bien-bien en Europa por proteger las reglas. No podemos ser más profesionales contra el delito que los policias y jueces y e estos les debemos exigir que cumplan con la intención por la que cobran su sueldo.

De oto modo. Yo me puedo comprar una bicicleta y con ella atropellar a alguien a concienca o por error. Queda claro que la intención de quien me vende no lo hace para eso. Pero no puede dejar a sus clientes que quieren pedalear sin bicicletas o sin información porque la mayoria la del modo en que está concevida. Mi responsabilidad como ciclista recae en el seguro, en los juzgados...etc. En los medios que existen para minimizar o mitigar los efectos de un mal uso. El emisor no puede argumentar que alguien atropello a alguien para dejar a ciertos clientes sin un pedal o una rueda.

Todo el mundo requiere los mismos datos e información, de otro modo es injusto.

CitarBueno en su momento trabaje en varios bancos en el área de informática (soporte, programación, testing, y demás) es arcaico pero no se cambia porque es fiable... cuando se trato de hacer el cambio salia muy caro pero no tenían el mismo resultado. La verdad llevo mas tiempo de lo que pienso, paso mucha agua bajo el rió ::).

Es verdad que no todo lo nuevo es moderno, ni que todo lo viejo antiguo. A veces lo viejo es mejor. Es verdad que se te nota caminado por el invisible mundo de la informática!

CitarAhora lo dices tengo trabajar mas tema del SEO del foro expandir de forma mas dura que temas abarcamos :P por ahora solo programacion junto a SMF es lo que mas fuerte salta en google pero todavia no pude dedicarle duro a ello
.

No solo hay que trabajar para lo que se hace. Tambien hay que hacerlo en lo que se hace.

Aunque el tiempo es muy democrático porque todo el mundo tiene 24 horas. A ojo de pájaro creo que este foro tiene muchos temas, muy dispersos y aparentemente eres tú el que lleva la mayoria. No se le ve el movimento que deberia tener y estimo que actualmente ya debe ser difícil como para darle a más temas.

Lo divertido(#2) es dedicarse a pocas cosas bien que a muchas precariamente. Al igual que yo supongo. Muchos sitios como este habremos visto que han acabado cerrando no porque no sean interesantes sus temas o que no presten un servicio que la gente necesita. Sino porque en la relación tiempo-beneficio es agotadora para sus promotores.

Disculpas
Hay personas que aportan y otras que hay que soportar. Espero estar aportanto al tiempo que trato de resolver algo. Todo lo que digo es con intencion de que el mundo sea un lugar mejor.

Saludos


(#1) Por aquí es sumando directos. Como el impuesto de la renta, de sociedades, del patrimonio, el de bienes urbanos, basuras, de rodamiento, tarjeta verde ecológica... etc. Mas los indirectos: Una tasa del ayuntamiento, actos jurídicos documentados, el impuesto del valor añadido, impuesto por aparcar en la vía pública, carburante, aparcar en zona azul, aparcar más de 10minutos para recoger a alguien del aeropuerto, el de morirse y querer dejar a los tuyos lo que tienes...etc. Yo he calculado que todos los ciudadanos (aunque no trabajen) tienen una condena economica vital de entre dos y siete meses de todos sus ingresos.
(#2) Ganar suele ser lo divertido
En los 90 nos decian que Internet conectaría al agricultor con el consumidor. Que cualquier persona podria competir con una multinacional mediante una página web simple. La información libre y accesible implicaría que Intermediarios y paises se diluirian. Por primera vez un planeta con las mismas oportunidades.

2023: Internet son 10 aplicaciones privativas y plataformas globales de poder inimaginables en la historia. Estados y fronteras privativas. Informacion intrusiva, repetitiva y escasa. Hipervigilados. La propiedad es intelectual, nuestra la mente, y las oportunidades, es de otros

Rock Lee

No puntualmente a DOM sino mas bien requests para tener al instante la informacion (simulando ser un navegador, firmando de otra manera) emulando solo somos un software pide algo y no un usuario final, esto era muy útil con web que te limitaban las consultas podías hacer @Príncipe_Azul solía usar mucho este método; el esta mas curtido en eso.

Para ahorrar todo el apartado legal, parte como te dije trabaje en un banco y es algo muy ambiguo, en si solo extra limita que se comparte información de primera mano asumiendo que se utilizara correctamente pero limitan su uso por eso mismo. Igualmente la reglamentación europea suele ser mas problemática que por que ejemplo la latinoamericana pero poco a poco fueron regulando (parte por la compra de bancos). Sumado no son tontos en cuanta información brindan y por que por ejemplo dan incapie en un asesor bursátil/financiero para tener un nexo mas asegurando al cliente de una forma "correcta" para ellos... un profesor mio decía el peor crimen es abrir un banco, y esto con los años fui entendiendo que aplica a muchos niveles.

Con lo respecta al foro tuvo sus altos y bajos, pero como todo cuando lograba encaminar todo hacia algo puntual algo siempre pasaba. Estuve una temporada fuera, a los que deje a cargo hicieron malas cosas y demás cositas intermitentes... podría bombardear con correos al estilo feedback (en todo estos años solo 2 correos informativos se enviaron imagínate) pero quiero optar por ir construyendo poco a poco, por a si decirlo el boca a boca. Aunque quería expandirme a diferentes temas relacionados para tener un abanico de posibilidades no solo especializarme en algo puntual igualmente nunca fue mi idea hacerlo top o similar mas bien algo acogedor que se pueda uno expresar sin tanto problemas... muchos dirán es un foro muerto, no tiene actividad, entre muchas cosas pero realmente a mi (entre otros) me dio bastante aparte tener un lugar donde poder probar cosas cuando lo necesito por que algo en localhost puede funcionar pero subido a una web es otro mundo distinto.

Hace mucho no escribo tanto ::) bueno también antes tenia mucho mas tiempo eso influye mucho pero volviendo al tema el foro, no mejor dicho, esta comunidad siempre que sea con respeto hacia el otro tendrá las puertas abiertas a todos y mientras pueda estar activo esto seguirá vivo... y quien sabe capas renazca como un fénix ;D (no seria la primera vez me sucede).


Saludos Familia!

Rafaelpa

Python y como obtener datos oficiales para la posibilidad de ganar dinero en la bolsa
CitarNo puntualmente a DOM sino mas bien requests para tener al instante la informacion (simulando ser un navegador, firmando de otra manera) emulando solo somos un software pide algo y no un usuario final, esto era muy útil con web que te limitaban las consultas podías hacer

Muchas gracias Rock por el vínculo que has puesto que creo está super bien explicado. Como decía más arriba hice algunas pruebas con requests, urlib3, bs4, mecanize... por ahí es sin duda es donde debe estar la solución para esta web moderna, en concreto.

Citar@Príncipe_Azul solía usar mucho este método; el esta mas curtido en eso.

Por supuesto @Príncipe_Azul si puedes echarnos un cable, por mi parte agradecido.


Foro y comunidad
CitarHace mucho no escribo tanto ::) bueno también antes tenia mucho mas tiempo eso influye mucho pero volviendo al tema el foro, no mejor dicho, esta comunidad siempre que sea con respeto hacia el otro tendrá las puertas abiertas a todos y mientras pueda estar activo esto seguirá vivo... y quien sabe capas renazca como un fénix ;D (no seria la primera vez me sucede).

Por supuesto el respeto es el único modo de que la comunicacion es posible. Si alguien no respeta es porque su intención es que no haya comunicación. Otra vez la intención marca la accion.

Un foro es un lugar necesario para determinado tipo de personas y yo creo que éxitos los hay en todos los sectores ¿Porque no iba a ser un lugar atrayente si hay a quien le interesa? Pues claro! Solo apunto que es una cuestion de probabilides... El Barça o el Madrid de futbol puede que ganen la liga española este año o no... a lo mejor gana otro eqquipo... Puede que en los próximos 10 años no ganaren ninguna liga? Es posible aunque improbable. Si sus amplios prespuestos para jugadores se mantienen yo apostaría a qué si. El Club de futbol Tenerife es poco probable que gane la liga de primera teniendo en cuenta que está en segunda división. Pero puede ganar perfectamente la de segunda. Ganar es otro concepto.

Si yo fuese hincha de un equipo sea o no el Tenerife es probable que estuviese interesado en un foro de futbol? Habrá más gente interesada si se es del Barça que del Tenerife? Seguramente. Tal vez los del Tenerife serian más fieles porque no saben donde relacionarse? Tal vez. Cuales serían las razones para no acudir a un foro y/o redes sociales del tema que me gusta? Cómo me siento integrado en una comunidad de personas interesadass en mis cosas? Como tildaria de útil o inutil mi tiempo en relación a lo que puedo estar interesado entre todo un mundo del que hay tanto por ver y leer y normalmente tan concentrado en manos de tan pocos? Todo son preguntas que hay que hacer para mejorar las probabilidades.

Lo que quiero decir es que al margen de nuestras propias ideas lo importante es la empatia con la experiencia propia del forero. Es obvio que el foro ha de ser útil y sostenible. Al igual que cualquier otra actividad humana a la que le dediquemos parte del tiempo de nuestras vidas, que es limitado.

Es útil si aporta valor. Es sostenible si de él se recibe valor. En cualquier modo: Como conocimiento, como dinero, como amistad...etc. Satisfaccion.

De otro modo: El aportado o recibido ha de ser mayor al soportado o extraido en el tiempo empleado. Es lo mismo para: el dentista, el pintor, el que salta de puenting, carpintero o forero.

Todo es lo mismo. Nuevamente la intencion es la probabilidad.

//cerveza. Gracias por dedicarme tanto tiempo, contestando solo espero corresponderlo.
En los 90 nos decian que Internet conectaría al agricultor con el consumidor. Que cualquier persona podria competir con una multinacional mediante una página web simple. La información libre y accesible implicaría que Intermediarios y paises se diluirian. Por primera vez un planeta con las mismas oportunidades.

2023: Internet son 10 aplicaciones privativas y plataformas globales de poder inimaginables en la historia. Estados y fronteras privativas. Informacion intrusiva, repetitiva y escasa. Hipervigilados. La propiedad es intelectual, nuestra la mente, y las oportunidades, es de otros

Rock Lee

Claramente aparte que existen sitios como personas y apuntan a cada cosa distinta lo importante es seguir creyendo en tus propios ideales. Algo siempre trato es tomarme el tiempo de leer y poder responder, solo a veces hoy en día parece la paciencia no es algo habitual pero igual :P acá sigo y espero poder seguir.


Saludos Familia!

Rafaelpa

Gracias amigo Rock.

apt-get upgrade update ; pip reinstall requests, bs4, selenium ; sugeridos en el vínculo que me pusiste. Y he aprovechado para otros como mecanize + un python más moderno al 2.7.

Haciendo lo mismo he logrado bajar otra vez más o menos el mismo código pero esta vez aparecen algunos vínculos que antes estaban ocultos. Tal vez los programadores de requests han teninido en cuenta webs como esa. El código de la página con el modulo modernizado se muestra mucho más estructurado y límpio.

A ver a partir de ahí a ver si evoluciono y lo cuento.

Saludos

En los 90 nos decian que Internet conectaría al agricultor con el consumidor. Que cualquier persona podria competir con una multinacional mediante una página web simple. La información libre y accesible implicaría que Intermediarios y paises se diluirian. Por primera vez un planeta con las mismas oportunidades.

2023: Internet son 10 aplicaciones privativas y plataformas globales de poder inimaginables en la historia. Estados y fronteras privativas. Informacion intrusiva, repetitiva y escasa. Hipervigilados. La propiedad es intelectual, nuestra la mente, y las oportunidades, es de otros

Rock Lee

Si leyendo un poco me pareció lo mas correcto sumando esta algo mas actualizado, a veces dicen es malo trabajar con lo mas nuevo en relación a python por que tiene fallas pero resuelve posibles problemas/fallas surgen en varios aspectos. Me alegro mucho pudieras avanzar algo ahora espero puedas lograr lo que necesitas :D cualquier cosa por aca rondo regularmente a si pregunta sin miedo y vemos como lo resolvemos!


Saludos Familia!

Rafaelpa

#12
Gracias Rock_Lee

Como voy a estar algo más de una semana liado y no voy a poder dedicar tiempo inmediatamente a la solución final que con toda probabilidad estará en liia por donde hemos indicado en este hilo.

Bajar los datos, textos, de la ficha pública tal como los vemos con el navegador de un valor de la bolsa oficial BME

Si alguiien de los que lee este hilo se entretiene y es capaz de aportar la solucion final a bajar los datos que muestra la página, en cualquier formato, para recogerlo con python. Que sepa que no solo no protesto nada por adelantarse, sino que además sabre agradecerlo en comunidad y personalmente.

Un saludo
En los 90 nos decian que Internet conectaría al agricultor con el consumidor. Que cualquier persona podria competir con una multinacional mediante una página web simple. La información libre y accesible implicaría que Intermediarios y paises se diluirian. Por primera vez un planeta con las mismas oportunidades.

2023: Internet son 10 aplicaciones privativas y plataformas globales de poder inimaginables en la historia. Estados y fronteras privativas. Informacion intrusiva, repetitiva y escasa. Hipervigilados. La propiedad es intelectual, nuestra la mente, y las oportunidades, es de otros

Rock Lee

Bueno son cosas que suceden :P el foro estará en linea (a menos rompa algo por querer arreglarlo ::)) a si que tómalo con calma aparte de que puede ser aplicado a otras webs que necesites extraer datos, con cambios menores puede automatizar casi todo, por lo que puede otro le interese.

Saludos Familia!

Al margen arregle el enlace le falto los corchetes :-[

Rafaelpa

Aun no hemos logrado solucionar este tema y la verdad es que este hilo quedó larguisimo y con un montón de consideraciones no extrictamente técnicas que creo dificil de leectura para cualquier persona ¿Tal vez debería volverse a plantear en nuevo hilo y de un modo más escueto?

Bajar los datos visibles de telefonica a un archivo.csv
En los 90 nos decian que Internet conectaría al agricultor con el consumidor. Que cualquier persona podria competir con una multinacional mediante una página web simple. La información libre y accesible implicaría que Intermediarios y paises se diluirian. Por primera vez un planeta con las mismas oportunidades.

2023: Internet son 10 aplicaciones privativas y plataformas globales de poder inimaginables en la historia. Estados y fronteras privativas. Informacion intrusiva, repetitiva y escasa. Hipervigilados. La propiedad es intelectual, nuestra la mente, y las oportunidades, es de otros